Originariamente situato in un edificio storico a gomito al 1580 Broadway, il Latin Quarter Nightclub brillava con insegne al neon lampeggianti e scintillava all'interno con abiti eleganti e completi, cocktail e danzatrici. Il Latin Quarter Nightclub degli anni '40 e '50 attirò i ricchi e famosi di New York City, che sfuggivano agli orrori dei titoli dei giornali sulla Seconda Guerra Mondiale. Rivaleggiando con il vicino club Copacabana, il Latin Quarter portò cantanti e ballerini famosi e suonò musica salsa fino a tarda notte.
Lou Reed, padre di Barbara Walters, aprì The Latin Quarter Nightclub nel 1942. Nella sua posizione originale a Times Square, il club offriva grandi nomi come Frank Sinatra così come ragazze del coro, ballerine di can-can e cantanti, performance di danza coreografate e serate di salsa.
Quando Lou Walters si ritirò negli anni '50, il Latin Quarter Nightclub propose più showgirls e linee di coro a causa dell'incapacità di ingaggiare grandi nomi—e la frequenza crollò.
Secondo un articolo del "New York Times" del 1989, nel 1969 le ragazze del coro del Latin Quarter Nightclub scioperarono. In mezzo a quello sciopero, agenzie di riscossione di New York City misero i sigilli all'edificio per mancato pagamento dell'affitto.
Per attirare nuovi clienti, la stanza al piano superiore del club divenne una "art-house" che proiettava film per adulti soft-porn. I film al Cine Lido, come fu chiamato, ebbero successo e portarono clienti e soldi al piano superiore del club. La polizia di New York, però, scoprì l'attività illegale. Nel 1973, la polizia fece irruzione su per le scale e fece un raid al cinema, che proiettava un film chiamato "The Newcomers".
Nel 1980, la location divenne il Princess Theatre. Per quattro anni, ospitò produzioni teatrali dal vivo di qualità. Ma nel 1984 il nome e il concetto Latin Quarter furono riportati, con focus su hip hop e rap.
Nel 1987, tre clienti che lasciavano il club furono colpiti da colpi d'arma da fuoco. Il club cambiò proprietari che tentarono di ripristinarne la qualità originale e lo rinominarono Penguin Club, ma non durò a lungo. Nel 1989, una società edile di New York City abbatté l'edificio, sostituendolo con un hotel torre di 22 piani, il Radisson Lexington.
Il produttore discografico Ralph Mercado vide ancora speranza per il club. Nel 2003, rivivificò il Latin Quarter nightclub, aprendo alla base del Radisson. Il club offriva una gamma di musica dall'hip-hop alla salsa, reggae al rap e R&B.
Dal 2003, il club sperimentò un appeal più da club mainstream, attirando turisti e newyorkesi per musica etnica e ballo nel Lower Manhattan. Tuttavia, il club ebbe cattiva stampa nel 2008.
Secondo un articolo del "New York Times" di dicembre di quell'anno, Plaxico Burress, ex wide receiver dei New York Giants ed ex giocatore dei Pittsburgh Steelers, si sparò accidentalmente alla gamba dentro l'ascensore del club. Burress scontò due anni di prigione per aver portato un'arma nel club e, il Manhattan Community Board 6 raccomandò che la licenza di alcolici del club non fosse rinnovata.