Das klassizistische Gebäude am Kornmarkt, einer der wichtigsten Großbauten der preußischen Zeit, wurde 1824/25 von Baumeister Johann Georg Wolff als Vereinshaus der 1817 gegründeten „Literärischen Casino-Gesellschaft“ errichtet.
Dieser Casino-Gesellschaft, die aus politisierenden und geselligen Vereinigungen sowie den Lesezirkeln bildungsbeflissener Bürger gegen Ende des 18. und zu Beginn des 19. Jahrhunderts hervorging, gehörten führende Bürger der Stadt und preußische Offiziere an.
Hier organisierte sich das aufgeklärte, demokratisch gesinnte Trierer Bildungsbürgertum, zu dem auch die Familie des Justizrats Heinrich Marx gehörte, und hier spielte sich das kulturelle Leben von Trier ab. Auf einem der historisch berühmten, rauschenden Bälle der Casino-Gesellschaft verliebte sich wohl Karl Marx in die „Ballkönigin“, seine spätere Frau Jenny von Westphalen.
1834 hielt sein Vater Heinrich Marx im Casino eine Rede, in der er verklausuliert die Verfassungswünsche des Volkes zum Ausdruck brachte. Wenige Tage später sangen einige Mitglieder die Marseillaise und schwenkten die Trikolore, woraufhin die preußischen Beamten aus Protest aus dem Casino austraten und dieses für einige Monate geschlossen wurde.
Das Gebäude wurde im Zweiten Weltkrieg zerstört und diente nach seiner Wiederherstellung bis 1999 als Casino der französischen Besatzungssoldaten. Seit 2004 wird es überwiegend gastronomisch genutzt.