Nach seiner Ernennung zum Regierungsrat zog Ludwig von Westphalen mit seiner zweiten Frau Caroline (geb. Heubel), den beiden Söhnen aus erster Ehe und der gemeinsamen Tochter Jenny, die 1814 in Salzwedel geboren worden war, 1816 nach Trier. 1819 kam Sohn Edgar zur Welt, der mit Karl Marx zur Schule ging und mit ihm befreundet war.
Jenny wiederum war mit Karl Marx‘ älterer Schwester Sophia befreundet, die Kinder verbrachten viel Zeit miteinander. Allerdings war die finanzielle Lage der von Westphalens nicht gut. Sie besaß kaum Vermögen, und im Haushalt lebten einschließlich einer Tante und einer Köchin sieben Personen. Dennoch versuchte man, einen gehobenen Lebensstil aufrecht zu erhalten und Repräsentationspflichten wahrzunehmen.
Ludwig von Westphalen brachte seinen Kindern und Karl Marx die klassische griechische Literatur und insbesondere die Werke Shakespeares nahe. Er wurde von Marx, dessen Fähigkeiten er früher erkannte als dessen eigener Vater, hoch verehrt. Jenny war nicht nur außerordentlich gebildet, mit sechzehn Jahren galt sie auch als das „schönste Mädchen“ Triers.
Aus der Kinder- und Jugendfreundschaft zwischen Jenny und dem vier Jahre jüngeren Karl Marx wurde Liebe, die 1836 zu einer erst heimlichen, dann offiziellen Verlobung führte. Noch 1841 widmete Marx ihrem Vater seine Dissertation. Nach dem Tod Ludwig von Westphalens 1842 gab Caroline das Haus in der Neustraße auf und zog mit ihrer Tochter nach Kreuznach, wo Jenny und Karl ein Jahr später heirateten.
