Fra 1835 til 1839 bodde Liszt sammen med Marie d'Agoult, født Marie Catherine Sophie de Flavigny, bedre kjent under pseudonymet Daniel Stern. De fikk to døtre og en sønn. Datteren Cosima giftet seg senere med Richard Wagner.