Elisabeth Lafites Vater war Anton Walter (1882–1976); er war Sektionschef im Bundesministerium für Finanzen und Generaldirektor der Tabakregie bis zum "Anschluss" Österreichs, 1938. Ihre Mutter war Julie Walter (1893–1984); weiters hatte sie eine Schwester: Juliane (1921–1980).