Pándy war mit seiner ersten Frau, Ilona Sőrés, nach dem Ungarn-Aufstand 1956 nach Belgien ausgewandert. Das Paar bekam drei Kinder und trennte sich 1967. Pándys zweite Frau, Edith Fintor, stammte ebenfalls aus Ungarn. Sie brachte die Töchter Tunde, Timea und Andrea mit in die Ehe. Das Paar bekam zwei weitere Kinder.