Va néixer a Txop, Transcarpàcia (actualment a Ucraïna però aleshores a Txecoslovàquia), vora de la frontera amb Hongria. Membre de la minoria hongaresa de Txecoslovàquia, el 17 de setembre de 1956 es va casar amb la seva primera esposa, Ilona Sőrés. Després del fracàs de la aixecament de Budapest van fugir d'Hongria cap a Basilea (Suïssa), on va estudiar teologia. El 28 de gener de 1958 a Ixelles va néixer la seva filla Agnès. El 1959 es va instal·lar com a pastor protestant a Brussel·les. Els seus fills Dániel i Zoltán van néixer el 1961 i 1966, respectivament. El 20 de novembre 1967, la parella es va divorciar quan Pándy va acusar Ilona d'infidelitat. Va marxar de la casa amb els seus fills, però deixant a la seva filla darrere, que aviat es va convertir en la víctima d'una relació incestuosa amb el seu pare.