Antalls far var jurist og arbeidet for regjeringen i Ungarn i flere departementer. Han var politisk interessert og grunnla det gamle småbrukerpartiet. Under andre verdenskrig ledet han komiteen for flyktninger i landet og han ble arrestert av Gestapo etter Ungarns kapitulasjon. Etter krigen ble han gjenreisningsminister i regjeringen til Zoltan Tildy. Han ble også president for Ungarns Røde Kors, men etter kommunistenes kupp trakk han seg tilbake. I 1991 ble han posthumt hedret med Yad Vashem. Også Antalls mor kom fra en politisk interessert familie. Hennes far, István Szűcs, var viseutenriksminister. Hans søster Edith var gift med Géza Jeszenszky, som senere ble utenriksminister.