Han kom fra en Budapest-familie av en lang rekke mellomnivås og lavere offentlige embeds- og tjenestemenn. Hans foreldr evar Kálmán Shvoy (1843–1930), en ungarsk statlig jernbaneinspektør og Matild Cacciari (1852–1938). Tok videregående studier i Buda, ved erkebiskoppelige gymnasium, og så i Esztergom hos benediktinerne, og ble deretter student ved presteseminaret i Esztergom.