Kállay klarte å skjule seg for nazistene en stund, men ble til slutt tatt til fange og sendt til Dachau, og senere til Mauthausen. Kállay ble helt i sluttfasen av krigen tatt med på en gisseltransport for prominente leirfanger og pårørende til Sør-Tyrol. Der ble han befridd av allierte styrker 4. mai 1945.