Etter den tyske okkupasjonen av Jugoslavia flyktet de til Ungarn som var alliert med Tyskland og derfor ikke okkupert. Ladany er et ungarsk etternavn og alle i familien snakket ungarsk. I Budapest skaffet de seg falske identitetspapirer som viste at de var jøder, men ikke at de var flyktninger fra Serbia. Faren fikk arbeid og tjente godt slik at de kunne kjøpe seg en leilighet. Morens søster og hennes mann ble drept da ungarske styrker massakrerte flere tusen i jugoslavisk Bačka inkludert Novi Sad i januar 1941; Shaul Ladanys fire søskenbarn ble da foreldreløse og Ladany-familien i Budapest tok seg av den yngste. Shaul begynte på skolen i Budapest.