Han og hans barn ble flyttet til en borg ved Hirschstein i Sachsen og senere et hus i Strobl i Østerrike. Der ble de befridd av amerikanske soldater i mai 1945. Stemningen var imidlertid ikke gunstig for en retur som konge i Belgia. I noen kretser var han kommet i miskreditt på grunn av tyskvennlighet.. På grunn av motstand fra venstrepartiene kunne han ikke returnere. Han ble beskyldt for samarbeide med tyskerne og for å ha hatt sympatier for fascismen ettersom han i 1940, vilkårsløst og mot parlamentets vilje, hadde overlatt landet til nazistene.