I ung alder mistet Albert sin mor i en bilulykke. Faren ga i 1938 barna en guvernante, Lilian Baels, og giftet seg med henne i 1941.