Pangeran Albert lahir di Kastil Stuyvenberg, Brussels. Pada tanggal 10 Mei 1940 saat Belgia sedang diserang, Pangeran Albert, bersama kakak-kakaknya yakni Putri Joséphine-Charlotte dan Pangeran Baudouin, meninggalkan negaranya ke Prancis dan kemudian Spanyol. Mereka kembali ke Belgia pada 2 Agustus 1940 dan melanjutkan studi mereka hingga 1944, baik di Laeken, atau di Chateau Ciergnon di Ardennes. Pada Juni tahun 1944, pada saat pendaratan Sekutu, Raja Leopold III, Putri Lilian - yang dinikahinya pada tahun 1941 - dan anak-anak kerajaan dideportasi oleh Jerman ke Hirschstein, Jerman, dan kemudian ke Strobl, Austria, di mana mereka dibebaskan oleh Tentara Amerika pada 7 Mei 1945. Karena situasi politik di Belgia, Raja Leopold dan keluarganya pindah ke villa "Le Reposoir" di Pregny, Swiss, ketika mereka meninggalkan Austria pada Oktober 1945 dan tinggal sampai Juli 1950. Selama waktu itu, Pangeran Albert melanjutkan pendidikan di sebuah sekolah menengah di Jenewa. Raja Leopold III, didampingi Pangeran Baudouin dan Pangeran Albert, kembali ke Belgia pada tanggal 22 Juli 1950.