Alberto foi governador da realeza da Hungria de 1765 a 1781, com assento no Castelo de Bratislava e residência de verão no Castelo Halbturn em Neusiedl. Ele foi então feito governador dos Países Baixos Austríacos, junto com sua esposa. Em Bruxelas, eles construíram um palácio em Laeken (a casa atual da família real belga) como sede. Lá, ele montou o início de sua vasta coleção de arte, que levou consigo quando o casal teve que fugir de Bruxelas para Viena em 1793, devido à Revolução Francesa e após sua derrota militar por forças de invasão no local, isso foi a chamada Batalha de Jemappes.