Alberto fue gobernador real de Hungría desde 1765 hasta 1781, con sede en el Castillo de Bratislava y su residencia de verano en el Castillo Halbturn en Neusiedl. Posteriormente, fue nombrado gobernador de los Países Bajos Austríacos, con sede en Bruselas donde construyó el palacio Laeken (la casa de hoy en día de la familia real belga ) como su sede. Allí se reunieron los inicios de su vasta colección de arte, que se llevó con él cuando la pareja tuvo que huir de Bruselas a Viena en 1793 debido a la Revolución francesa, y tras su derrota militar por las fuerzas de invasión en el Batalla de Jemappes.