Na de dood van de vorige landvoogd in 1741 werd Karel van Lotharingen, een broer van keizer Frans I Stefan (echtgenoot van keizerin Maria Theresia), benoemd tot landvoogd van de Zuidelijke Nederlanden. Hiervoor was Karel van Lotharingen al adjunct geweest van landvoogdes Maria Elisabeth. Het duurde tot 1744 voor Karel in Brussel aankwam. Hij nam zijn intrek in het Paleis van Nassau, maar moest de stad op 26 maart alweer verlaten om een commando op te nemen in de Oostenrijkse Successieoorlog, waarbij Frankrijk tegenover Oostenrijk, Groot-Brittannië en de Republiek kwam te staan. In 1745 vielen Franse troepen de Nederlanden binnen. Ze veroverden het graafschap Vlaanderen en in februari 1746 namen ze Brussel. De stad was zo slecht verdedigd dat ze niet eens beschoten hoefde te worden. Vier dagen na de capitulatie, die op 21 februari ondertekend werd, trokken Franse troepen voor het eerst de hoofdstad binnen. De Zuid-Nederlandse regering vluchtte naar Antwerpen en later naar Aken. De Oostenrijkse Successieoorlog werd datzelfde jaar nog aan de onderhandelingstafel beslecht met de Vrede van Aken. Zodra de Nederlanden aan Maria-Theresia waren teruggegeven, zond zij Karel van Lotharingen er opnieuw heen. De landvoogd keerde in Brussel terug op 23 april 1749. Hij liet het Paleis van Nassau op de kapel na afbreken om plaats te maken voor het paleis van Karel van Lotharingen.