Po smrti vévody Alberta roku 1822 přešel palác do vlastnictví jeho dědice, arcivévody Karla, jenž se do rakouských dějin zapsal jako vítěz bitvy u Aspern roku 1809 (viz jeho památník na Heldenplatzu). Za jeho vlastnictví proběhla další přestavba podle plánu Josepha Kornhäusela, která se týkala především interiérů. Z této doby pochází velké sfingové schodiště se schody z bílého tvrdého Kaisersteinbrušského císařského kamene. Po arcivévodovi Karlovi obývali palác jeho syn, polní maršál arcivévoda Albrecht Bedřich, po němž byl palác pojmenován. Po jeho smrti palác vlastnil jeho synovec, polní maršál arcivévoda Bedřich Ferdinand, v první světové válce v letech 1914–1917, vrchní velitel c. k. armády.