Den første store utvidelse av Berlin ble planlagt i begynnelsen av 1700-tallet. Kurfyrste Fredrik Vilhelm av Brandenburg ga sin byggmester Johann Gregor Menhardt i oppdrag å oppføre den nye bydelen Friedrichswerder. Som takk for gjennomført oppdrag mottok Menhardt en sentralt plassert tomt hvor han i 1653 oppførte et hus i to etasjer, det første hus i Friedrichswerder bygget i stein. Dette som var forløperen til kommandantboligen, ble revet og i årene 1795-96 ble det på tomten oppført en representativ bygning for det kongelige hoff, etter tegninger av Wilhelm Konrad Titel. Bygningen ble først oppført som et privat byslott med tallrike oppholds- og siderom, såvel som staller. I 1799 ble det gjort til residens for kommandanten i Berlins garnison. I 1818 overtok kommandanten også ansvaret for Neue Wache som ligger skrått overfor kommandantboligen, oppført av Karl Friedrich Schinkel. Den siste kommandant i bygningen var Paul von Hase som ble arrestert etter 20. juli-attentatet og henrettet i Plötzensee-fengselet.