Kommandantboligen ble opprinnelig kjøpt fra Nordre Nor i 1683 og flyttet til den nyanlagte festningen. Den har siden vært gjennom mange oppussinger og ombygginger, blant annet etter at Gyldenløves tårn eksploderte i 1733. Opprinnelig var det en toetasjes bygning, men 2. etasje ble i 1694 tatt ned og satt opp som egen offisersbolig. Denne boligen brant ned i 1701. Kommandantboligen ligger mellom provianthuset og hovedporten.