Etter innføringen av eneveldet i 1660 forsvant lensherrene, og ble erstattet av stiftsamtmenn. En av dem, Ove Bjelke, fikk revet tårnet og et karnapp over porten, i 1672, og fikk lagt nytt tak på Østhuset. Fra 1681, etter bybrannen samme år, ble Kongsgården tatt i bruk til militære formål, og bygningene ble innredet til magasiner og depoter. Vinduene i Østhuset ble gjenmurt og taket ble løftet til samme høyde som på Vesthuset. Fra slutten av 1680-årene ble Østhusets murer påbygget en etasje, og ble delt i to høyder med et innskutt bjelkelag for å øke lagerkapasiteten. Underetasjen ble brukt som kruttmagasin. Også toløpstrappem opp til hallen ble fjernet, og da dette gjorde sørveggen ustabil, ble det i 1706 oppsatt massive strebepillarer.