I 1607 fikk lensherren Jørgen Kaas tillatelse av konge Christian IV om å gjenoppbygge den gamle Bispegården, "hvor Kongsgården har vært før". I 1608-1611 foretok lensherren stor nybygging om ombyggingen på Kongsgård (): Det ble satt opp et lite hus i hagen. I 1610 omtales stallen som en eksisterende bygning. Muren ved stallen ble gjenoppbygd, trolig muren mot Domkirken., Et ildhus ble påbegynt i juni 1610, og var torvtekket i april 1611. Det gikk med mye stein, kalk, sand og leire under byggingen. Inne var det en grue og to ovner som ble bygd i 1611. Til tretaket var det brukt never og torv. Denne ble senere brukt til stall (). Huset ble revet i 1852. Det hadde et meget stort loft, og tykke gråsteinsmurer. Hovedbygningen ble modifisert. Det omtales: En "Borgestue" - som trolig var den store stuen som vises i kart fra 1700-tallet. Den ble delt med en skillevegg i 1610. Her var det også et kammers og en kakkelovn. Den lille stue som fikk en kakkelovn i 1610. I svalen ble det satt inn en skillevegg i 1611. Kjøkkenet. Det ble her bygd en ny skorstein. Vinterstuen hadde i 1610 vinduer, skorstein og kakkelovn. Et "lille Kammer". og da også trolig et stort kammer. Det lille kammeret hadde fire vinduer.