Fra 1660-årene mistet kongsgården sin status ettersom adelsmenn heller valgte å bosette seg i byen. Gården ble derfor solgt og brukt av biskopen og diverse andre embets- og tjenestemenn eller deres fullmektiger.