I cirka hundre år tjente huset som bolig og kontor for grevskapets forvaltere, høyere militære, byfogder (blant annet byfogd Bryn 1815-1827), sorenskrivere samt skipsredere.