Stiftsgården ble reist i årene 1774–1778 av geheimerådinne, enkefru Cecilie Christine von Schøller. Hun var datter av kommanderende general nordenfjells, Johan Friedrich Frølich, og hans hustru Hilleborg von Wettberg, med et imponerende anegalleri i dansk høyadel.