Bygningen ble påbegynt i 1756 av Erik Anker, men ble først ferdigstilt under Jess Anker i 1778. I samtiden var bygningen kjent også for sin fine barokkhave og vannkaskader.