Det såkalte slottet ligger vest for kirken og er bygget sammen med denne. Det ble oppført etter reformasjonen og i 1585 ble det gjort om til jaktslott av hertug Adolf av Gottorp. Salmedikteren H.A. Brorson bodde her fra 1717 til 1721. Bygningen ble overtatt av kirkeministeriet i 1973 og benyttes som prestehøyskole.