Slottet ble bygget i sin nåværende form mellom 1603 og 1609, som det andre hjemmet til fyrstbiskop Dietrich von Fürstenberg. Slik det framstår i dag, er det en ombygging og inkorporering av tidligere bygninger på stedet. De første bygningene ble reist allerede på 800- og 900-tallet, en annen i 1123 av hertug Friedrich von Arnsberg, men denne ble revet året etter ved hans død, av de omkringliggende bøndene som hadde bekjempet ham. I 1301 ble stedet solgt til fyrstebiskopen av Paderborn. Ifølge et dokument i forbindelse med handelen besto anlegget på høyden av to festningslignende bygninger: «Bürensche-» og «Waldecksche-haus», og disse ble integrert i dagens anlegg. I perioden fram til 1589 leide fyrstebiskopen eiendommen ut til underliggende lensherrer..