Spøttrups land ble skjenket av adelsmannen Johan Skarpenberg i 1404 til biskopene i Viborg, som i sin tur oppførte borgen på begynnelsen av 1500-tallet, som vern mot den omseggripende protestantismen. Selve vannborgen ligger omgitt av to vollgraver med en opp til ni meter høy jordvoll som nesten skjuler borgens murer. Det er adgang via en vindebro i vestvollen. Borgen består av tre fløyer omkring en firkantet gård, samt et porttårn i vest.