På den opprinnelige delen av Sprogø står det bygninger igjen fra begynnelsen av 1100-tallet, en festning bygget av kong Valdemar den store. Under anleggsarbeidet ble det gjort omfattende arkeologiske undersøkelser, og blant annet fant en ut at det hadde vært folk her for mer enn år siden.