I middelalderen var borgen den største og viktigste festning i det østlige Danmark. Den ble anlagt ved veien som forbandt de danske provinsene Skåne og Blekinge. Festningen ligger strategisk mellom det cirka 10 kilometer lange Ryssberg i nord og Hanøbukten i syd. På begynnelsen av 1400-tallet besøkte Margethe I og Erik av Pommern ofte borgen.