Selve borgen ble anlagt ved en foss på sørsiden av elven Ätran en gang på slutten av 1200-tallet mens Erik Menved var konge. Den ble den danske kongens siste utpost mot nord. På den andre siden av elven, skiftevis under svensk og norsk styre, vokste handelsplassen Ätraby frem. Adskillige kongelige møter skal ha funnet sted i området, og det var herfra at Kristoffer II utstedte handelsprivilegier for Halmstad.