På grunn av byens strategiske beliggenhet ved Norges sørgrense ble Konghelle tidlig et kongelig maktsentrum. Snorre Sturlason forteller at kong Sigurd Jorsalfare bosatte seg der, befestet byen med et kastell med vollgrav og oppførte kongsgård og en kirke. Forfatteren av Morkinskinna skriver at Sigurd «satte kongsstolen og hovedstaden i Konghelle». Det er usikkert hvor kastellet lå, men det antas at det kan ha vært på den nåværende ved Kastellegården. Konghelle var ikke bare kongenes by, men også en viktig kjøpstad.