Fra midten av 1200-tallet ble Konghelle enda viktigere som rikets sørlige utpost under kong Håkon IV Håkonsson. Han oppførte en borg med ringmur på Ragnhildsholmen for å forsvare byen. Borgen ble en effektiv sperring i det nordre elveløpet, som på den tid bare kaltes . Under kong Håkons IVs tid ble også et franciskanerkloster bygget, samtidig som det eldre augustinerklosteret Kastelle kloster fra 1100-tallet ble ombygget.