Den norske kongen Håkon V Magnusson startet byggingen av festningen i 1308 for å overvinne Ragnhildsholms festning like ved, som den svenske hertug Erik av Södermanland hadde kontroll over. «Huset» (festningen), som til å begynne med var av tre, ble etterhvert kraftig forsterket med bruk av stein og ble etterhvert et av Nordens sterkeste festningsverk. Borgen som kontrollerte grenseelven Göta älven ble snart en av Norges viktigste. Bagaholm – holmen hvor festningen ligger – var opprinnelig et tingsted for Vikens lagdømme. Høvedsmannen på Bohus styrte først over søndre og senere også nordre del av dette landskapet, som etter hvert fikk navnet etter borgen, Bohuslen.