I yngre jernalder var Ytterby en stormannsgård. Senere overtok den norske kongemakten traktene omkring elven (Nordre älv) og flyttet til Konghelle. Representanter for kongemakten ble sittende i ett ca. par hundre år i Ytterby. Da de norske vikingkongene Olav Tryggvason, Olav den hellige, Harald Hardråde og Olav Haraldsson bodde i denne landsdelen holdt de hoff i kongsgården Ytterby. Selv kalte de den Konghelle, etter Båhuslens nest største gravfelt "Helle" som lå ovenfor kongsgården.