Etter at det sørlige løpet av Göta älv ble utvidet tidlig på 1300-tallet, borgen Båhus ble bygget nærmere elvedelet og Sverige og Norge fra 1319 inngikk i personalunion, mistet Konghelle mye av sin tidligere betydning, blant annet til fordel for Marstrand. Byen brant ned i 1612 og ble senere flyttet til under Båhus festning for lettere å kunne forsvares. Navnet ble etterhvert uttalt «Kongell», og etter flyttingen ble også skrivemåten «Kongelf» vanligere. Da byen ble svensk i 1658, ble navnet Kungälv innarbeidet.