Bispedømmet ble etterhvert flyttet til Bergen, se Bjørgvin bispedømme. Den norske kirkeorganisasjonen var organisert etter engelsk forbilde, og etter både engelsk kirketradisjon og bestemmelser på kirkemøtet i London i 1075 skulle biskoper bo i byer, ikke på landsbygda. Dette ble mulig med den nye byen Bergen, som ble grunnlagt på slutten av 1000-tallet. Biskop Bjarnvard tok sete i Bergen, men så lenge Sunnivas skrin var på Selja, ble Selja regnet som bispesetet.