Arne Kvitrud mente at da kirken ble bispekirke ble kirkeskipet forlenget vestover og det ble bygd et tårn i vestpartiet (vesttårnet). Dette var trolig en gang i perioden 1125-1135. Kong Sverres sysselmann Einar Kongsmåg tok ca. 1205 tilflukt i vesttårnet, da baglerne overfalt byen. Han ble drept, etter først å ha blitt lovt fritt leide om han kom ut. Sankt Svithuns skrin, som ble brukt til å oppbevare relikviet etter Sankt Svithun, er omtalt første gang i forbindelse med dette bagleroverfallet.