Det prektige kirkebygget i Gamlebyen ble levnet liten ære og forfalt. Siste kjente messe i Hallvardskirken ble holdt i 1654. I 1656 dro en historieinteressert student skallen til Sigurd Jorsalfare ut av det forfalne kirkebygget og tok den med seg til Danmark. Nedbrytningen akselererte og i 1696 ble den gamle katedralen vedtatt revet. Den ble nå steinbrudd for Akershus festning, og trolig også for Oslos tredje domkirke reist ved Stortorvet og innviet allehelgensdag 1697 av biskop Hans Rosing.