Bispekapellet ble bygd i tilknytting til den nordlige delen av bispeboligen. Kongsgård og Bispekapellet er bygd med en sammenhengende grunnmur, selv om Bispekapellets grunnmur er forlenget noe i retning av Breiavatnet. Bispekapellet har vært biskopens private kapell og vært en del av Bispegården. Det har vært argumentert for at fundamentet for Bispekapellet er den yngste delen.