I nærheten av palasset er sognets kirke for Birsay og Harray (tilhører Den skotske kirke, åpen i sommermånedene). Arkitektoniske detaljer av veggene, og en arkeologisk undersøkelse av fundamentet tyder på dette var stedet for den første katedralen på Orknøyene på 1000-1100-tallet, kjent som , eller , grunnlagt av den norrøne jarl Torfinn Sigurdsson Rike (død ca. 1065) etter at han kom tilbake fra sin pilegrimsreise til Roma. Setet for bispedømmet ble overført til St. Magnuskatedralen på Kirkwall på slutten av 1100-tallet, skjønt biskopene av Orknøyene fortsatte å bo på Birsay, da kjent ved sitt latinske navn , til slutten av middelalderen.