Peterskirken, den eneste som står igjen, er trolig den eldste. Etter reformasjonen ble den kalt Borgen Hovedkirke. I kirken er følgende innskrift: «EX TEMPLO PETRI ET MARGRITHÆ CONDITUR UNUM, DICITUR & PETRI» («av Peters og Magretas templer bygges her ett, den kalles også Peter»). Bugge skriver at dagens kirke står der middelalderens Kristkirke sto. Ifølge Bugge var Margaretakirken et annet navn på Kristkirken.