Etter reformasjonen 1536 lå kirken i mange år i ruiner. I 1882 ble ruinene fredet, i 1928 ble restaureringsarbeidet tatt opp, og i 1950 kunne Løvøy kapell gjenåpnes til kirkelig bruk.