Utover på 1800-tallet ble Nordfold og Sørfold stadig større steder, dermed var ikke lenger behovet for en kirke på dette svært værutsatte stedet så stort. Egne kirker ble bygget for menighetene på disse stedene, dermed ville myndighetene at kirken helst skulle rives. Dette ble imidlertid ikke gjort. Utviklingen på 1900-tallet med moderne kommunikasjon førte til at et sted først og fremst egnet for båttransport ble avsidesliggende. Rørsted ble gradvis avfolket mot slutten av 1970-årene, men hadde fastboende helt til 2016. I dag brukes husene som fritidsboliger. Det holdes også årlige gudstjenester i den gamle kirken i sommerhalvåret.