Konservator Povl Simonsen har ment at den første kirken på Rørstad kan ha blitt reist på 1300-tallet. Begrunnelsen er at dette er den eneste gården som er nevnt i kilder fra middelalderen. Dessuten at det er usannsynlig at en kirke er reist rett etter reformasjonen, da det var nedgangstider i landsdelen. Med helgenbildene, skriftlige kilder fra middelalder og stedets viktige posisjon ved fjorden er det ifølge Simonsen tre samstemte argumenter for at det skulle ha vært en kirke på Rørstad allerede i middelalderen. Kirken kan da ha vært enten en sognekirke med prestegård, eller et kapell for en storgård.