Nøyaktig når kirka ble bygd er usikkert. Om Dolm avløste Undås i høymiddelalderen (den store kirkebyggerperioden på 1200-tallet) eller i senmiddelalderen (fiskerienes storhetstid på 1400-tallet) er fortsatt under debatt. Kirkesøk og kirkeleksikonet oppgir 1188 som byggeår. Boken om kulturminner på Hitra oppgir at bygget ble påbegynt i år 1250 med navnet Sankt Colbanus kirke. Ifølge et sagn ble kirken på Dolmøya og et tilliggende planlagt kloster påbegynt før Svartedauden som førte til at arbeidet ble avbrutt.