Kirken antas å være bygget på oppfordring av Pål Vågaskalm (død 1245) en gang på 1200-tallet, på tuftene av en enda eldre kirke. Den var opprinnelig et enskipet familiekapell i gråstein, som den gang ble benevnt , i privat eie som del av Dønnesgodset. Et mausoleum var anlagt under koret.