Gercse templomának helyén vélhetőleg már a római időkben állt valamilyen épület, hiszen a Nagy Emese régész által 1956-ban elvégzett feltárások idején több római eredetű kő került elő a templomhajó alól, illetve a templomot egykor körbevevő védőfalba beépítve is találtak ilyeneket. A templom eredetileg román stílusban épült, falai a 12. századból származnak; patkó alakban kiépített szentélye ritkaságnak számít Magyarországon, csak a Felvidéken találni elvétve hasonló megoldásokat. Az Árpád-kori épület pusztulását tűzvész okozhatta, további leromlásához az is hozzájárulhatott, hogy 1595-től 1728-ig lakatlan volt a környéke (esetleg átmeneti szállásul szolgálhatott, a falu megmaradt épületeivel együtt, hadi események idején).