Kirken ble bygd fra restene av en eldre kirke, som opprinnelig stod mellom den gamle prestegården på «Grytina» («Gryttina») og Brønnsletta. Denne kirken måtte rives fordi den var truet av å bli begravd i sand. To dalfører møtes ved det opprinnelig kirkestedet, og sideelven Istra munner ut i Rauma nedenfor det gamle kirkestedet. Kirkestedet lå på vestsiden av elven Rauma som har gravd seg ned i terrenget slik at elvebredden er høy og bratt opp mot det gamle kirkestedet. Fra 1600-tallet var det, trolig på grunn av uthogging av skog, stor sandflukt som dekket til kirkestedet og terrenget rundt med høye sanddyner. I 1828 ble bygget fra 1732 revet fordi sanddynene gjorde den ubrukelig; sanden skal ha nådd et stykke opp på vinduene. Sandflukten ble nevnt som grunn til flytting fra 1780 og Veblungsnes fremsto som tettsted og sentrum i området. Ved befaring 15. juli 1824 lå sanden 9 alen (omtrent 5 meter) høy på nordre side, bygget hadde store skader og bare en tredjedel av kirkegården var fri for sand.