Det opprinnelig kirkestedet med gravplass var truet av Glomma. I 1794 ble det gitt tillatelse til å sette opp ny kirke av stein på Vollermoen, i trygg avstand fra elven og passe nær prestegården, men byggingen ble ikke igangsatt trolig på grunn av store kostnader eller uenighet om utforming av det nye bygget. Den gamle kirken var da i dårlig stand og ville neppe tåle flytting slik at det trengtes et helt nytt bygg. I 1822 hadde elven spist seg innover i landskapet og mot kirken, slik at det bare var 60 meter fra elvekanten til kirkeveggen. Når Glomma gikk flomstor kunne vannet stå opp til kirkegården. Kirken og prestegården lå på gården Grof (eller Grue, av gammelnorsk ord for grop) og har gitt bygda navn. Mesteparten av gården er tatt av elven.