એવુ કહેવાય છે કે, અગાઉ રફાળેશ્વર મહાદેવ મંદિરનો અનેક વખત જીર્ણોધ્ધાર થયા હતા.