16મી સદીમાં મુસ્લિમ આક્રમણખોરે મંદિર તોડીને ત્યાં મસ્જિદ બનાવી હતી તેવો દાવો કરાયો હતો.