ભારતમાં મુસ્લિમકાળના ઈતિહાસની જે જાણીતી હકિકતો છે તે પ્રમાણે ઈ. સ. ૧૧૯૪માં મુહમ્મદ ઘોરીના સેનાનાયક કુત્બુદ્દીન ઐબકે જ્યારે કન્નૌજના રાજાને યુધ્ધમાં પરાજય આપ્યો ત્યારે તેના દ્વારા આ મંદિર તોડી પડાયુ હતુ.