બાબરના જ કહેવાથી તેના સેનાપતિ મીરબાકીએ સદીઓ જૂના આ મંદિરને સ્થાને મસ્જિદ જેવી એક ઇમારતનું નિર્માણ કર્યું હતું.