કહેવામાં આવે છેકે યુદ્ધમાં રાજપુતો શાહજહાં સામે હાર્યા અને તેમણે આ મંદિર તોડાવીને તાજ મહેલનો નિર્માણ કર્યો.