હિંદુઓ કહે છે કે બાબરના શાસન પહેલાં ત્યાં રામલલ્લાનું મંદિર હતું, જેને બાબરના સેનાપતિએ તોડી નાખ્યું હતું અને તે જગ્યાએ મસ્જિદ બંધાવી હતી.