બ્રિટિશ હુકુમતના સમયે વર્ષ 1813માં હિન્દુ સંગઠનોએ પહેલીવાર આ દાવો કર્યો હતો કે વર્ષ 1526માં જ્યારે બાબર આવ્યો તો તેણે રામ મંદિરને તોડાવીને જ વિવાદિત ઢાંચાનું નિર્માણ કરાવ્યું હતું.