આટલા વર્ષોમાં અનેક વા મુસ્લિમ રાજાઓએ આ મંદિરને તોડવાનો પ્રયાસ કર્યો છે પરંતુ દરેક વખતે હિન્દુ રાજાઓએ તેને ફરી બંધાવીને મિસાલ કાયમ કરી છે.