जिस प्रकार इस मंदिर के निर्माण के सही वक्त परअलग मत है, ठीक उसी प्रकार इसके बड़े हिस्से के ध्वस्त होने के पीछे भी कई मत हैं। एक तरफ जहां इतिहासकार इस मंदिर के ध्वस्त होने का कारण मुगलों का आक्रमण और देखरेख का अभाव बताते हैं, वहीं वास्तुशास्त्री इस मंदिर के ध्वस्त होने का कारण इसका खराब वास्तु बताते हैं।