জনশ্রুতি অনুযায়ী, মন্দিরের স্থলে মসজিদটি নির্মাণ করা হয়েছিল। মসজিদের শিলালিপিতে 'কুফর ধ্বংস' করার কথা উল্লেখ থাকা এবং পরবর্তীকালে মসজিদ চত্বরে মাটির নিচ থেকে বাসুদেব মূর্তি উদ্ধারের ঘটনা এখানে প্রাচীন মন্দিরের অস্তিত্বের সমর্থন পাওয়া যায়। খ্রিষ্টীয় ত্রয়োদশ শতকের পর এ দেশে আর পাথরের মূর্তি তৈরি করা হয়নি।