স্থানীয়ভাবে এই মন্দির ভাদুরী জমিদারের বাড়ি আর সেই জমিদারীর মন্দির নামেই পরিচিত। অনেকে মনে করেন এই মন্দির খাজনা আদায়ের জন্য তৈরী করা হয়েছিল। এখানকার স্থানীয় লোকজনের পূর্বপুরুষের স্মৃতি হাতড়ে কেউ কখনো পূজা আর্চনা হতে দেখে নাই। নবরত্ন মন্দিরের বাইরে পূজার আয়োজন হলেও ভেতরে পূজা হতে দেখেনি কেউ। এমনিভাবেই নবরত্ন মন্দিরকে দেখে এসেছে এলাকার মানুষজন। প্রথমদিকে সরকারের পক্ষ থেকে নবরত্ন মন্দিরে পূজার জন্য আয়োজনের কথা বলা হলেও দুটো কারণে স্থানীয় হিন্দু পরিবাররা রাজি হয়নি। এক, এটি জমিদারী সম্পত্তি হওয়ায়। প্রজা হিসেবে জমিদারী সম্পত্তি ব্যবহার যথাযোগ্য মনে করেনি তারা। দুই এখানকার হিন্দু পরিবারদের আর্থিক অবস্থা ভালো ছিল। নবরত্ন মন্দিরে পূজা চালিয়ে যাওয়ার মতো সাধ্য এখানকার পরিবারগুলোর নেই। এবারণে এ মন্দিরের ভেতরে পূজা না দিয়ে বাইরেই পূজা করতে স্বাচ্ছন্দ বোধ করে এলাকার লোকজন। এই এলাকায় এখনো দুই তিন মাইল জুড়ে স্থানীয় মাপে তিন চার পুরুষ অর্থ্যাত ২০/২৫ ফুট মাটি খুড়লে পুরনো লম্বা প্রাচীর এবং সারি সারি ইটের অস্তিত্ব খুজে পাওয়া যায়। ধারণা করা যায় জমিদারী আমলের এই জমিদার বাড়ি মাটির নীচে হারিয়ে গেছে। স্থানীয় লোকজনও এটা বিশ্বাস করে। তাদের ধারণা মন্দির গুলো জমিদার বাড়ির চেয়ে উঁচুতে ছিল অথবা দৈববলে মন্দিরগুলো মাটির নীচে হারিয়ে যায়নি।