যেহেতু রাসমণির পিতৃ পক্ষের পরিবার সেইসময়কার সমাজ ব্যবস্থা অনুযায়ী নিম্নবর্ণের ছিলো তাই সমস্ত ব্রাহ্মণ সমাজ দক্ষিণেশ্বরের কালী মন্দির নির্মানের কাজে প্রথমে বাঁধা সৃষ্টি করে | কিন্তু তাতে বিশেষ লাভ হয়নি, কারণ রাসমণি ব্রাহ্মণ সমাজের বাঁধা তোয়াক্কা না করে কালী মন্দির নির্মানের কাজ চালিয়ে যান |