কবির প্রপিতামহ রামকিশোর দত্ত ছিলেন খুলনা জেলার তালা উপজেলার গোপালপুর গ্রামের অধিবাসী। তাঁর পিতামহ রামনিধি দত্ত ছোট ভাইদের নিয়ে মামার বাড়ি সাগরদাঁড়িতে চলে আসেন। রামনিধির চার ছেলের মধ্যে রাধামোহন আদালতের সেরেস্তাদার, মদনমোহন মুন্সেফ, দেবীপ্রসাদ ও রাজনারায়ণ উকিল ছিলেন। রাজনারায়ণ দত্ত কলকাতায় ওকালতি করে প্রচুর অর্থশালী হয়েছিলেন। তিনি সাগরদাঁড়িতে জমিদারি ক্রয় করেন ও বাড়িতে কিছু অট্টালিকা ও দেবালয়টি স্থাপন করেন। অপূর্ব নির্মাণশৈলীর সেই দেবালয়টিতে প্রতিবছর দুর্গাপূজা হয়। এ বাড়ির পূর্ব-পশ্চিম পার্শ্বে রয়েছে তার জ্ঞাতিদের বাড়ি ও জমিদারির কাছারি। মধুসূদনের ভ্রাতুষ্পুত্রী কবি মানকুমারী বসু পশ্চিম পার্শ্বের বাড়িটিতে জন্ম নিয়েছেলেন। ১৯৬৮ সালে প্রত্নতত্ত্ব বিভাগ বাড়িটি সংস্কার করে এবং ১৯৯৬-২০০১ সালে এলাকাটি দেয়াল বেষ্টিত করে একটি কুটিরের আদলে গেট, একটি মঞ্চ এবং দুটি অভ্যর্থনা স্থাপনা নির্মাণ করা হয়। এ সময় বাড়ির সমুদয় স্থাপনাকে পুনঃসংস্কার করে বর্তমান রূপ দেয়া হয়।