১৯০০ সালের গোড়ায় ঢাকার নবাব আবদুল গনি বেলেঘাটা অঞ্চলে এই বাগানবাড়িটি কিনেছিলেন। ১৪ কাঠা জমির ৮ কাঠার উপর চার হাজার বর্গফুট জুড়ে বড় ছোট ৭টি ঘর নিয়েই এই ভবন। ১৯৮৪ সালে রাজ্য সরকার হেরিটেজ তালিকাভুক্ত করে অধিগ্রহণের পর বাড়িটির আমূল সংস্কার করা হয়।