মসজিদের পূর্বে ছোট দীঘির পাশেই বিশাল এলাকাজুড়ে রয়েছে দারসবাড়ি মাদ্রাসা। আরবি ‘দারস’ শব্দের অর্থ পাঠ বা অধ্যয়ন। জেনারেল কানিংহাম এটিকে শিক্ষাকেন্দ্র (কলেজ) বলে উল্লেখ করেছেন। ধারণা করা হয়, ১৫ শতকে সুলতান আলাউদ্দিন হোসেন শাহর আমলে নির্মিত এই মাদ্রাসা বাংলাদেশের মুসলমানদের শিক্ষাকেন্দ্রের নিদর্শন। একসময় মাদ্রাসাটিতে বর্তমানের বিশ্ববিদ্যালয় মানের শিক্ষা দেওয়া হতো। এখানে নদিয়া, পশ্চিম দিনাজপুর, মালদহ, দেশের উত্তরবঙ্গ ও দক্ষিণবঙ্গের লোকজন উচ্চশিক্ষা গ্রহণ করত। ৩০০ শিক্ষক পাঠদান করতেন বলে জানা যায়।