জানা যায় এক সময় ঢাকার নবাবেরা এটিকে ঘিরে হাফেজ মঞ্জিল নামক একটি প্রাসাদ ও উদ্যান নির্মাণ করে ছিলেন এমন জনশ্রুতিও আছে। ঐতিহাসিকদের ধারণা মতে এটি ১৫৮০ খ্রিস্টাব্দে মোগল শাসক ঈশা খাঁ মগ ও পর্তুগিজ জলদস্যুদের কবল থেকে এ জনপদকে রক্ষা করার জন্য শীতলক্ষ্যা-ব্রহ্মপুত্র, মেঘনা নদীর মিলন স্থলে কেল্লাটি নির্মাণ করেন। মোগল শাসক ঈশা খাঁ এই এলাকায় দুর্গ নির্মাণের পরপর তার মেয়েকে এই কেল্লার আশেপাশেই সমাধিস্থ করেন। যেটি বর্তমানে কিল্লার পুলস্থ ‘বিবি মরিয়ম’ সমাধি বা মাজার নামে পরিচিত।