ঐতিহাসিক সূত্রে জানা যায়, ১৬৬৬ সালে শায়েস্তা খানের সেনাবাহিনী আরাকান মগরাজাদের কবল থেকে চট্টগ্রামকে মুক্ত করলে এখানে মোগল শাসন কায়েম হয়। তখন শাহি ফরমান বলে বিজিত অঞ্চলে অনেকগুলো মসজিদ নির্মাণ করা হয়। এর মধ্যে সে সময়কার হামজা খানের মসজিদ, আন্দরকিল্লা শাহি জামে মসজিদ, অলি খাঁ জামে মসজিদ অন্যতম। বাংলায় মোঘল শাসনামলে এই দৃষ্টিনন্দন স্থাপত্য শিল্পের ভিত্তিপ্রস্তর স্থাপন করা হয়েছে বলে ধারণা করা হলেও মূলত ব্রিটিশ শাসনামলে এ মসজিদের প্রথম সংস্কার করেন মাস্টার হাজী আব্দুল হামিদ। মসজিদে ঢুকতে কার্নিশে খোদাই করে লিখা আছে নামটি।