বর্তমানে সংস্কারের অভাবে এই ঐতিহ্যবাহী হাজীগঞ্জ কেল্লার ইটগুলো খসে পড়ছে, পুড়ো কেল্লায় কোনো আস্তর নাই। তাই কেল্লার দেওয়াল ঢাকা পড়ছে শেওলায়। দুর্গ এলাকার ব্যাপক অংশ জুড়ে এখন রয়েছে নারায়ণগঞ্জ ফায়ার ব্রিগেড সদর দফতর। কেল্লাটির একপাশে রয়েছে খাল, যেই খালটি দিয়ে কোনো একসময় সেই আমলের মুগল সম্রাটরা নৌকাযোগে এই কেল্লায় আসাযাওয়া করতো, নাম ‘কিল্লার খাল’। (বহু আগে থেকে সেই খালের ওপর দিয়ে একট পুল তৈরি হয়, সেই পুলের নাম হাজীগঞ্জ কেল্লার নামেই নামকরণ করে নাম রাখা হয় ‘কিল্লার পুল’। এই পুলের ওপর দিয়েই নারায়ণগঞ্জ-চিটাগাং রোড ও ডেমড়া যাতায়াতের একমাত্র পথ।) আর কেল্লার তিনপাশে কোনো একসময় গড়ে ওঠেছে খাসজমির ওপর পাটের গুদাম। এই গুদাম মালিকরা স্বাধীনতার পর থেকে অস্থায়ী লিজ নিয়ে তাদের সংগ্রহ করা পাট রাখার জন্য কেল্লা ঘেঁসেই গুদাম নির্মাণ করে। তখন থেকেই এসব গুদামের কারণে নারায়ণগঞ্জের ঐতিহ্যবাহী হাজীগঞ্জ কেল্লাটি সৌন্দর্য হারাতে থাকে।