পন্নী পরিবারের দুটি ভাগ। তাঁদের বংশের অনেকেই ওলি আল্লাহ ছিলেন, আধ্যাত্মিক সাধক ছিলেন। আবার অনেকে উপমহাদেশের পরিচিত রাজনীতিক ব্যক্তিত্ব ছিলেন। ভারতের বিখ্যাত সুফি সাধক সৈয়দ খাজা মোহাম্মদ হোসাইনী গেসুদারাজ বন্দে নেওয়াজ (র.) (১৩২১-১৪২২), টাঙ্গাইলের হযরত মুঈন খান পন্নী (র.) ছিলেন এমামুয্যামানের পূর্বপুরুষ। উপমহাদেশের বিখ্যাত সাধক হায়দার আলী খান পন্নী (রহ.) ছিলেন এমামুযযামানের দাদাজান। তাঁরা চিরকালই মানুষের কল্যাণে কাজ করেছেন। প্রখ্যাত দানবীর ওয়াজেদ আলী খান পন্নী ওরফে চান মিয়া ছিলেন এমামুয্যামানের দাদার বড় ভাই। পন্নী পরিবার অনেক বড়। একটা বড় পরিবারে বিভিন্ন মতের বিভিন্ন চরিত্রের মানুষ থাকে। এখানে অনেকেই আছেন যাদের মধ্যে কে বিএনপি করেন, কে আওয়ামী লীগ করেন, কে বিদেশে গিয়ে কী করছেন এগুলো তো এমামুয্যামানের উপর বর্তানোর কোনো মানে হয় না। এটা ইতিহাস যে, তৎকালীন আরবের কোরাইশ বংশে আল্লাহর রসুল এসেছেন। মক্কার সবচাইতে সম্ভ্রান্ত পরিবার কোরাইশ আপনারা জানেন। তারা কাবা নিয়ন্ত্রণ করতেন। সেই কোরাইশ বংশের আবু লাহাব, আবু জাহেল, ওতবা, শায়েবা এমন এমন জঘন্য কাজ করেছেন যে তারা ঐতিহাসিকভাবে ঘৃণিত হচ্ছেন। তারা কাবাকে অপবিত্র করেছেন। তাদের কেউ কেউ রসুলাল্লাহর আপন চাচা। কিন্তু তাদের দুষ্কর্ম কি আল্লাহর রসুলের উপর বর্তাবে? রসুলাল্লাহ ছিলেন মক্কার সেই কোরাইশদের থেকে আলাদা। সেই কোরাইশরা আল্লাহ রসুলকে বলতো আল-আমিন, আস-সাদেক, সত্যবাদী। তিনি কখনও মিথ্যা বলতে পারেন না, ওয়াদা নষ্ট করেন না, কারও হক নষ্ট করেন না, তিনি ন্যায় নীতিবান। মানুষের কল্যাণের চিন্তাই তিনি সবসময় করেন। আমাদের এমামুয্যামানও তাঁর পরিবারের মধ্যে সত্যবাদী, আল্লাহর পছন্দনীয় চরিত্রবান ও সাহায্যপ্রাপ্ত ছিলেন। উপমহাদেশের প্রখ্যাত পন্নী পরিবারের শাসনকার্য পরিচালনা, আধ্যাত্মিক ও রাজনীতিক কর্মকা-ের ইতিহাস হাজার বছরের। এমন একটি সম্ভ্রান্ত পরিবারের সন্তান এমামুয্যামান বংশের অন্য অনেকের থেকে একেবারেই ভিন্ন প্রকৃতির ছিলেন, এ কথা তাঁর পরিবার ও পরিচিতমহলের সকলেই জানেন।