Babası Meher Ali Mian, ünlü bir avukat ve Mymensingh Yerel Yönetim Kurulu Başkanı ve İlçe Yönetim Kurulu Üyesiydi. Dakka Üniversitesi Yüksek Lisans eğitim alarak bir hukuk diplomasını kazandı. Zillur Rahman 1952'de Bengali dili hareketine katıldı. Daha sonra bir Avami adayı olarak Pakistan 1970 ulusal seçimlerinde de parlamentonun bir üyesi olarak seçildi. Bangladeş Kurtuluş Savaşı sırasında sürgüne gönderildi.