Etter den andre verdenskrigen ble Rahman utnevnt til generalsekretær av det bangladeshiske politiske partiet Awami League i 1972. Han ble valgt som medlem av parlamentet etter valget i 1973. Etter drapet på Bangladeshs første president Sheikh Mujibur Rahman, ble Zillur Rahman, sammen med flere politiske kollegaer, arrestert av den militære juntaen, og tilbrakte etter det de neste fire årene i fengsel.