Nas eleições paquistanesas de 1970, candidatou-se pela Liga Popular de Bangladesh, tendo sido eleito membro do parlamento do Paquistão - país ao qual Bangladesh se encontrava integrado. Durante a Guerra de Independência de Bangladesh (1971), Rahman participou ativamente do governo bengalês no exílio. Em 1972, logo após o fim da guerra, Rahman tornou-se secretário-geral da Liga Popular de Bangladesh. Nas eleições gerais de 1973, foi eleito membro do parlamento. Depois do assassinato do "Sheikh" Mujibur Rahman, Zillur Rahman foi preso pela junta militar, passando subsequentemente quatro anos detido.