Rhaman va ser el membre de més edat del Presidium del seu partit, la Lliga Awami. Va començar la seva carrera política en l'Assemblea Nacional de Pakistan i va participar activament en la Guerra d'Alliberament. Amb la independència va passar a ser el Secretari General de la Lliga Awami el 1972 i parlamentari a l'any següent. Després de l'assassinat del primer president, Sheikh Mujibur Rahman va ser empresonat quatre anys per la junta militar. Va tornar a ser parlamentari i entre 1996 i 2001 va ser Ministre de Govern Local, Desenvolupament Rural i Cooperació.