Rhaman fue el miembro de mayor edad del Presidium de su partido, la Liga Awami. Comenzó su carrera política en la Asamblea Nacional de Pakistán y participó activamente en la Guerra de Liberación. Con la independencia pasó a ser el Secretario General de la Liga Awami en 1972 y parlamentario al año siguiente. Tras el asesinato del primer presidente, Sheikh Mujibur Rahman fue encarcelado cuatro años por la junta militar. Volvió a ser parlamentario y entre 1996 y 2001 fue Ministro de Gobierno Local, Desarrollo Rural y Cooperación.