Rahman osallistui vuoden 1952 Bengalin kielen liikkeeseen, jonka tavoitteena oli tehdä bengalista Pakistanin virallinen kieli. Myöhemmin hän liittyi awamiliitto-puolueeseen, jonka ehdokkaana hänet valittiin Pakistanin parlamenttiin vuonna 1970. Bangladeshin itsenäisyyssodan aikana 1971 Rahman osallistui maanpaossa olleen Bangladeshin hallituksen toimintaan.