Han var først undervisningsminister. Deretter steg han raskt i gradene og ble statsminister i august 1980, under president Abolhassan Banisadr. Rajai representerte Det islamske republikanske parti, som hadde en majoritet av plassene i parlamentet. Rajai havnet snart i konflikt med Banisadr, som nektet å godkjenne de ministre som var blitt nominerte av Rajai. Ayatollah Ruhollah Khomeini forsøkte til å begynne med å megle mellom Rajai og Banisadr, men i mai 1981 rettet Khomeini skarp kritikk mot Banisadr, og den 21. juni 1981 stemte Irans parlament for å avsette presidenten.