Ruhani kuului Ruhollah Khomeinin kannattajiin, minkä takia hän joutui olemaan maanpaossa šaahin aikana. Šaahin syrjäyttämisen jälkeen hän palasi Khomeinin kanssa Ranskasta Iraniin. Hänellä on ollut useita merkittäviä tehtäviä valtionhallinnossa.