Rahimi wurde 1949 (1327 nach islamischer Zeitrechnung) im iranischen Qorveh in der Provinz Kordestān geboren. Er ist seit 1970 verheiratet und hat zwei Kinder. An der Azad-Universität in Teheran erwarb er einen akademischen Abschluss. 1980 wurde Rahimi als Mitglied der Islamisch-Republikanischen Partei ins iranische Parlament gewählt, wo er unter anderem dem Ausschuss für Außenpolitik angehörte. Im August 1993 wurde er vom damaligen Präsidenten Ali Akbar Hāschemi Rafsandschāni zum Gouverneur der Provinz Kordestān ernannt. Rahimi besetzte dieses Amt bis August 1997, als Mohammad Chātami, der bei den Präsidentschaftswahlen 1997 zu Rafsandschanis Nachfolger gewählt wurde, neue Gouverneure ernannte.