1977 gründete er mit dem Vordenker der Iranischen-Islamischen Revolution von 1979, Ajatollah Mohammad Hosseini Beheschti, und Ajatollah Morteza Motahhari die Vereinigung der kämpfenden Geistlichkeit, die eine führende Rolle in der Islamischen Revolution spielte. Er war einer von fünf Klerikern im von Chomeini im Januar 1979 im französischen Exil gegründeten Revolutionsrat und Gründungsmitglied der Islamisch-Republikanischen Partei (IRP). Am 20. Februar 1980 wurde Mahdavi-Kani von Chomeini in den ersten Wächterrat berufen. Er eröffnete am 28. Mai 1980 das erste Parlament der islamischen Republik Iran. Unter den Ministerpräsidenten Mohammad Ali Radschāʾi und Mohammed Dschawad Bahonar war er Innenminister als Nachfolger von Akbar Hāschemi Rafsandschāni. Nach dem Anschlag am 30. August 1981, bei dem beide Ministerpräsidenten getötet wurden, fungierte Kani vom 2. September 1981 bis zum 29. Oktober 1981 als Interims-Ministerpräsident. Diese Rolle erfüllte er, bis der spätere Revolutionsführer Ali Chamene’i im Oktober 1981 Präsident wurde und Kani durch den heutigen Oppositionspolitiker Mir Hossein Mussawi abgelöst wurde.