Er war zusammen mit Abd al-Karim Qasim einer der Anführer des Staatsstreichs von 1958, der König Faisal II. stürzte. Durch den Putsch kam Abd al-Karim Qasim an die Macht und wurde Premierminister. Ar-Rubai'i wurde Vorsitzender des dreiköpfigen Souveränitatsrates (Staatsrat), der als kollektives Staatsoberhaupt fungierte, aber nur repräsentative Aufgaben hatte. Der Souveränitatsrat repräsentierte die drei wichtigsten Volksgruppen im Irak (sunnitische Araber, schiitische Araber, sunnitische Kurden) und ar-Rubai'i vertrat die sunnitischen Araber, Khalid an-Naqschbandi die sunnitischen Kurden und Muhammad Kubba die schiitischen Araber. Ar-Rubai'i wurde ebenfalls Vorsitzender des Sicherheitsrates.