Dia adalah seorang prajurit karier, dan mendukung kudeta militer pada tahun 1958 yang menggulingkan monarki. Dia juga mendukung kudeta yang membawa saudaranya, Abdul Salam Arif, berkuasa pada 1963. Saudaranya dia diangkat kepala tentara menyusul kudeta, dan ketika Arif muda tewas dalam kecelakaan helikopter pada bulan April 1966, Perdana Menteri Abdul Rahman al-Bazzaz menjadi penjabat presiden, tiga hari kemudian, al-Bazzaz dipilih menjadi presiden, maka al-Bazzaz segera menyerahkan presiden Abdul Rahman Arif. Pengalihan kekuasaan mungkin terjadi karena militer Irak berpikir bahwa Abdul Salam harus digantikan oleh lemah dan lebih mudah untuk memanipulasi kakak gantinya. Arif ditunjuk sebagai presiden oleh Dewan Komando Revolusioner Irak. Dia melanjutkan kebijakan kakaknya, tetapi dengan profil yang lebih nasionalistis.