Ab 1936 hatte Arif die Militärhochschule in Bagdad besucht und 1958 zusammen mit seinem jüngeren Bruder Abd as-Salam Arif sowie Abd al-Karim Qasim an der irakischen Revolution teilgenommen. Er wurde 1961 als Brigadegeneral der Panzertruppen zunächst entlassen. Seit Qasims Sturz durch Abd as-Sallam Arif und die Baath-Partei 1963 hatte er wieder führende Armeeposten inne, nach dem Militärputsch vom 18. November 1963 als Generalstabschef. Als Stellvertreter seines Bruders und mit Hilfe der Republikanischen Garden konnte Arif im September 1965 einen nasseristischen Putschversuch niederschlagen, doch im April 1966 kam sein Bruder und Präsident bei einem Hubschrauberabsturz ums Leben, und im Juli 1966 putschten die Nasseristen um Arif Abd ar-Razzaq erneut.