Als Offizier war Yahya bereits an der Revolution des 14. Juli 1958 beteiligt, nach einem Putschversuch gegen Abd al-Karim Qasim jedoch 1959 in Ungnade gefallen. Im Namen der Verschwörer nahm er Kontakt zur KDP bzw. zu Kurdenführer Molla Mustafa Barzani auf, um sich dessen Neutralität beim Sturz Qasims zur versichern. Nach der Machtergreifung der Baathisten am 8. Februar 1963 und der Ermordung Qasims trat Yahya der Baath-Partei bei, wurde zum Generalstabschef befördert und führte, letztlich vergeblich, für Premier Ahmad Hasan al-Bakr Verhandlungen mit Barzani über ein Ende des Kurden-Aufstandes.