Como um oficial, Yahya participou na Revolução de 14 de Julho de 1958, porém depois de uma tentativa de golpe contra Abd al-Karim Qasim, no entanto, cairia em desgraça em 1959. Durante as lutas pelo poder em novembro de 1963, Yahya foi nomeado em 20 de novembro de 1963 pelo presidente Abd as-Salam Arif no lugar do deposto Ahmed Hasan al-Bakr como primeiro-ministro e Ministro da Defesa. Renunciaria em 1965, mas seria nomeado para o cargo novamente em 1967.