Serviu com distinção como oficial do Exército da Índia Britânica na Segunda Guerra Mundial, Yahya optou pelo Paquistão em 1947 e se tornou um dos primeiros oficiais locais do exército no país. Após ajudar a conduzir a Operação Grande Batida durante a Guerra Indo-Paquistanesa de 1965, Yahya foi condecorado general em 1966. Nomeado para suceder o presidente Ayub Khan em 1969, Yahya dissolveu o governo e declarou lei marcial pela segunda vez na História do Paquistão. Ele conduziu as primeiras eleições livres do Paquistão em 1970, na qual a Liga Popular de Bangladesh (Liga "Awani"), de Mujibur Rahman, venceu no Paquistão Oriental. Seguido de Zulfikar Ali Bhutto, cujo partido venceu as eleições no Paquistão Ocidental, mas não teve votos suficientes, Yahya negou-se a dar o poder ao "Sheikh" Mujibur Rahman. Com isso, ocorreu uma guerra civil em todo o Paquistão Oriental. Yahya iniciou a Operação Holofote para acabar com a rebelião.