Nach der Gründung Pakistans 1947 organisierte er die Pakistanische Kriegsakademie (Pakistan Staff College). Nach dem zweiten Indisch-Pakistanischen Krieg wurde er mit 34 Jahren Pakistans jüngster Brigadegeneral und im Alter von 40 Jahren auch der jüngste General. 1951 übernahm er die 106. Infanteriebrigade, die an der Waffenstillstandslinie des ersten indisch-pakistanischen Krieges in Kaschmir lag. Danach – 1954–57 – war Yahya Khan stellvertretender Generalstabschef der Planungsabteilung der pakistanischen Armee mit der Aufgabe, die Streitkräfte zu modernisieren. In den Jahren 1958–1962 war er Chef des Generalstabes und danach – bis zum zweiten indisch-pakistanischen Krieg – kommandierte er eine Infanteriedivision. Unmittelbar nach diesem Krieg wurde er zum Generalleutnant befördert und im März 1966 von Präsident Ayub Khan zum Oberbefehlshaber der Armee ernannt.