Khan kreeg in 1951 de aanstelling over de brigade die langs de staakt-het-vurenlijn in Kashmir was gelegerd. In de periode 1954-57 hield hij zich bezig met de modernisering van het Pakistaanse leger, een van de grote wensen van president Mohammed Ayub Khan. Van 1958 tot 1962 was hij hoofd van de generale staf en van 1962 tot 1965 was hij opperbevelhebber in Oost-Pakistan en voerde een infanteriedivisie aan. Deze divisie vocht in 1965 ook mee in de Tweede Kasjmiroorlog. In maart 1966 kreeg Khan de benoeming tot opperbevelhebber van het Pakistaanse leger. Als opperbevelhebber kreeg hij te maken met de wapenboycot die de Verenigde Staten tegen India en Pakistan hadden ingesteld. Pakistan richtte zich nu op China voor de aanschaf van militaire middelen. Het grootste deel van het leger werd daarom uitgerust met Chinees oorlogsmateriaal.