Foi educado e recebeu comissão no exército depois de frequentar o Colégio Militar Rashtriya indiano, Yaqub Khan serviu bem na Segunda Guerra Mundial em nome do Exército da Índia Britânica, sua carreira militar viu as ações na Operação Tobruk, e mais tarde optou pelo Paquistão, juntando-se a equipe do Exército do Paquistão. Como o maior general, comandou o combatente primeira divisão blindada durante a Guerra de setembro de 1965 contra a Índia e postou no Paquistão Oriental logo após a guerra terminar. Em 1967, ele foi elevado como o Chefe do Estado Maior Geral do Alto Comando Militar Oriental sob vice-almirante Syed Mohammad Ahsan e conseguiu Admiral Ahsan como comandante do comando oriental em 1971. Depois de não conseguir restaurar a paz, Yaqub Khan foi re-chamado no Paquistão Ocidental, onde ele comandou o corpo de combatente contra a Índia, e tomou voluntariamente aposentadoria do exército. Em 1973, ele entrou no serviço diplomático assumindo o posto diplomático do embaixador do Paquistão nos Estados Unidos, na União Soviética e na França, que ocupou até 1979. Após seu retorno, ele foi re-chamado para o serviço militar pelo então Chefe do Exército Staff Geral Zia-ul-Haq em 1980, re-assumiu o militar estrangeiro em 1982.