Ghulam Jilani Khan est né en 1925 à Gujranwala, à l'époque situé dans la province Pendjab et sous la domination du Raj britannique en Inde. En 1944, il intègre l'armée indienne britannique. Dans le contexte du mouvement pour l'indépendance de l'Inde et du mouvement pour le Pakistan, il choisit de rejoindre le Pakistan à la suite de la partition des Indes en 1947. Jusqu'en 1948, il participe à la Première guerre indo-pakistanaise en tant que volontaire parmi les insurgés en faveur de l'intégration du Cachemire au Pakistan. Il se fait ainsi remarquer par la hiérarchie et poursuit sa formation d'officier à Washington D.C. en 1952.