Mohammed Aziz Khan est né dans le village de Dhar Dhrach, situé dans le voisinage de la Pallandri situé dans l'Azad Cachemire le . Sa famille appartenait à la tribu Sudhozai. Il fait partie de l'ethnie cachemiris. D'abord diplômé de la  High School Palandri, il rejoint l' Armée Pakistanaise en 1964. Son premier fait d'armes se déroule lors de la deuxième guerre avec l'Inde en 1965. Il rejoint par la suite l'Académie Militaire du Pakistan (PMA).