Był synem oficera wojsk brytyjskich w Indiach. Kształcił się na Uniwersytecie Aligarh i w Royal Military Academy Sandhurst. W 1928 rozpoczął służbę w Brytyjskiej Armii Indyjskiej. Zwrócił na siebie uwagę przełożonych w czasie II wojny światowej, w związku z czym w 1947 mianowano go generałem sił zbrojnych nowo utworzonego Pakistanu. W 1948 objął stanowisko dowódcy armii pakistańskiej na obszarze dzisiejszego Bangladeszu (ówczesny Pakistan Wschodni). W 1951 objął funkcję naczelnego dowódcy armii. Trzy lata później objął ministerstwo obrony. Kierował nim do 1956 r. Stopniowo tracił wiarę w skuteczność demokracji. 7 października 1958 r. przekonał prezydenta Iskandera Mirzę do wprowadzenia stanu wojennego, który powierzył mu wdrożenie go w życie. 27 października 1958 r., w bezkrwawym zamachu stanu, obalił Mirzę i przejął urząd prezydenta. Doprowadził do uchwalenia nowej konstytucji (1962), w której realizowano założenia stworzonej przez Ayub Khana koncepcji "demokracji podstawowej". Wyeliminował dzięki temu posunięciu zorganizowaną opozycję na szczeblu krajowym i jednocześnie zwiększył zakres kompetencji działaczy lokalnych. W polityce zagranicznej utrzymywał dobre stosunki z USA. Dzięki ogromnej pomocy finansowej rządu amerykańskiego Pakistan przeżywał kilkuletni okres ożywienia gospodarczego i stabilizacji politycznej. Przegrana w II wojnie o Kaszmir przyczyniła się do gwałtownego spadku poparcia społecznego dla Ayub Khana. Pogorszył się również stan jego zdrowia. Ulegając namowom wojskowych, w 1969 ustąpił na rzecz generała Jahji Khana. W 1970 wycofał się z życia politycznego.