Ayub Khan var pashtun og hans far var risaldar-major ved et kavaleriregiment i den britisk-indiske armé. Ayub Khan gikk til skole i Sarai Saleh, en småby ca 6,5 km fra hjemlandsbyen - han kom seg dit og hjem ridende på et muldyr. Senere begynte han på en skole i distriktshovedstaden Haripur, der han bodde med bestemoren.