Ayub Khan nació en el pueblo de Rehana en el Distrito Hazara de la Provincia de la Frontera del Noroeste de la India BritánicaHaripur > de la tribu Tareen, fue el primer hijo de la segunda esposa de Mir Dad Khan Tareen, que era un "Risaldar-Major" en el 9th Hodson's Horse, un regimiento de caballería del Ejército Indo-Británico antes de la independencia de la India.