Kayani ble utdannet ved Military College Jhelum og ble offiser i den pakistanske hæren i august 1971 i Infantry's Baloch Regiment som en infanterist. Han har også utdannelse fra Command and Staff College i Quetta, fra Command and General Staff College i Fort Leavenworth og National Defence University i Islamabad, der han tok en mastergrad i krigsstudier. I sin karriere i hæren, har han kommandert en infanteribataljon, en infanteribrigade, en infanteridivisjon og det prestisjefulle Rawalpindi Corps.