I oktober 2007 ble Kayani forfremmet til general, og ble utnevnt til visesjef for Hærstaben. Han tok over som hærsjef i Pakistan etter at Musharraf gikk av 28. november 2007. Sermemonien ble avholdt på en sportsstadion nær Hærens hovedkvarter i Rawalpindi. Kayani er den første pakistanske offiserer som har vært sjef for etterretningstjenesten, og som har senere blitt hærsjef.