L'état de santé d'Ayub Khan commence à se dégrader à la fin de ses fonctions présidentielles. Il fait une première attaque cardiaque en , au moment où son autorité est fortement contestée par la population. Après son départ du pouvoir, il part dans une discrète retraite et évite toute apparition publique. Il esquive notamment une audition de l'enquête judiciaire sur la défaite militaire du Pakistan lors de la guerre de 1971. Le , la famille d'Ayub Khan annonce qu'il est mort d'une attaque cardiaque dans sa résidence de Rawalpindi, à l'âge de . Il est enterré le dans son village natal de Rehana, dans le district d'Haripur. La cérémonie est discrète, sans funérailles d’État ou honneurs militaires.