1976年毛泽东逝世后，他与国务院总理华国锋、中共中央办公厅主任汪东兴等人联手策划怀仁堂事变，逮捕四人帮成员，成为中共党内仅次于华国锋的二号领导人。此后担任全国人大委员长（廢除國家主席時期相當於國家元首）等職。1986年10月22日，叶剑英在北京逝世，骨灰安葬于广州黄花岗烈士陵园。