1998年6月7日，杨尚昆因高烧住进301医院，后被诊断为白血病，当年8月初洪灾期间将自己和夫人李伯钊恢复工作后补发的部分工资（当时已存20余年）全数捐往灾区。1998年9月2日，杨尚昆向家人交代后事，称“一是要向中央表示要求从简，今年遭了大灾更要从简”，并希望“火化后送回老家潼南去，同四哥杨闇公埋在一起”。1998年9月14日1时17分，楊尚昆因病在北京逝世，享年91岁。他被官方稱為“伟大的无产阶级革命家、政治家、军事家，坚定的马克思主义者，党、国家和人民军队的卓越领导人”。杨尚昆去世后，中央文献出版社出版了《杨尚昆日记》，涵蓋时期为1949年1月1日至1965年12月10日，是研究中共党史和中华人民共和国历史的重要资料。2001年5月18日，杨尚昆与李伯钊的骨灰安葬于潼南杨闇公烈士陵园西北方向的杨尚昆陵园。