975年1月，在第四届全国人民代表大会第一次会议上当选为人大常委会副委员长。
晚年岁月.1980年以后，刘丧失了自理生活能力。1980年8月17日，五届人大三次会议批准了刘关于辞去人大常委会副委员长职务的请求。1981年，《刘伯承回忆录》出版；11月23日，副总参谋长张震在全军防化战备会议上讲话称：“邓主席去年说，‘那次反教条主义是错误的。’”1982年，刘伯承因年龄和健康原因辞去党、国家和军队领导职务。同年8月6日，中共十一届七中全会通过了《给刘伯承同志的致敬信》：1986年