彭德怀被罢官后,敢去看他的只有朱德等少数几个人
庐山会议后,中央军委作了调整,以毛泽东为主席,以林彪、贺龙、聂荣臻为副主席,朱德降为常委,从1953年起一直主持中央军委日常工作的副主席彭德怀,离开了中央军委领导层。9月17日,彭德怀免除了国防部长,解甲归田。
庐山会议对于朱德和彭德怀来说,都是人生中一次考验,彭德怀被罢官,朱德被降为中央军委常委。9月30日,彭德怀举家迁出中南海,搬到北京西北郊挂家屯吴家花园居住。