彭德怀在吴家花园住了六年,一面参加中央党校的学习,一面自食其力,主要吃自己种的粮和菜,并苦苦思考建设问题。在彭德怀的一生中,赋闲京郊吴家花园的这段日子,是他思想负担最重、精神上最为苦闷的时期。从《彭德怀年谱》中对他活动的记载,可以看出,彭德怀此时连去紫竹院公园散心,都要自己坐32路公共汽车去。
彭德怀被罢官之后,敢到吴家花园去看他的,只有朱德、彭真、杨尚昆等少数领导人。尽管朱、彭在一起并肩战斗的时间最长,但两人都是沉默寡言的人,即使坐在一起,话也不多。满腹委屈的彭德怀,看见朱德走进他的居所,多少得到些安慰。在彭德怀看来,只有和自己同生死共患难的战友,才能如此理解自己的心境。
从庐山回来,朱德常去玉泉山居住。其中有一个重要原因,是离彭德怀居住的吴家花园近。