胡耀邦拒绝。1980年代初，中共中央办公厅数次劝说胡耀邦迁入中南海居住，但胡耀邦不肯，并称要在富强胡同住到老。最后，邓小平和陈云亲自出面，胡耀邦才同意迁居，但条件是：“在中南海外面，离得近点就行，房子一不要好，二不要大。”1984年，胡耀邦迁居紧靠中南海东门的会计司胡同25号院内紧贴中南海红墙的一座普通四合院。会计司胡同25号院设有一扇蓝灰色大铁门，院内有几户人家，其中朱红色大门内是胡耀邦的家。胡耀邦家是一座四合院，该院原是清朝内务府会计司衙门的旧址，据说曹雪芹的远亲曾在此办公。胡耀邦迁入时，房屋破