耀邦访问记》发表在同年6月出版之《百姓》半月刊上，也被中共保守派和既得利益集团视为纵容资产阶级自由化的罪证之一。高层认为胡耀邦纵容知识分子的资产阶级自由化倾向，要求其辞职；并指胡耀邦应该对1986年学生运动的失控负责。曾任胡耀邦政治秘书的林牧，在《习仲勋披露胡耀邦下台前后政治内幕》一文中披露：在1987年元旦夜，在邓小平家里，陈云、薄一波、彭真、王震、宋任穷等中共元老，商议胡耀邦的去留问题。隔天，胡耀邦被要求参加“党内生活会”。会议由薄一波主持，连续几天指责胡耀邦的“问题”；其中包括，认为胡到基层视察的