同年，赵滋蕃在《中央日报》专栏中，攻击胡兰成曾在汪精卫政权工作，指责他是汉奸。余光中与胡秋原继而在报章上发表文章攻击，警备总部查禁了胡兰成的书籍《山河岁月》。胡兰成被文化大学解职，在朱西甯家开设私人易经课程。包括作家郑愁予、蒋勋、张晓风、管管、袁琼琼、曹又方、苦苓、渡也、向阳、杨泽、蒋晓云、履疆等都听过他讲课。基本上，这些作家同时也是擅长张爱玲书写形式的作家，也因此在政府大力封锁胡兰成的当下，仍然愿意冒险跑来听课。可见张胡二人当时在台湾的影响力。
离台返日.1976年，胡兰成离开台