文化大革命期间遭受打击迫害，为自保，把自己珍藏的三千张画，亲手一张张泡到浴缸里，站在上面踩烂。后因爲与同乡叶剑英（时任中共中央副主席）搭救，所以幸免。1977年获准出国探亲，两年后隐居香港，继续创作。1991年8月12日于香港逝世。当今画家赵无极、朱德群、吴冠中等都是他的学生。
评价.「从一个封闭圈开始解体到多元的发展，就是我们称之为现代绘画史的开端，其中涌现了不少富有才华的超群出众的艺术家和教育家，徐悲鸿、刘海粟、林风眠、颜文樑等一代风流的影响也是由此开始的。他们对现代绘画发