「吸血鬼」的牌子进行批斗。次年，颜文樑被释放回上海。在上海，颜文樑依然被红卫兵与上海中国画院院长丰子恺等人一道被批斗。其后颜文樑再次被勒令回杭州接受「再教育」，被软禁在一个空教室内，长达一年三个月之久，每天都被迫写思想汇报，饱受了屈辱和折磨。文革大革命期间，颜文樑从法国运回的苏州美专的石膏像被红卫兵以「破四旧」的名义全部砸光。原南京艺术学院教授张华清回忆：「文革以后我见到颜先生时，我说颜先生，告诉你一个不幸的消息，这些石膏运到南京去以后被红卫兵全给砸掉了，当时颜文樑先生流下了眼泪，那是无言的眼泪。」