作挽诗悼之，寄给其好友艾青，嘱咐他交给治丧委员会。1955年3月，白蕉为黄宾虹送殡，留杭三日，同行有赖少其、江寒汀、贺天健、唐云、林风眠、赵延年诸家。1956年去常熟虞山、苏州写生，同行者有孙雪泥、贺天健、钱瘦铁、沈迈士、江寒汀、唐云、吴青霞、俞子才、张守成、张充仁等。1957年5月14日，参加上海市委宣传部工作会议；5月22日在《解放日报》上发表《要重视书法和金石篆刻》书面发言，白蕉因此被划为“右派”，受到降职、降薪、降级处分，下放到画院图书馆做管理员。此时上海正在建造舞蹈学校，被勒令到工地上运泥土。