1956年去常熟虞山、苏州写生，同行者有孙雪泥、贺天健、钱瘦铁、沈迈士、江寒汀、唐云、吴青霞、俞子才、张守成、张充仁等。1957年5月14日，参加上海市委宣传部工作会议；5月22日在《解放日报》上发表《要重视书法和金石篆刻》书面发言，白蕉因此被划为“右派”，受到降职、降薪、降级处分，下放到画院图书馆做管理员。此时上海正在建造舞蹈学校，被勒令到工地上运泥土。9月16日，齐白石去世，白蕉写《悼人民艺术家白石老人》一文。1961年白蕉摘掉“右派”帽子，4月8日，上海中国书法篆刻研究会成立，白蕉成为研究会的会员