被国民党政府视为亲共人士，被迫不能回到台湾。甘文芳并出任亲共的日本华侨总会会长。据张超英（甘文芳是张超英母亲甘宝钗的堂兄，张超英在日本读书时生活费均由甘文芳转交）回忆，有段时间，他签字推荐介绍的人就可以进中国大陆，能受总理周恩来接见。然而甘文芳始终不是共产党员。