文也因「国际荣耀与〈台湾舞曲〉的得奖，与右派法西斯有关联」，在反右运动中被台湾民主自治同盟批斗，打成右派，教学、演奏、出版的权利尽被剥夺；1966年文化大革命时被批斗，打入牛棚；在1969年被送往河北清风店中国人民解放军第38军部队接受劳改。1976年四人帮垮台，江文也在1978年终于获得平反，恢复原教职；但因为多年劳改生活，历经两次吐血、数次中风而瘫痪在床。晚年生活渐趋安稳之时，仍勉力创作交响乐《阿里山的歌声》，然而在1983年10月24日因脑血栓逝世于北京而成为最后遗作。离世前有手书：Se