至淡水探视大哥江文钟。此时期创作了大量的中国调式天主教圣歌。1950年，江文也转往中央音乐学院担任作曲系教授，课余勤奋创作。此后政治灾难一再袭来。1957年，江文也因「国际荣耀与〈台湾舞曲〉的得奖，与右派法西斯有关联」，在反右运动中被台湾民主自治同盟批斗，打成右派，教学、演奏、出版的权利尽被剥夺；1966年文化大革命时被批斗，打入牛棚；在1969年被送往河北清风店中国人民解放军第38军部队接受劳改。1976年四人帮垮台，江文也在1978年终于获得平反，恢复原教职；但因为多年劳改生活，历经两次吐血、数次中