しかし、1957年からの反右派闘争、そして1966年からの文化大革命で「日本帝国主義の手先」と糾弾され、地位を剥奪された上、大半の作品の自筆譜やピアノなどを焼かれ、下放労働に送られた。