Từ năm 1934, sự nghiệp ông bắt đầu sa sút theo sự suy kiệt sức khỏe. Sau khi vợ đầu và vợ sau lần lượt mất, ông suy sụp nghiêm trọng. Ngày 27 tháng 09 năm 1937, Từ Chẩm Á tạ thế trong bạo bệnh.