控和高岗结成反党联盟而被开除出党，1955年4月，又以“饶漱石、潘汉年、扬帆反革命集团头子”的罪名被逮捕。1965年8月，最高人民法院判处饶漱石有期徒刑14年，剥夺政治权利10年。判决书没有提到潘汉年，却说饶漱石包庇了“内奸分子”扬帆和“中统特务分子”胡均鹤，因而判刑14年。1965年9月23日，被假释出狱。文化大革命爆发后，1967年被重新收监。 1975年3月2日病死于监狱，享年72岁。1980年代，潘、扬、胡均已平反昭雪。1986年8月出版《毛泽东着作选读》两卷本时，在第436条注释中写道：饶漱石