到上海，江苏省公安厅厅长黄赤波被调到上海任上海市公安局常务副局长。10月，扬帆被排除在上海市公安局党组之外。1953年12月21日，就在罗瑞卿陪同毛泽东到上海的五天之前，扬帆被免去上海市公安局副局长和中共上海市委政法委委员职务。据1978年8月22日《解放日报》刊登的黄赤波《追忆罗部长对上海公安工作的关怀》一文称，罗瑞卿当时遵照毛泽东的指示，指挥市局“对混入党内和公安机关的反革命分子扬帆”进行斗争。1954年7月起，扬帆不断在各类会议上受批判，从包庇重用投奔国民政府的特务，引申到指责他是“国民党在共产党内的