6年“粉碎四人帮”政变中，与耿飚等受华国锋、叶剑英指派连夜接管了控制的新华社、广播电台、电视台、人民日报社等宣传机构。为防止“四人帮”在上海的zh-hans:余;zh-hk:余;zh-tw:余;党策划叛乱，中共中央派他任中共上海市委第一书记，与倪志福、彭冲到上海主持工作。从此成为华国锋在军中最重要和最有分量的铁杆支持者。1978年3月，南海舰队主力舰160号导弹驱逐舰爆炸，不久沉没。邓小平借此重大事故对苏振华严厉指责，“严肃地批评海军党委第一书记苏振华麻木不仁”，苏振华对此严重不满。4月12日，