4月27日，中共中央政治局扩大会议决定撤销大区一级的党政机构。1954年9月13日，中共中央华东局报告中共中央，认为大区撤销后，应加强对上海、江苏、浙江工作的领导，建议中央成立上海中央局。1954年10月28日，中共中央电复同意，并决定新的上海中央局由柯庆施、陈丕显、潘汉年、江渭清、江华、谷牧、马天水、刘顺元以及南京军区负责人2人至4人为委员，柯庆施为书记。1955年1月8日，中共中央又决定由许建国接替调到中央工作的谷牧，任上海局委员。1958年10月中共中央同意南京军区的许世友、唐亮参加上海局为委