民国42年（1953年）6月，大陈岛南边的积谷山被解放军攻破。积谷山一失，驻守在当地的「西方公司」认为共军已迫近大陈，仓皇撤退，以致中华民国政府以为大陈沦陷在即。8月，蒋中正决定改採守势作战，将胡宗南调回台湾。民国43年（1954年）9月，浙江省政府迁至台湾，仅留下省政务处。并于当地设立「浙江省大陈区行政督察专员公署」治理，下辖四县一万八千余人，行政督察专员则由政务处长沈之岳兼任。民国44年（1955年）共军开始发动攻击，1月19日，共军勐击一江山；21日，一江山岛失守，大陈南北两大屏障的积谷山和一江山