里浒山（又名虎屿山）之南，北距海十五里，介于临山卫与观海卫之间，由千户刘巧住监筑，内设三山巡检司（司署位于东门内）。清代后其军事功能渐失，演变为居民生活场所和商贸集散地。民国十九年（1930）置浒山镇，为余姚北部的主要集镇之一。1954年，其地划归慈谿县，同时慈谿县治自慈城镇迁至此地，遂为县城，城墙也因城区建设逐渐拆除。
所城建筑.三山城墙原呈近平行四边形，城周三里一百一十步（三里一百二十八丈，约1849.6米，至1949年时城区面积约0.34平方公里），始建时高一丈六尺，后增