余姚县西北六十里之庙山（临山古称），介于沥海所与三山所之间，城北有福田寺山、凤山、城隍山和仓山，城南有龟山，北距海三里，沿海有临山港与泗门港，城内原设有庙山巡检司。
卫城建筑.临山卫城墙原呈不规则形，建城时其城石拆自上虞县城、嵊县县城等，城周五里三十步（约2448米），始建时高一丈八尺，后增建至二丈三尺（约7.36米），底厚四丈五尺（14.4米），面厚为其一半（7.2米）。设东西南北四座城门，分别为东门启明门、西门宝成门，南门迎薰门，北门凤鸣门，西门北侧设有水门恩波门，城内设十字街