壁下山陆地面积1.18平方公里，包括潮间带总面积1.44平方公里。北部安基山为最高点，海拔161.2米。分为壁下和安基（羊毛洞或野猫洞）两个半岛，而在1975年前实为壁下山和野猫洞（又称羊毛洞、安基，当地方言中羊毛和野猫谐音）两个独立海岛，中间为一狭窄水道。1964年连接两岛的一座木桥改建为钢筋混凝土桥，1975年通过填海筑堤两岛最终合并为一体，统一称为“壁下山”。
人口.现在的居民为清康熙年间开放海禁后迁来的沿海渔民后裔，祖籍多为温州、宁波、岱山。宁波裔居民多居住原壁下山，温州