山庄隶属凤山县，是柴山上唯一的聚落，居民多姓麦。1818年（清嘉庆二十三年），柴山庄出了一位武举人—麦朝清，一时传为美谈。但后来柴山部落划归军区，因此外人无法进入。早期部落庄居民多以捕鱼为生，卖柴为副。他们的柴多是以枯枝及老树为主，并往山下的左营、鼓山、旗津等地区贩卖，而因为相思木易燃，龙眼柴耐火，故柴山居民所贩售的柴也被称作「状元柴」。柴山的柴在梁启超所作的「台湾竹枝词」里曾如此描写：自从被列入军事管制区，由于地理位置特殊，居民被限定只可迁出而不可迁入，使得柴山部落人口日益减少，目前设籍于此的居民仅有