左营军港及海军左营基地，这也使得柴山旁的桃子园聚落因此被迫迁村。当时柴山的军事管制范围包括神社以北的区域，管制区内禁止绘图摄影，也进一步确立了柴山的军事地位。在九一八事变之后，柴山更进一步要塞化，现在的西子湾隧道（也被称为寿山洞），即是为军事用途而建。国民政府接管台湾后，柴山区域更长期被列为军事管制区，整个柴山近三分之二面积都属于管制区，且南、北、东三个山区出入口皆由军方管制，直到1989年之后，柴山缩减军事管制区后才开始部分开放。但1996年时国防部因政商压力再度缩小柴山管制面积，目前管制区占地693.5