台湾当作南进的基地，这也使柴山的军事功能在更进一步被强化，现在的高雄港即是为因应南进而扩建，而另一边的万丹港则成为后来转为军事用途的左营军港及海军左营基地，这也使得柴山旁的桃子园聚落因此被迫迁村。当时柴山的军事管制范围包括神社以北的区域，管制区内禁止绘图摄影，也进一步确立了柴山的军事地位。在九一八事变之后，柴山更进一步要塞化，现在的西子湾隧道（也被称为寿山洞），即是为军事用途而建。国民政府接管台湾后，柴山区域更长期被列为军事管制区，整个柴山近三分之二面积都属于管制区，且南、北、东三个山区出入口皆由军方管制，