上大致分为「古亭坑层」、「高雄石灰岩」、「崎脚层」、「寿山石灰岩」、「现代沖积及崩积层」五个地层，其中古亭坑层和高雄石灰岩为构成柴山的主体。古亭坑层约在一百八十万至三百万年前形成，位于柴山底部，以青灰色泥岩为主，含有孔虫及石灰藻的化石。高雄石灰岩是大量的珊瑚、藻类、有孔虫及贝类等的残存硬壳，堆积后胶结形成的岩层，它覆盖在古亭坑层上。后来因为陆地上升及侵蚀作用，带来大量泥沙，在原有的石灰岩上逐渐形成崎脚层，以深灰色泥岩为主，还夹有数层黄棕色松散砂岩。崎脚层沉积之后，这里的岩层受到挤压，发生了一连串的隆起、褶皱