地同是海底沉积之页岩层及砂岩层，即「大寮层」，故至今在芝山岩仍可发现古生物（例如贝类）化石。在约400万年前，芝山岩一带因板块挤压的造山运动中被挤出海面。随着之后的风化及侵蚀作用，芝山岩的页岩层逐渐被侵蚀，而只剩较坚硬的砂岩层。在40万年前，台北盆地因山脚断层陷落而逐渐形成，芝山岩成为了盆地边缘的小山丘。至约1万1千年前，因海水面上升导致台北盆地逐渐成为一大淡水咸水交接的湖泊，芝山岩则成为阳明山下的小岛屿，直到湖水退去后形成今日样貌。芝山岩的地质为古老的大寮层，因大寮层的节理发达，加上长久以来的侵蚀作用，使