台北盆地
若以地質論，芝山岩為台北盆地的孤立岩體，在2千萬年前，與台北盆地同是海底沉積之頁岩層及砂岩層，即「大寮層」，故至今在芝山岩仍可發現古生物（例如貝類）化石。在約400萬年前，芝山岩一帶因板塊擠壓的造山運動中被擠出海面。隨著之後的風化及侵蝕作用，芝山岩的頁岩層逐漸被侵蝕，而只剩較堅硬的砂岩層。在40萬年前，台北盆地因山腳斷層陷落而逐漸形成，芝山岩成為了盆地邊緣的小山丘。至約1萬1千年前，因海水面上升導致台北盆地逐漸成為一大淡水鹹水交接的湖泊，芝山岩則成為陽明山下的小島嶼，直到湖水退去後形成今日樣貌。芝山岩的地質為古老的大寮層，因大寮層的節理發達，加上長久以來的侵蝕作用，使得芝山岩擁有許多特殊的地質景觀，包括太陽石、風化窗、洋蔥石、石象、石硯、石墨等。