山形成于距今2亿7千万年前，自魏晋时期就是南京一带的石碑原材料开采地。在古代开采石料后搬运时，工匠一般会选择冬天在路面上泼水，再在路面上放上粗大的圆木作为滚轴来搬运石材，部分体积过大的石材甚至可能花费两个以上的冬天才能运走。明朝永乐三年（1405年），明成祖朱棣为了建造明孝陵前的神功圣德碑，下诏在阳山开凿碑材，即今阳山碑材。整个开凿过程启用了上万名囚犯，耗时长达9个月，开凿过程中每名囚犯均需上交石屑三斗三升才能完工，由于工作量过大，导致参与施工的囚犯出现了严重的伤亡，而这些死亡的囚犯最终都被合葬于碑石附近的