开採了数十年，也因此使这座本来无名的小山得名。另有解释指因为钻石山附近的石矿场所出产的石块矿晶较闪亮，或者钻石山山峰的形状像钻石一样。由于兴建东隧时大量开採石材，此山已被完全剷平。现时石矿场原址早已分两阶段关闭，早于1982年关闭的部分已发展为凤德邨，而于1990年代初关闭、未完全开採部分成为慈云山学校区。其底层为大老山隧道入口处。
主要建筑.1950至1960年代起，钻石山区有多间片场开设，例如大观片场(后来的坚成片场)就在大老山隧道九龙出口东面，而永华片场、国泰片场与嘉