机会从中国大陆来香港以人手开採花岗岩，俗称「打石」，石矿场为「石堂」。「四山」原本指四座打石的山丘，后来政府建立登记制度，把附近的聚居的零散村落分为现在的四条乡村。九龙四山就是其中之一，其「四山公所」设于茶果岭，供村民商讨採石事项及开办义学。沙田私塾老师所作的沥源九约竹枝词中，便有收句描述到四山：「……清游忽到苏茅坪，瞥见牛头角又生。茜草湾前多石匠，仙歌嘹亮一声声……」。四山的石材除了用于本地之外，还远销至广洲，用作兴建石室圣心大教堂。当时人们用木帆船把石材运至广州，再用人工打凿、吊装、粘合