九约竹枝词中，便有收句描述到四山：「……清游忽到苏茅坪，瞥见牛头角又生。茜草湾前多石匠，仙歌嘹亮一声声……」。四山的石材除了用于本地之外，还远销至广洲，用作兴建石室圣心大教堂。当时人们用木帆船把石材运至广州，再用人工打凿、吊装、粘合。在新九龙与原九龙融合之前，九龙四山是九龙十三乡其中四个乡村。其后随着城市发展，九龙多个乡村也遭迁拆，现时只剩下牛池湾、茶果岭和鲤鱼门仍是乡村。