鲤鱼门石质优美，最早在此定居计有叶、曾、李、张等姓，是广东人百多年前移居九龙东部发展出来的村落，从事打石谋生，先将石材从矿场採出，再请广东来的石工精打细琢，石材便可利用船只远销广州、台山、顺德各地，用以兴建祠堂或作门柱石等。鲤鱼门与牛头角、茜草湾、茶果岭等三条邻近以打石为生的村落，在清朝合称「四山」，驻扎在九龙寨城的官员任命每山一人当「头人」，合称「四山头人」，除管理地方外，亦代为收税。1897年英国租用新界，随即为村内土地从新登记，三家村的「官批石堂」一一被「封山」，而各石矿场直到1904年左右才得获