採自茶果岭村后的石矿场山丘。校名中的「四山」是指九龙四山，即牛头角、晒草湾、茶果岭和鲤鱼门。
学校历史.四山公立学校的前身为建于1940年、位于茜草湾天后宫（当时的茜草湾安置区范围）内的四山义学，后来由于义学为了迁就亚细亚火油公司火油库的建筑工程，引起村民不满，所以经时任华民政务司杜德与四山居民各方商议解决方案后于1946年清拆。杜德、华人庙宇委员会和茶果岭的村民发起向港九绅商名流如霍英东的募捐活动，最终筹得经费，获教育司署补助四万多元，且花费共十万元由香港建筑商伍华创办的生