6年兴建鲤鱼门海滨学校前，鲤鱼门区的学生，尤其是升读小五及小六级的学童只能步行到茶果岭的四山义学上学。而四山公立学校是茶果岭三所曾经营办的小学之一，其余两所为岭东学校和明德学校。兴建学校的石材採自茶果岭村后的石矿场山丘。校名中的「四山」是指九龙四山，即牛头角、晒草湾、茶果岭和鲤鱼门。
学校历史.四山公立学校的前身为建于1940年、位于茜草湾天后宫（当时的茜草湾安置区范围）内的四山义学，后来由于义学为了迁就亚细亚火油公司火油库的建筑工程，引起村民不满，所以经时任华民政务司杜德与