前，香港的水上人已经在香港生活多个世纪，只在船上生活以捕鱼维生。其中蜑家人讲粤语的方言蜑家话，福佬渔民讲福佬话，客家渔民讲客家话。部份地区有不同族群的水上人杂居。
60年代至70年代.早期，香港水上人主要是以捕鱼为生。他们居住于渔船上，停泊在避风塘内。由于他们出海捕鱼的需要，60年代至70年代渔民家庭的子女大多继承上一代家业因不太重视读书。有见及此，一些宗教团体便创立了「水上学校」，为避风塘的儿童提供教育。但近年香港的渔业式微，以及捕渔量比以前减少，大多数渔民已上岸生活，很多水上人