在200年前就在岛上定居。北渔山在清代就有居民20余户。南渔山在1955年迁台以前也有柯姓约20户居住。这些住民为福建泉州同安县移民后裔，使用闽南语，国民政府于民国44年大陈岛撤退到台湾时，南北渔山居民悉数迁台，多住在台东县的富冈新村，其中较有名望的有柯受良、柯有纶两父子等。现在北渔山住有100多户渔民，为1958年从石浦迁入，南渔山则未有居民定居，仅有断壁残垣，但南侧有小型码头可供渔船靠泊。1895年清朝光绪二十一年，上海海关耗银5万两建成北渔山灯塔，当时是远东最大灯塔。后经战乱多次被毁，1987年7