家人是指哪三家人则说法不一。村民的祖先在19世纪中叶由广东梅县一带移来，务打石业。村内有同福堂、同泰堂、同利堂、三和堂四个石矿场，并设有小码头供运送石材之用。由于当时该处与九龙市区隔绝，居民倚靠街渡或自行划小艇到筲箕湾出售农产及购买日用品，直到鲤鱼门道和观塘道在1950年代相继开通。1940年代末至1950年代初，部份因国共内战南逃的国军和难民在该处建岭南新村。直到1997年香港主权移交前，岭南新村被政府清拆，改建成现时的鲤鱼门邨。1960年代，政府将酒湾填海，发展成三家村避风塘；又将三家村一带