地元の古文書（『磯江家文書』）に拠ると、この漁師は筑前国梶面村（旧田平町、現在は平戸市の一部）の出自で、文禄の役で日本水軍の水先案内人をつとめた功により夏泊地区一帯を免租地として与えられた。漁師は初代助右衛門を号し、夏泊の開祖となった。助右衛門の妻は素潜りを得意とし、住民に海女の技法を伝えて夏泊の伝統（夏泊海女）となった。海女漁は山陰地方では唯一のもので、現在も海女漁によって鳥取県のブランド岩牡蠣である『夏輝』の産地の一つのなっている。また、ワカメ、イガイ、モズク、アワビ、サザエ、テングサの海女漁が行われている。このほか、夏泊漁協によってイカ、ハマチの漁が行われている。