湯ノ釣温泉は、筑後川及び三隈川の上流にあたる玖珠川沿いの温泉。同じく玖珠川の河畔にある天ヶ瀬温泉の約2.5km上流に位置する閑静な小温泉地であることから「天ヶ瀬の奥座敷」とも呼ばれている。
1859年（安政6年）、淡路国三原郡福良浦（現：南あわじ市福良）の庄屋（屋号・太子屋）の平瀬家第十八代当主であった父・守一（守一郎とも）と母・ぬいとの間に長男として生まれた。兄弟は他に弟・俊二と姉妹が3人いたが、そのうち次女は夭逝している。1881年（明治14年）に同じ淡路国の名族賀集家出身の賀集やすと結婚。1885年（明治18年）に第二代福良郵便局長に就任。1887年（明治20年）に一家で京都に移住し、当初は平瀬商店や平瀬種禽園の名で種苗や家畜、薩摩焼などを扱ったり、水晶などの鉱物の海外への販売、月刊の養鶏雑誌『京都家禽新報』（1894年-1897年）の発行などを行った。一方、これらの家業とは別に、京都移住後ほどなくして京都博物会の会員となり、後には推薦されて同会幹事になるとともに、アメリカ人宣教師として来日し同志社で博物学の教授をしていたマーシャル・ゲインズ（Marshall R. Gaines）や、やはり宣教師で貝類研究家のジョン・ギューリック（John T. Gulick）らと知り合って貝類研究に興味をもつようになる。当時の日本産貝類の研究は、いずれもドイツ人のドゥンケル（Wilhelm Dunker 1861,1882）、C.E.リシケ（C.E.Lischke 1869,1871,1874）、コベルト（Wilhelm Kobelt 1879）らの報告があったものの、欧米からは大幅に立ち遅れていた。漁業や本草学の分野で既に和名があった貝は多かったが、学名による分類と照合など日本人の手による本格的な貝類研究がほとんどなかった。会衆派のクリスチャンでもあった平瀬は、もともと人は何かしらの役割をもってこの世に生を授かったのだとの信念をもっていたが、当時の状況を見て、日本の貝類研究こそがわが生涯の使命と思い至る。貝類研究を始めたのは38歳・1897年（明治30年）前後頃からであったが、以後は私財を擲ち、非常な情熱をもって貝類の収集と研究に没頭するようになった。しかし元来体が丈夫でなかったことから自ら採集に出かけることは少なかったらしく、日本各地の有志に協力を求めたり専門の採集人を雇うなどして全国の貝類を収集することに力を注いだ。協力者の一部は以前に発行していた養鶏雑誌の購読者などで、当初は「平瀬商店」や「京都平瀬」の名前で協力者の募集などをしていたが、やがて研究拠点としての上京区蛤御門前の自宅（後には博物館を含む組織全体）を平瀬介館と称するようになった。また日本国内に協力者を求める一方、アメリカのヘンリー・ピルスブリー（Henry Pilsbry）やイギリスのH.C.フルトン（H.C.Fulton）他の欧米の研究者とも親交を持ち、全国から集められた貝類は彼らを通して主に海外の学術雑誌で報告された。わけても米国のピルスブリー博士に依るところは大きく、二人の連名で新種記載された貝類も非常に多い。こうして集まった貝類は日本産で3,000種以上、海外産4,500種以上に達し、多くの新種が報告された。1907年（明治40年）に貝類学の普及と日本産貝類全種の図説を目指した貝類学専門の月刊誌『介類雑誌』を自費で創刊した。1909年（明治42年）には貝類学入門書の『貝類手引草』も出版したが、この年に『介類雑誌』は財政上の問題から休刊、『貝類手引草』も間もなく絶版となった。これはもう一つの大きな目標であった貝類博物館の設立に資金を集中するためであった。収集した日本産貝類標本も、研究活動の資金とするために国内外に熱心に販売され、海外向けの英語の価格表を米国の貝類雑誌『 The Nautilus 』に付録として付けてもらったり、日本国内向けにも販売カタログである『日本千貝目録』（1910年）を発行したりした。1913年（大正2年）、私財を投じて念願の平瀬貝類博物館を京都市左京区岡崎に開館した。幾多の資金面の苦難を乗り越えての夢の実現であった。以後はここを拠点として更に『貝殻断面図案』（1913）、『貝千種』（かいちぐさ：1914）、『普通貝類の栞』（1914）、『平瀬貝類博物館案内』（1914）、『日本小貝類学』、『平瀬貝類博物館寫眞帖』（1915）、『日本産笋貝類図説』（にほんさん たけのこがいるい ずせつ：1917）などを発行した。このうち『貝千種』は大正4年1915年（大正4年）に第二巻と第三巻の2冊、1922年（大正11年）に第四巻が追加され計4冊、各冊に100種ずつの絵図がついていた。また、『日本小貝類学』は休刊した『介類雑誌』の復刊で、平瀬は雑誌の連載によりまとまった参考書とする計画だった。しかし『日本小貝類学』は1号のみで後続が出ず、ついに1919年（大正8年）には平瀬貝類博物館も観覧者数の減少と資金難から閉館してしまった。