三国隠居処の誕生は、かつて伊藤五右エ門が、1860年（安政7年）に宿浦の庄屋を務めていた時代まで遡る。この当時、安政の大獄（安政6年）により福井藩主、松平春嶽公が隠居を命ぜられたが、嫡男がいない為、糸魚川藩より茂昭を養子に迎えた。この茂昭公の初のお国入りを対応したのが伊藤五右エ門であり、当時の詳細な記録は、前述の「五右衛門の日記」にも記載されている。なお、同じく晩年、松平春嶽公の教育係として御用掛をしていた中根雪江も、宿浦（現在の宿地区）で隠居しており、明治4年から10年までの6年間は、晴耕（漁）雨読の生活を営み、その隠宅のことを「煙波楼」（えんぱろう）と呼んでいた。この、隠宅「煙波楼」が、庄屋をしていた伊藤五右衛門の所有になったことから、伊藤五右エ門の屋敷が「隠居処」と呼ばれるようになった。なお、五右エ門が晩年、屋敷を人々に開放したことなどから、「隠居処」には、地域の人々が集うようになり、後にそれが、簡易宿舎、旅館業に転身し、伊藤旅館として平成17年まで営業をしていた。
一、今般、御殿様初めて御順覧につき、御台場普請につき、わたくし世話致したところ、御上様より御用仰せつけられ、まかり出候ところ、御製造役所より銀1包下しおかれし候間、有難く拝納つかまつり候。万延元年申 4月25日 — 御製造役所 五右エ門、年号が文久から万延になると同時に、庄屋は弥右ェ門（さのや）から五右衛門（伊藤）に代わる。中央では、そんと幕藩、ペリー来航、春嶽公の罷免、大老暗殺などが起きていたが、宿浦では、老若男女が誠意をもって権六・石五郎ら御上（おかみ）の大型商船、御台場構築に協力した様子が分かる。
下宿名は次の通り。一、中出 伝兵衛一、酒井 弥次兵衛一、中村 出店 孫左ェ門一、敬勝寺一、谷野 三郎右ェ門一、清佐 孫右ェ衛一、圓蔵寺一、小坂 七右ェ衛一、笹原 孫兵衛一、松本 長右ェ衛一、会所宿 但し、会所宿礼5匁 — 1軒あたり礼金10匁。他に薪代。人件費一人に付き1日1匁。食事代は村より別に支給。宿浦に最大で6日間滞在し、下宿は、比較的部屋数の多い、広い家を指定。長右ェ衛宅は、御台場の前にあったので会所にしよした。なお、苗字は、これより15年後の明治9年の絵図で推定される。比較的経済力に富み大きい家屋所有の方々であったと推測できる。
伊藤家はもともと「長谷川」を名乗っていたが、明治時代に一度開基し、その後「伊藤」を名乗っているが、それ以前は長谷川の名を名乗っている。分家に長谷川の名前を渡す代わりに、伊藤と名乗るようになった。菩提寺である勝授寺の過去帳には、歴代総代として名が残っており、現在の福井県坂井市三国町の沿岸部（旧雄島村）の庄屋を務め、松平茂昭公（松平春嶽の養子）の初のお国入りの対応をしたこと、長年に渡り地域のとりまとめを行ったことから、その功績が称えられ、明治天皇のより叙勲（瑞宝章）を受けている。なお、旧雄島村は、1889年（明治22年）に宿浦など7集落で成立し、役場を宿の浦越栄太郎宅に置き、その後、伊藤五右エ門（旧姓：長谷川）宅に移り、更に山本豊司宅を購入移転した記述が「三国町百年史」の中にも記述が残っている。
正応3年（1290年）、和田門徒の如道が越前国大町（現・福井県福井市大町）に大町専修寺を建立して付近一帯を布教して以来、大町専修寺は如道教団の中心寺院として栄えていた。が、如道が大谷廟堂（後の本願寺）の覚如の弟子になるなどしたため、教団は本願寺と近い関係にあった。如道の死後はその次男如浄が教団指導者・大町専修寺第2世についた。そしてその子良金が第3世、さらに第4世某と継がれていったが、如浄、良金、某と立て続けに浄土宗に傾倒し、門徒が離れていき衰退してしまったために永享7年（1435年）、第4世某は本願寺第6世巧如によって破門された。残された大町専修寺の門徒は如道の弟子であった誓願寺道願の子浄一を教団第4世として新たに擁立し、更に大町専修寺から離れて越前国足羽郡に中野専照寺を建立して三門徒派の再興を計った.室町時代には室町幕府第6代将軍足利義教の帰依を得た。天正10年1582年には北の庄（現・福井市）に移り、天正13年（1585年）には正親町天皇の勅願所となった。江戸時代に入り享保9年1724年に現在地に移っている。この時同時に天台宗妙法院門跡の院家となった。天保8年(1837年)には大火により御本堂、御影堂をはじめ全ての建物が全焼してしまうが、その後復興した。明治時代に入って真宗大谷派に合同したりしたが、明治11年1878年独立して一派真宗三門徒派を構成した。しかし、堂塔伽藍は、昭和23年（1948年）6月28日の福井地震で御影堂を残し御本堂やその他の建物は全て倒壊した。