観福寺の略縁起によれば、太郎が建てた小堂は、空海の弟子である真言宗の実恵によって観福寺として開基されたとしている。その後荒廃してしまったが、応長・正和年間（1311年 - 1317年）に浄土宗白幡派開祖の寂恵によって浄土宗の寺院として再興されたといわれている。江戸時代になると、観福寺は浦島太郎ゆかりの寺として東海道沿いの名所の一つとなり、太郎が竜宮城から持ち帰った観音像は「浦島観音」、観福寺は「浦島寺」と呼ばれて信仰を集めた。しかし、慶応4年（1868年）に火災にあって堂宇を失う。幸い観音像と二神像は難を逃れ、その他の寺宝とともに本寺である慶運寺に運ばれた。後に同寺に観音堂が建てられてそこに安置される。これ以降、観福寺に代わって慶運寺が浦島寺と呼ばれるようになった。また、観福寺は再建されることなく廃寺となり、その跡地には1926年（大正15年）に日蓮宗の蓮法寺が移転してきた。そのため、敷地内や裏の浦島山に残されていた石塔や石碑などは、蓮法寺が管理するようになった。これらの慶運寺と蓮法寺が所有している浦島太郎伝説にまつわる事物のうちの7点が、浦島伝説を伝えるものとして1995年（平成7年）11月1日に「浦島太郎伝説関係資料」の名称で横浜市の地域有形民俗文化財に登録されている。
武蔵国神奈川宿にあった観福寺の縁起書にも、同寺の由緒として浦島太郎伝説が記されていたようである。正規の縁起書そのものは残っていないが、江戸時代に作られた略縁起が現存する。そこに記された浦島太郎伝説の概略は次のようなものである。なお、複数の略縁起があり各々異同があるため、ここでは文政3年（1820年）頃に記された『浦島観音および二神像・略縁起』に基づいて記述し、他の略縁起との相違については注釈で述べる。雄略天皇の時代（457年 - 479年）、相模国三浦半島出身の浦島太夫は、一家で丹後国に移住した。太夫には、太郎重長という息子がいた。ある日、太郎が舟で釣りをしていると、大きな亀を釣り上げた。その亀は美女（乙姫）に変化し、太郎は乙姫に連れられて竜宮城に行き、歓待を受けた。やがて父母のことが恋しくなった太郎は暇を乞い、乙姫から玉手箱と観音像を授けられて丹後へと戻る。しかし、父母も知人も見当たらない。困惑した太郎が観音像に祈ると、夢の中で「故郷の三浦半島へ、我を背負って下れ」とのお告げを受けた。太郎は、観音像を背負い、玉手箱を抱いて関東へと向かった。三浦半島に戻った太郎は、太夫の9代後の子孫に会い、太郎の父母は300年前に武蔵国白幡に葬られているということを聞いて、300年もの間竜宮城にいたことを知るのであった。太郎は、父母の菩提を弔って小堂を建てて観音像と玉手箱を奉納すると、浜辺から何処ともなく消え去っていった。天長2年（825年）のことであった。その後の天長7年（830年）7月7日、太郎と乙姫が霊亀に乗って海に現れ、「われら人々の願いを受けて観音像を守護する」という言葉を残して消えていった。人々は、太郎の建てた小堂を立派な寺院として建て直し、太郎を浦島大明神、乙姫を亀化龍女神として像を造り、観音像とともに信仰している。神奈川に伝わる浦島太郎伝説の特徴としては、「太郎の出身地が三浦半島であるとされていること」「竜宮城から玉手箱だけでなく観音像も持ち帰ったとされていること」「玉手箱を開けていないこと（開けたとするものもある）」などがあげられる。
文久3年（1863年）9月、芹沢が懸想していた吉田屋の芸妓小寅が肌を許さなかったため、立腹した芹沢が吉田屋に乗り込み、店を破壊すると主人を脅して、小寅と付き添いの芸妓お鹿を呼びつけ罰として2人を断髪させる狼藉を行っている。朝廷から芹沢の逮捕命令が出たことから、会津藩は芹沢の所置を命じたと言われるが、確証はない。また、同13日には土方、沖田らと有栖川宮家を訪れ、壬生浪士の「交名」と警衛の用があれば何事に限らず申し付けてくださいと記した書付を渡した。9月16日あるいは18日、新選組は島原の角屋で芸妓総揚げの宴会を開いた。芹沢は平山五郎、平間重助、土方らと早めに角屋を出て壬生の八木家へ戻り、八木家で再度宴会を催した。その席に芹沢の愛妾のお梅、平山の馴染みの芸妓・桔梗屋吉栄、平間の馴染みの輪違屋糸里が待っており、宴席が終るとすっかり泥酔した芹沢らは女たちと同衾した。大雨が降る深夜、突然数人の男たちが芹沢の寝ている部屋に押し入り、同室で寝ていた平山を殺害し、芹沢に斬りつけた。驚いた芹沢は飛び起きて刀を取ろうとするが叶わず、真っ裸のまま八木家の親子が寝ていた隣室に飛び込むが、文机につまづいて転び、そこを刺客たちがよってたかってずたずたに斬りつけた。このとき芹沢は八木家の息子・勇之助の上に倒れ込み、刺客たちはそこに斬りつけたため、刀の鉾先が寝相の悪かった勇之助の右足に当たり、怪我を負わせたという。平山の死体は胴体と首が離れており、芹沢と同衾していたお梅も首を切られ惨殺された。別室にいた平間は逃亡。吉栄と糸里も難を逃れ姿を消したという。『新選組遺聞』では、八木源之丞の妻・まさが土方歳三が夜中にしきりに様子をうかがっているのを目撃しており、現場には沖田総司と原田左之助は確かにおり、山南敬助もいたのではないかと記している。永倉の『浪士文久報国記事』によると暗殺は土方歳三・沖田総司・藤堂平助・御倉伊勢武らが実行したとある。西村兼文（新選組が屯所を置いた西本願寺の寺侍）の『新撰組始末記』では実行者は土方・沖田・山南・原田になっている。事件は長州藩士の仕業とされ、9月18日（18日暗殺説によれば20日）に芹沢と平山の葬儀が神式に則り盛大に執り行われた。20日に近藤は芹沢と平山が「変死」したことを記した手紙を郷里多摩の佐藤彦五郎へ送っている。芹沢の墓は京都市中京区の壬生寺にある。