新編武蔵風土記稿によると、1328年（嘉暦3年）に理空上人が開いたとある。開創の縁起によると北条泰時が京都・栂尾の明恵上人のもとに仏学を学びに行った際、安阿弥の作による薬師像をもらいうけた。鎌倉近郊で像を安置するのに適した場所として、岡村の南端と広地町・久木町の境に近い、禅馬川の畔に霊雲山竜錫寺を建立した。子宝に恵まれなかった泰時は明恵上人に相談すると、如意輪観音を念じるよう勧められた。泰時は安阿弥に依頼して観音仏を作り、竜錫寺とは別の場所（山田谷と呼ばれていた）に観音堂を建立した。1326年（嘉暦元年）、竜錫寺は全焼。本尊は難を逃れたものの、しばらくそのままになっていた。現在の金蔵院所在地には草庵があり、理空上人がいた。1328年、理空はこの地に海向山岩松寺を開き、薬師像を迎え入れて本尊とした。金蔵院では、理空上人を中興開山としている。1333年（元弘3年）、北条氏は滅亡。1576年（天正4年）に頼巌により再興されるまで金蔵院は荒廃した。江戸時代初期に本堂が再建されたと考えられているが、詳しい史料は残されていない。新編武蔵風土記稿によると山王社、伊勢宮、御嶽社、大六天社、遮愚儞社の5社の別当を兼帯していたとあるが、明治初期の神仏分離により兼帯を解かれた。山田谷の如意輪観音は、1903年（明治36年）9月16日に金蔵院に移された。本堂と観音堂は老朽化により建て替えられることになり、1941年（昭和16年）にまず観音堂が解体されたが、第二次世界大戦のため建て替えが中止となり、観音像や阿弥陀像、閻魔像は本堂に置かれた。1962年（昭和37年）に本堂の建替えに着手し、1964年に竣工した。山田谷の観音堂にあった欄間は新たな本堂に取り付けられた。古材は鎌倉の瑞泉寺に引き取られている。次いで1971年より観音堂の建替えの計画が持ち上がった。群馬県の妙義神社で不要になった護摩堂を譲り受けることになり、1972年春より解体・輸送され1973年4月より再建工事に着手。安永8年（1779年）の棟札が付いており、約200年経過していたため半分ほどは用をなさなかったが、本尊の厨子の柱や扉などはそのまま使われ、1974年9月に完成した。
治承4年（1180年）8月17日の源頼朝の挙兵に対し、源氏方に付いた三浦氏は22日に三浦を出発したが、大雨のため頼朝軍と合流出来ず、23日の石橋山の戦いの頼朝軍敗北により三浦に引き返した。平家方の武将である武蔵国の畠山重忠は頼朝挙兵の報を受けて家子・郎党を率いて出陣し、23日夜に金江河（現平塚市花水川）に陣をとっていた。24日、三浦一族は鎌倉の由比ガ浜で平家方の畠山重忠の軍勢と遭遇。和田義盛が名乗りをあげて、双方対峙した。同じ東国武士の見知った仲で縁戚も多く、和平が成りかかったが、遅れて来て事情を知らない義盛の弟の和田義茂が畠山勢に討ちかかってしまい、これに怒った畠山勢が応戦。義茂を死なすなと三浦勢も攻めかかって合戦となった。双方に少なからぬ討ち死にしたものが出た。停戦がなり、双方が兵を退いた（小壺坂合戦、小坪合戦）。『源平盛衰記』によると、三浦は小坪の峠に300騎、畠山は稲瀬川（由比ガ浜西部）の辺りに500騎で対陣したという。重忠は郎従50名余りの首を取られて退却、三浦氏は死者を出しながらも本拠地の三浦にたどり着いた。26日、重忠は同じ秩父氏の総領家である河越重頼に加勢を呼びかけ、重頼は同族の江戸重長と共に数千騎の武士団を率いて重忠軍に合流し、三浦氏の本拠地である衣笠城を攻撃する。『吾妻鏡』によると、三浦方は東木戸口を三浦義澄・佐原義連、西木戸口を和田義盛・金田頼次、中の陣を長江義景・大多和義久が守ったのに対し、攻める畠山方には河越重頼・中山重実・江戸重長・金子氏他の村山党が参陣した。先の合戦で消耗していた三浦氏は夜になって衣笠城を放棄して脱出し、頼朝軍と合流するべく安房国へ向かい、27日、衣笠城は秩父軍によって攻め落とされた。落城の際、89歳の老齢であった三浦一門の当主三浦義明が城に残り、外孫である重忠らによって討たれた。『吾妻鏡』によると義明は「我は源氏累代の家人として、老齢にしてその貴種再興にめぐりあうことができた。今は老いた命を武衛（頼朝）に捧げ、子孫の手柄としたい」とし、壮絶な最期を遂げたとするが、『延慶本平家物語』では三浦氏の軍勢が城を脱出する際に、老齢の義明が足手まといとなって置き去りにしたとされている。安房国で三浦一族と合流した頼朝軍は、房総半島の二大勢力千葉常胤・上総広常を傘下に加え、大軍となって再挙し、10月2日に武蔵国へ入ると、4日に畠山重忠・河越重頼・江戸重長ら秩父一族は長井の渡で頼朝に帰伏した。『吾妻鏡』によると、頼朝は「重長らは源家に弓を引いた者であるが、このように勢力の有る者を取り立てなければ目的は成し遂げられないであろう。憤懣を残してはならない」と三浦一族に言い聞かせ、三浦氏は異心を抱かないとして、重忠らとお互いに目を合わせ、納得して席に並んだという。