设堂安置最澄（传教大师）作的辩财天女像，之后源平合战的源赖朝在平定东国后改建。鎌仓时代末期的元弘之乱，新田义贞与的对战造成辩财天烧毁。在经历数百年后，才由江户幕府三代将军德川家光重建辩财天。井之头的名称一说是由家光所命名，传闻他以小刀在辩财天旁的日本玉兰木上刻下「井之头」。现在该地立有石碑纪念此传说。另一说法是家光到此赞叹「えんかしら、この水の美しさ」，之后转变为「いのかしら」。御殿山的地名是家光为了猎鹰来此时，选择在能望见井之头池的地点建造御殿。的《神田御上水井之头辩财天略缘起》中记载家康