その後も高林寺に連動する形で1604年(慶長9年)に御茶ノ水に移転、1657年(明暦3年)の明暦の大火で現在地に移転した。