この地には徳川家康の側室お万の方(同名異人が複数いるが出家して清源院と名乗った人物)が設けた草庵があって移転してきたのだという。