Después de 1664, durante el periodo Edo, esta área se convirtió en el sitio residencial del señor Matsudaira que creó un jardín que contenía charcas y herbarios.