En 1647 Banzan se convirtió en ayudante militar, recibiendo el pago de 300 koku, y en 1649 viajó con Mitsumasa a Edo.