寛永17年(1640年)、17歳の時に母親の元を離れ、上野国高崎藩に身を置いた。