Eventualmente, en 1657, abandonó el dominio Okayama, pues no pudo soportar la presión del shogunato y los líderes del dominio.