Debido a las sospechas del shogunato sobre sus relaciones con los lealistas de Mito que asesinaron a Andō Nobumasa, fue trasladado a Kioto.