Se involucró en un intento de retomar el control de la ciudad el 20 de agosto de 1864, y se tuvo que esconder con una geisha de nombre Ikumatsu, que sería su futura esposa.