Nuevamente regresó a Kagoshima en 1861, solamente para ser comunicado que sería exiliado nuevamente.