En 1906 fue asignado nuevamente Ministro de Exteriores bajo el gabinete de Saionji Kinmochi, pero renunció después de un corto intervalo, al oponerse a la nacionalización de los ferrocarriles privados, acción que fue aprobado por el gabinete.