Preocupado por que lo puedan traicionar, renunció en 1901, pero permaneció como jefe del Consejo Privado mientras Saionji Kimmochi y Katsura Tarō se alternaban en el cargo de Primer Ministro.