L'any següent es va veure obligat a dimitir, en descobrir-se que oficials de marina havien rebut suborns a canvi d'atorgar contractes d'armament naval a la firma alemanya Siemens i a la britànica Vickers, tot i que ell no va estar implicat directament, era el responsable últim de l'armada i, per tant, responsable d'aquest afer. Encara tornaria a ser primer ministre el 1923, assumint el càrrec després del gran terratrèmol de Kanto, a causa del qual van morir més de 100.000 persones. A causa de l'anarquia regnant i la destrucció resultants del desastre, va intentar restablir la llei i l'ordre i continuar el seu mandat. Tanmateix, quatre mesos després va dimitir després d'un intent d'assassinat del príncep regent, el futur emperador Hirohito, assumint-ne tota la responsabilitat.