Првих година рата његова популарност била је на врхунцу; Јапан је ишао из победе у победу. Међутим, ратна срећа се окренула против Јапана након битке код Мидвеја; Тоџо се суочавао са све већом опозицијом у редовима војске и владе. Након јапанског пораза на Сајпану, био је принуђен да поднесе оставку 18. јула 1944. године и отишао у пензију.