La seva popularitat era molt alta als primers anys de la guerra, mentre que les tropes japoneses anaven de victòria en victòria. No obstant això, després de la Batalla de Midway, i a mesura que la guerra s'anava girant en contra del Japó, Tojo hagué d'encarar una oposició tant del govern com dels militars. Per enfortir la seva posició, al febrer de 1944 assumí el càrrec de Cap de l'Estat Major General de l'Exèrcit Imperial Japonès. Però després de la caiguda de Saipan es veié obligat a dimitir el 18 de juliol de 1944, retirant-se a la llista de primera reserva i recluint-se posteriorment.