La pressione statunitense si fece insostenibile proprio quello stesso mese, quando il 30 giugno il generale Douglas MacArthur e l'ammiraglio William Halsey lanciarono una duplice offensiva nelle isole Salomone e in Nuova Guinea. A novembre scattò una vasta offensiva nel Pacifico centrale che privò il Giappone delle isole Gilbert, seguita da una serie di devastanti operazioni aeronavali contro le isole Marshall: i bombardamenti precedettero lo sbarco in forze delle truppe statunitensi, che entro la fine del febbraio 1944 si assicurarono il possesso delle posizioni strategicamente più importanti. Soprattutto quest'ultima disfatta, che avvicinò il fronte alla madrepatria, si riflesse assai negativamente sul prestigio di Sugiyama: la crisi nelle sfere governativo-militari venne risolta dal Primo ministro Hideki Tōjō con la forza e il 21 febbraio 1944, come accadde ad altri comandanti di rango elevato, il maresciallo venne bruscamente sollevato dalla carica di Capo di Stato Maggiore dell'esercito con l'accusa di disfattismo e incapacità; Tojo stesso assunse tale posizione mentre Sugiyama venne relegato al ruolo di Ispettore dell'addestramento. Il 18 luglio dello stesso anno però, con l'avanzata statunitense nelle Marianne in pieno svolgimento, Tojo rassegnò le dimissioni da ogni suo incarico e sciolse il governo. Il nuovo Gabinetto del Giappone presieduto dal generale a riposo Kuniaki Koiso richiamò Sugiyama dandogli la carica di Ministro della Guerra.