Rivestì numerose cariche all'interno degli uffici e dei dipartimenti del ministero della guerra, arrivando alla carica di ministro dello stesso nel 1936. Capo di stato maggiore dell'esercito imperiale dal 1940, Sugiyama fu favorevole alla guerra contro le potenze occidentali: inizialmente vittoriosa, la guerra sul fronte del Pacifico divenne sempre più costosa e avara di successi giapponesi, tanto che il primo ministro Hideki Tōjō lo destituì all'inizio del 1944. Sugiyama fu comunque richiamato già a luglio e nominato ministro della guerra, poi comandante supremo di un gruppo d'armate vicino a Tokyo incaricato di respingere possibili sbarchi statunitensi. Dopo la resa senza condizioni del suo Paese, il generale Sugiyama si tolse la vita.