Efter oenighet med premiärministern och krigsministern Hideki Tojo avgick han ett år senare för att återigen tillträda i april 1945 som utrikesminister och minister för de ockuperade områdena. Efter krigsslutet dömdes Togo 1948 som krigsförbrytare av de allierades krigsdomstol till 20 års fängelse.