In 1950, drie maande na die aanvang van die Korea-oorlog, word hy deur president Truman herroep as sekretaris van verdediging om die moraal van die troepe te herstel, wat ernstig geraak is deur die diep besuiniging van sy voorganger Louis A. Johnson. 'n Jaar later het hy uiteindelik finaal uit die politiek getree.