Als Labour 1964 die Unterhauswahlen gewann, trat er als Verteidigungsminister in das Kabinett ein, dem er fast sechs Jahre angehörte. In dieser Funktion hatte er die Verteidigungsausgaben zu reduzieren und das TSR-2 Flugzeugprogramm einzustellen sowie das Suezabenteuer zu beenden.