Negli anni 70 comincia la sua carriera politica. Dopo un primo incarico nell'amministrazione Nixon, ricopre il ruolo di Ambasciatore in Portogallo tra il 1974 e il 1977 proprio in concomitanza con la Rivoluzione dei garofani e l'avvio dell'importante periodo di transizione che ne seguì. Nominato da Jimmy Carter Vicedirettore della CIA, ricopre questo incarico tra il 1978 e il 1981, quindi è vicesegretario alla Difesa tra il 1981 e il 1983 ed entra nel Gabinetto del Presidente Reagan nel 1986 come Consigliere per la sicurezza nazionale. L'anno seguente sostituisce il dimissionario Caspar Weinberger come Segretario della Difesa. Resta in carica per 14 mesi fino alla fine del mandato di Reagan.