I perioden 1950 til 1953 tok han over som sjef for planleggingsstaben (Policy Planning Staff) etter George F. Kennan, og i 1950 var han øverste sjef for utarbeidelsen av forsvarsdokumentet NSC-68 under det nasjonale sikkerhetsrådet. Fra 1953 til 1961 tjenestegjorde han som sjef for , samtidig som han tjente ved School of Advanced International Studies (SAIS) under Johns Hopkins University. Fra 1963 til 1967 tjenestegjorde Nitze som USAs marineminister etter å ha blitt utnevnt av John F. Kennedy.