I 1948 ble han formann i American Committee on United Europe (den amerikanske komiteen for et samlet Europa), og i 1953 ble han deretter valgt som guvernør i Massachusetts. I februar 1957 ble Herter valgt til viseutenriksminister, og da daværende utenriksminister John Foster Dulles ble alvorlig syk utnevnte president Dwight D. Eisenhower han til ny utenriksminister i april 1959. Etter presidentvalget i USA i 1960 arbeidet Herter som en «eldre statsmann» i ulike kommisjoner og rådgivende fora for både John F. Kennedy og Lyndon B. Johnson frem til sin død i 1966.