Harriman ble utnevnt til såkalt reisende ambassadør (eng. ) av John F. Kennedy i 1961, og hadde ulike oppgaver i utenriksdepartementet. Han spilte en sentral rolle ved forhandlingene om prøvespreningsavtalen for kjernevåpen i 1963. Harriman ble værende i utenriksdepartementet også under Lyndon B. Johnsons presidentembete. 1968–1969 ledet han USAs delegasjon ved forhandlingene med Nord-Vietnam i Paris. Senere var han rådgiver for president Jimmy Carter.