Harriman tjenestegjorde som president Franklin D. Roosevelts spesielle sendebud i Europa, og var til stede under møtet mellom den amerikanske presidenten og Winston Churchill i Placentia Bay i 1941. Møtet resulterte i Atlanterhavserklæringen, som fastsatte de alliertes mål i andre verdenskrig. Harriman deltok også ved konferansene i Teheran, Jalta og Potsdam. I perioden 1943–1946 var Harriman ambassadør i Sovjetunionen, og i 1946 var han en kort periode ambassadør i Storbritannia.