Harriman tjänstgjorde som president Franklin D. Roosevelts specielle sändebud i Europa och han var närvarande vid mötet mellan den amerikanske presidenten och Winston Churchill i Placentia Bay 1941. Mötet resulterade i Atlantdeklarationen som fastställde de allierades mål i andra världskriget. Harriman deltog även vid konferenserna i Teheran, Jalta och Potsdam. 1943-1946 var Harriman ambassadör i Sovjetunionen och 1946 var han under en kort tid ambassadör i Storbritannien.