Allo scoppio della Seconda guerra mondiale Harriman divenne l'inviato personale di Roosevelt presso Winston Churchill e Iosif Stalin, allo scopo di stabilire un legame diretto con i capi dei Paesi nemici della Germania nazista. In questa veste Harriman fu il negoziatore della legge Affitti e Prestiti, che sostenne con materiali e armamenti la Gran Bretagna e la Russia nei momenti più difficili del conflitto. Harriman fu uomo di fiducia e stretto confidente sia di Churchill che di Roosevelt, ma venne apprezzato anche da Stalin divenendo una figura chiave della diplomazia alleata durante l'intero conflitto. Questo ruolo fu riconfermato con la sua nomina ad ambasciatore in Unione Sovietica, incarico che ricoprì dal 1943 al 1946. Durante l'incarico Harriman assunse il delicato compito di mantenere le relazioni diplomatiche della Grande Alleanza, guadagnandosi la fiducia dei sovietici e riuscendo a impedire l'annessione dell'isola giapponese di Hokkaidō da parte dell'Urss. Partecipò come consigliere diplomatico a tutte le principali conferenze interalleate della guerra, a Casablanca, Teheran, Jalta e Potsdam.