Long era amico personale del futuro presidente Franklin Delano Roosevelt, che aveva conosciuto come Assistente Segretario della Marina durante l'amministrazione Wilson, e generosamente contribuito alla sua campagna presidenziale del 1932. Roosevelt lo ricompensò con la posizione di ambasciatore degli Stati Uniti in Italia, che mantenne dal 1933 al 1936. Durante la sua ambasciata, fu criticato per aver sconsigliato al presidente di imporre un embargo sulle spedizioni petrolifere in Italia per rappresaglia per l'invasione dell'Etiopia da parte di Mussolini. Era membro di una missione speciale in Brasile, Argentina e Uruguay nel 1938. Allo scoppio della guerra, nel settembre 1939, accettò l'incarico di assistente speciale segretario di stato incaricato dei problemi derivanti dalla guerra, carica che mantenne fino al gennaio 1940, quando fu nominato assistente del segretario di stato. Fino al febbraio 1941, fu responsabile della supervisione di ventitré delle quarantadue divisioni nel dipartimento prima di una revisione del carico di lavoro tra gli altri segretari di aiuto.