Em 1934 Schulenburg foi nomeado embaixador alemão na União Soviética. Ele favoreceu um acordo entre a Alemanha e a União Soviética, e foi fundamental na negociação do Pacto Molotov-Ribbentrop, assinado em agosto de 1939. Após a invasão soviética da Polônia, apesar do estado de guerra entre Alemanha e Polônia, ele usou sua posição para permitir que diplomatas poloneses (incluindo o embaixador Waclaw Grzybowski) deixassem a União Soviética.