Durante el periodo de entreguerras sirvió también como diplomático en Teherán y Bucarest. En 1934, fue nombrado embajador del Tercer Reich en la Unión Soviética, y desde este cargo favorecía un pacto entre ambos estados, apoyando los esfuerzos del ministro nazi Joachim von Ribbentrop para celebrar el Pacto nazi-soviético de 1939. Al ocurrir la invasión soviética de Polonia el 17 de setiembre de ese mismo año, y pese a que desde el 1 de septiembre Alemania también estaba en guerra con dicho país, Schulenburg auxilió a los diplomáticos polacos para abandonar la URSS.