В 1934 году был назначен послом Германии в Москве. Его первоначальное одобрение прихода Гитлера к власти (выразившееся, в частности, во вступлении Шуленбурга в НСДАП) вскоре сменилось неприятием политики нацистов. Был одним из инициаторов германо-советского политического сближения в 1939 году. Был сторонником внешнеполитического курса Отто фон Бисмарка, который считал, что двумя самыми большими ошибками внешней политики Германии могут стать война на два фронта и война с Россией. Выступал за сотрудничество Германии и Советского Союза. Участвовал в заключении германо-советского пакта о ненападении от 23 августа 1939 года, а также договора о дружбе и границе от 28 сентября 1939 года.