Schulenburgin isä oli preussilainen everstiluutnantti. Schulenburg opiskeli oikeustiedettä Lausannen, Münchenin ja Berliinin yliopistoissa, ja aloitti uransa Saksan ulkoministeriön palveluksessa vuonna 1901. Hän oli Saksan varakonsulina Varsovassa 1907–1911 ja konsulina Tiflisissä 1911–1914. Palveltuaan vuoden upseerina ensimmäisessä maailmansodassa hän oli vuosina 1915–1918 Saksan konsulina Erzurumissa, Beirutissa ja Damaskoksessa. Weimarin tasavallan aikana Schulenburg oli Saksan lähettiläänä Teheranissa vuosina 1923–1931 ja Bukarestissa 1931–1934. Vuonna 1934 hän liittyi valtaan nousseeseen kansallissosialistiseen puolueeseen, ja hänet nimitettiin suurlähettilääksi Moskovaan. Schulenburg pyrki johdonmukaisesti säilyttämään Saksan ja Neuvostoliiton suhteet hyvinä. Hän vaikutti vuoden 1939 Molotov–Ribbentrop-sopimuksen syntyyn.