Han kom fra slekten Schulenburg som var en adelslekt fra Brandenburg, som kan spores tilbake til Altmark gjennom ritter Wernerus de Sculenburch, omtalt første gang i 1237. Johann Matthias von der Schulenburg var sønn av geheimeråd og kammerpresident Gustav Adolf von der Schulenburg. Etter studier i Paris og Saumur ble han i 1685 kammerjunker hos hertug Anton Ulrich av Braunschweig-Wolfenbüttel.