Seine Eltern waren der preußische Landjägermeister und Erbherr auf Rutow und Dietrichswalde Hans Schimmelpfennig von der Oye (1700–1760) und dessen Ehefrau Marie Luise, geborene von Pommeau. Er hatte vier Brüder: Philipp († 1815), Oberst und Kommandeur der Towarzy; Heinrich († 1802), einer ist bei Liegnitz, ein zweiter bei Leuthen gefallen.