Seine Eltern waren August Leopold von Stutterheim (* 17. November 1769; † 14. März 1827) und dessen Ehefrau Florentine Karoline Wilhelmine, geborene Freiin von Falkenhausen (* 1774; † 30. Januar 1834). Sein Vater war Oberst und Kommandeur des Brandenburgischen Ulanen-Regiments, Ritter des Ordens Pour le Mérite und wurde während der Befreiungskriege in der Schlacht bei Ligny schwer verwundet. Seine Mutter war Tochter von Friedrich Carl von Falkenhausen (* 20. Oktober 1734; † 13. Oktober 1796) und eine Enkelin von Karl Wilhelm Friedrich von Brandenburg-Ansbach.