Stahlberg war einer von zwei Söhnen des Ehepaares Walter Stahlberg (* 1873 in Stettin; † 1953) und Spes Stahlberg, geborene von Kleist-Retzow (* 1888 in Belgard; † 1973 in Isernhagen bei Hannover). Sein Patenonkel war der spätere Reichstagsabgeordnete und Staatssekretär Herbert Rudolf von Bismarck. Seine Mutter stammte aus der pommerschen Adelsfamilie von Kleist, auf deren Gut er aufgewachsen ist. Sie war eine Tochter von Jürgen von Kleist-Retzow und dessen Ehefrau Ruth, geborene Gräfin von Zedlitz-Trützschler und Tante von Maria von Wedemeyer, der Verlobten Dietrich Bonhoeffers. Der Vater war Besitzer einer Ölfabrik in Stettin. Die Eltern trennten sich, als er noch ein Kleinkind war. Zu seiner weiteren Verwandtschaft zählte unter anderem auch der Politiker Ewald von Kleist-Schmenzin, der zu den ermordeten Widerstandskämpfern des 20. Juli 1944 gehört.