Se casó con Luitgarde von Bismarck (nieta de la luchadora de la resistencia Ruth von Kleist-Retzow, miembro de la Iglesia Confesante y abuela de Maria von Wedemeyer, prometida de Dietrich Bonhoeffer) con quien tuvo a Herzeleide von Schlabrendorff (Berlín, 1940), Dieprand Ludwig Carl Hans-Otto von Schlabrendorff (Stettin, 1941), Jürgen-Lewin Hans von Schlabrendorff (Lasbeck, 1943), Fabian Gotthard Herbert von Schlabrendorff (Berlín, 1944), Maria von Schlabrendorff (Buch am Forst, 1948), y Carl Joachim Henning von Schlabrendorff (Wiesbaden, 1950).