Aus der Ehe mit Elisabeth von Braganza gingen fünf Kinder hervor, von denen vier das Erwachsenenalter erreichten. In der Zeit des Nationalsozialismus wurde er nach dem Ausbruch des Zweiten Weltkrieges durch den Überfall auf Polen im Alter von 46 Jahren eingezogen und nahm bis Ende Juni 1940 am Westfeldzug gegen Frankreich teil. Anschließend war er zweieinhalb Jahre als Besatzungsoffizier in Frankreich stationiert, bis er nach einem Erlass Hitlers über die „"Wehrunfähigkeit des deutschen Hochadels"“ rückwirkend zum 31. März 1944 durch General Keitel aus der Wehrmacht entlassen wurde. Sein einziger Sohn Gabriel war am 17. Dezember 1942 in der Schlacht von Stalingrad gefallen. Er fand seine letzte Ruhestätte auf dem Heldenfriedhof der 113. Infanteriedivision in Bol Rossoschka, ungefähr 30 Kilometer westlich Stalingrad.