General Kielmansegg var gift med Mechthild von Dincklage og hadde fire barn. Hans eldste sønn Johann ble også generalmajor i Bundeswehr. Hans yngre sønn Peter Graf von Kielmansegg er en kjent statsviter.