Kielmansegg ble født inn i en aristokratisk familie og hadde tittelen greve. Han ble i 1926 ansatt som yrkessoldat i det tyske forsvaret, Reichswehr, under Weimarrepublikken. I 1930 ble han forfremmet til løytnant. Han ble kaptein i 1937 og fikk deretter utdanning som generalstabsoffiser. Under andre verdenskrig tjenestegjorde han i en rekke funksjoner på tropps- og stabsnivå, og ble i 1944 forfremmet til oberst i generalstaben. Han var venn med Claus von Stauffenberg, og ble kortvarig arrestert av Gestapo etter 20. juli-attentatet i 1944. Noen direkte deltakelse i attentat kunne ikke konstateres.