I oktober 1950 var han medforfatter av Himmerod-memorandumet, som dannet grunnlaget for den vesttyske gjenopprustningen, og førte til dannelse av Bundeswehr i 1955. Samme år ble han ansatt ved kontoret til forbundskanslerens militærrådgiver, kalt Amt Blank, der han fra 1950 til 1955 var rådgiver for militærpolitikk og senere byråsjef for generelle spørsmål om landforsvar. Han var medlem av den vesttyske delegasjonen til forhandlingene om Det europeiske forsvarsfellesskap og vesttysk NATO-medlemskap. Kielmansegg regnes som en av opphavsmennene til begrepene og som brukes i Bundeswehr.