Ved grunnleggelsen av Bundeswehr i 1955 ble Kielmansegg utnevnt til brigadegeneral og fra 1955 til 1958 var han ved NATOs sentrale militære kommando, Supreme Headquarters Allied Powers Europe, med arbeidssted i Rocquencourt nær Versailles. Fra 1958 til 1960 var han nestsjef for 5. panserdivisjon i Koblenz og fra 1960 til 1963 kommanderte han 10. pansergrenaderdivisjon i Sigmaringen, og han ble forfremmet til generalmajor i 1961.