I 1956 ble han ansatt som generalmajor i det nyetablerte vesttyske forsvaret Bundeswehr. Til 1959 var han sjef for logistikk ved NATOs hovedkvarter, Supreme Headquarters Allied Powers Europe, i Paris. I 1960 ble han kommanderende general for Bundeswehrs 1. korps. I 1964 ble han utnevnt til full general og den tredje generalinspektøren for Bundeswehr, dvs. forsvarssjef. I 1966 søkte han om avskjed etter å ha følt seg overkjørt av forsvarsminister Kai-Uwe von Hassel i forbindelse med en omorganisering i Forsvarsdepartementet.