Po zakończeniu I wojny piął się w górę po szczeblach w Reichswehrze. W latach 1926–1933 dowodził wydziałem organizacyjnym Sztabu Generalnego Reichswehry ("Truppenamt" – urząd podległy Ministerstwu Obrony, a pełniący rolę sztabu generalnego armii niemieckiej, którego istnienie zakazane zostało na mocy traktatu wersalskiego). Od 1935 roku był szefem Zarządu Ogólnego Wehrmachtu w ministerstwie wojny, a w lutym 1938 został szefem Naczelnego Dowództwa Wehrmachtu (Oberkommando der Wehrmacht, OKW) mianowany przez Adolfa Hitlera. Brał udział w przygotowywaniu większości najważniejszych działań wojennych, m.in. planowaniu agresji na Polskę w roku 1939. 22 czerwca 1940 roku osobiście prowadził negocjacje na temat zawieszenia broni w wojnie z Francją i podpisał akt zawieszenia broni w Compiègne.