Od roku 1932 slúžil v rôznych armádnych inštitúciach. Už ako sympatizant Nacistov bol rýchlo povýšený a roku 1935 bol poverený vedením oddelenia národnej obrany Vrchného veliteľstva pozemných síl (OKH). Po Hossbachovom memorande sa podieľal na zmene stratégie nemeckých ozbrojených síl z defenzívnej na ofenzívnu. Od októbra 1938 až do augusta 1939 zastával funkciu veliteľa delostrelectva ("Artilleriekommandeur") 44. divízie v hodnosti generálplukovníka. Počas Anšlusu - pripojenia Rakúska k Nemecku bol menovaný do funkcie náčelníka operačného štábu veliteľstva ozbrojených síl (OKW). V tejto funkcii zostal až do mája 1945. Jeho najbližším spolupracovníkom bol Wilhelm Keitel, s ktorým pomáhali Hitlerovi plánovať strategické operácie. Počas vojny podpísal viacero rozkazov, ktoré sa priečili vojnovému právu, najmä rozkazy prikazujúce okamžite strieľať sovietskych politických komisárov a príslušníkov britských Commandos.