Ved starten av andre verdenskrig ble Jodl sjef for den operative staben, . Jodl var fra da av en nøkkelperson i tyske militæroperasjoner og gav ofte råd og informasjon til Hitler. Han utgjorde sammen med Keitel og Walter Warlimont en trio av høyere offiserer som foraktet det gamle prøyssiske offiserskorpset. Han delte Keitels nesegruse beundring for Hitlers evner som militærstrateg. Bare ved en anledning, i september 1942, motsa han Hitler direkte ved å påpeke at Wilhelm List utførte sine operasjoner i Kaukasus i henhold til Hitlers egne instrukser. Dette var tilstrekkelig til at han pådro seg Førerens vrede, og i en tid vurderte faktisk Hitler å avskjedige Jodl og erstatte ham med Friedrich Paulus. Imidlertid kom Jodl og Keitel til å bli de eneste høytstående generalene som beholdt stillingene sine gjennom resten av krigen.