23 серпня 1939 року повернувся на стару посаду в ОКВ і залишався на ній до свого арешту союзниками. Спланував і керував проведенням операції «Везерюбунг» (окупація Норвегії). Після нападу на СРСР ОКГ було доручено безпосереднє керівництво операцією, а ОКВ повинне було слідкувати за виконанням директив Гітлера. В 1942 році Йодль був направлений в групу армій «А», після повернення виступив на підтримку дій генерал-фельдмаршала Вільгельма фон Ліста. В цей період серйозно розглядалось питання про заміну Йодля на його посаді Фрідріхом Паулюсом, чому завадила капітуляція останнього під Сталінградом. Відмовився виконувати наказ Гітлера, за яким взяті в полон ворожі парашутисти повинні бути розстріляні. Під час Липневого замаху одержав легкі поранення. З 1 травня 1945 року — виконувач обов'язків начальника ОКВ і, одночасно, начальника Генштабу сухопутних військ. Від імені Німеччини разом із генерал-адміралом Фрідебургом 7 травня 1945 року підписав Акт про безумовну капітуляцію Німеччини в Реймсі.