Являясь противником начавшейся в 1939 году войны и сопротивляясь гитлеровской агрессивной политике, Гальдер, однако, продолжал выполнять приказы фюрера. Он активно участвовал в создании гитлеровской армии, разработке и осуществлении планов агрессии против Польши, Франции, Бельгии, Нидерландов, Люксембурга, Югославии, Греции и СССР. Из-за разногласий с Гитлером относительно стратегии ведения боевых действий Гальдер был отстранён от должности 24 сентября 1942 года.