Halder begynte sin tjeneste i den keiserlige tyske hæren i 1902 og tjenestegjorde under første verdenskrig. I 1937 møtte han Hitler og ble en lojal støttespiller for han. Halder deltok i den strategiske planleggingen for invasjonen av Polen i 1939. Planen åpnet for at Schutzstaffel (SS) skulle påta seg sikringsoppdrag på vegne av hæren, som inkluderte fengsling eller henrettelse av polakker.