Le 20 juillet 1944, un groupe d'officiers allemands conduit par le colonel von Stauffenberg tente d'assassiner Hitler en déposant une bombe dans son Quartier général de Prusse-Orientale. Halder est arrêté par la Gestapo trois jours plus tard, même s'il n'est pas impliqué, mais des interrogatoires poussés de comploteurs avérés ont mis en évidence que Halder a pu être favorable à des conspirations antérieures. Halder est envoyé au camp de concentration de Flossenbürg puis à celui de Dachau. Le , Halder est officiellement renvoyé de l'armée. Le , à la suite d'un transfert dans le Tyrol autrichien, il est libéré de ses par la Wehrmacht. Le , il se rend aux troupes américaines. Il passe les deux années suivantes dans un camp de prisonniers de guerre.