На 20 юли 1944 г., група немски офицери организират опит за убийството на Хитлер. На следващия ден Халдер е арестуван от Гестапо, макар и да не е замесен в заговора. Тъй като фюрерът го счита за възможен съперник, който иска да го измести, Халдер е изпратен в концлагер – първо във Флосенбург, а после и в Дахау.