23 июля 1944 года Гальдер был арестован по подозрению в причастности к покушению на Гитлера и 25 июля 1944 года был помещён в концлагерь Дахау. С 7 октября Гальдер для допросов переведён в тюрьму РСХА на , после чего 7 февраля 1945 года был переведён во Флоссенбург, а 9 апреля — вновь в концлагерь Дахау. В это время с 31 января 1945 года он был уже уволен с действительной военной службы с лишением наград и ему было запрещено носить военную форму.