V lednu 1942 se zúčastnil konference ve Wannsee, na níž se rozhodlo o masovém vyvraždění Židů. V roce 1942 odhalil a infiltroval odbojovou a špionážní síť Rudou kapelu. Začátkem roku 1943 začal podezřívat admirála Canarise, šéfa Abwehru z protistátní činnosti, ale na rozkaz Himmlera musel tuto kauzu odložit. Po 20. červenci 1944 vedl vyšetřování spiknutí proti Hitlerovi, které vyústilo v zatčení asi 5000 lidí a popravě 200 z nich. Na konci války v Evropě stále zůstal v Hitlerově bunkru v Berlíně. Zde byl spatřen naposledy 30. dubna 1945. Dnes existují čtyři domněnky o tom, co se zde tehdy stalo: