Докази да Канарис игра двоструку игру су се нагомилавали и на инстирање Хајнриха Химлера, Хитлер га је разрешио команде у фебруару 1944, заменивши га са Валтером Шеленбергом и припојивши већи део Абвера СД-у. Касније те године је стављен у кућни притвор, што га је спречило да учествује у Јулској завери. Гестапо је открио доказе који су га повезивали са завером, и он је убијен - спорим дављењем у концентрационом логору Флосенбург заједно са Хансом Остером, Карлом Саком, Дитрихом Бонхефером, и Лудвигом Гереом - неколико недеља пре краја Другог светског рата.