Tras la destrucción del 6º ejército en Stalingrado la relación de Zeitzler con Hitler se volvió cada vez más tirante. Después de la cascada de derrotas de las Wehrmacht en Túnez, Kursk o Cherkassy, y también de una serie de violentas disputas con Hitler, el 1 de julio de 1944 abandonó de forma repentina Berghof. Fue reemplazado por el General Heinz Guderian el 10 de julio del mismo año. Por su parte, Hitler nunca le volvió a dirigir la palabra e incluso una vez que dejó de prestar servicios al ejército en enero de 1945, le negó el derecho de llevar el uniforme.