Etter tapet av sjette armé ved Stalingrad, kom Zeitzler stadig oftere i konfrontasjoner med Hitler, særlig på grunn av Hitlers motvilje mot å trekke styrker tilbake for å sikre fronten, og unngå at de ble for eksponerte og sårbare. Ved fem anledninger tilbød Zeitzler seg å gå av, men dette ble avslått av Hitler. Etter en rekke skarpe konfrontasjoner med Hitler, avbrøt han brått en besøk hos Hitler på Berghof 1. juli 1944, og meldte tilbake at han ikke lenger kunne tjenestegjøre av helsemessige årsaker. Hitler snakket aldri med ham igjen, avskjediget ham fra hæren i januar 1945, og nektet ham retten til å bære uniform.