Na de dood van Sovjetleider Jozef Stalin in maart 1953, wilde Moskou de Oost-Duitse partijleider Walter Ulbricht vervangen. Zaisser werd beschouwd als de potentiële kandidaat. De onderdrukking van de volksopstand op 17 juni leidde echter tot een tegenreactie, wat de positie van Ulbricht veilig stelde. Vervolgens maakte Ulbricht gebruik van zijn macht en verwijderde hij Zaisser en andere potentiële bedreigingen van het nationale leiderschap. Vandaar dat Zaisser in juli 1953 gedwongen werd zijn ambt neer te leggen. Wel werd hem in 1953 de Karl Marx-orde uitgereikt. Uiteindelijk werd Zaisser verbannen uit het Politbureau en het Centraal Comité vanwege "anti-partij fractionele activiteit" en ontslagen als minister. Ook werd Zaisser ervan beschuldigd dat hij tijdens de opstand van juni 1953 niet voldoende gebruik had maakt van de kracht van de Stasi. Zaisser werd van al zijn posten ontdaan en geclassificeerd als een vijand van het volk. Verder werd hij in januari 1954 verbannen uit de SED. Voor de rest van zijn leven werkte hij als vertaler bij Dietz-Verlag en aan het Instituut voor Marxisme-Leninisme (IML) in Oost-Berlijn. Op 3 maart 1958 stierf hij in vergetelheid in Oost-Berlijn.