С приходом нацистов к власти был в 1935 году отстранён от преподавания как еврей, лишился работы, переселён в гетто, но, поскольку его жена была признана чистокровной арийкой, избежал депортации. Во время войны скрывался в серболужицкой деревне Пескецы, жители которой, как он писал, отличались «антигитлеровским настроением». После 13 февраля 1945 года, когда нацистские власти приняли решение о депортации всех оставшихся евреев, включая состоящих в «смешанных браках», Клемперер вместе с женой, воспользовавшись неразберихой воздушного налёта союзников на Дрезден (в ходе которого погибло большое количество как жителей гетто, так и чинов гестапо и СС), бежали и укрылись в Верхней Баварии на территории, вскоре занятой войсками союзников.