1935 року, через 2 роки після приходу нацистів до влади, був відсторонений від викладання як єврей, позбувся роботи й був переселений в гетто, але, оскільки його дружина була визнана чистокровною арійкою, уникнув депортації. Під час війни переховувався в серболужицькому селі Пескеци, жителі якого, як він писав, відрізнялися «антигітлерівськими настроями». Після 13 лютого 1945 року, коли нацистська влада прийняла рішення про депортацію всіх євреїв, включаючи й тих, що були в «змішаних шлюбах», Клемперер разом з дружиною, скориставшись хаосом під час повітряного нальоту союзників на Дрезден, втекли і сховалися у Верхній Баварії на території, незабаром зайнятій військами союзників.