Viktor Klemperer var dr. Wilhelm Klemperers åttende barn og nevø til dirigenten Otto Klemperer. Faren var reformistisk rabbiner i Landsberg, senere i Berlin. Viktor var bror til medisinerne Georg og Felix Klemperer.