Während der Zeit des Nationalsozialismus wurde Salzberg aufgrund seiner Religionszugehörigkeit zunehmend ausgegrenzt und entrechtet. Ab November 1938 konnte er keinen Privatunterricht in hebräischer Sprache mehr geben. Salzberg versuchte mehrfach zu emigrieren, was ihm jedoch nicht gelang. Er überlebte als einer der wenigen Juden in Hamburg die Verfolgung durch die Nationalsozialisten und die Operation Gomorrha. Gemeinsam mit seiner Frau Frida Salzberg-Heins, die für den Lebensunterhalt des Ehepaares sorgte, verbrachte er die Kriegsjahre in einem Judenhaus in Hamburg. Da er nahezu alle Freunde und Schüler verloren hatte, war Salzberg bei Ende des Zweiten Weltkriegs vereinsamt. Das Ehepaar zog in die vorherige Wohnung im Grindelviertel, wo ihn jahrelang zwangsweise zugewiesene Untermieter antisemitisch beleidigten.