Am 29. März 1934 veröffentlichte der Deutsche Reichsanzeiger die zweite Ausbürgerungsliste des Deutschen Reichs, durch welche Hertz ausgebürgert wurde. Zuvor wurde er Anfang Mai 1933 zusammen mit Otto Wels, Erich Ollenhauer und einigen anderen SPD-Parteivorstandsmitgliedern mit der Errichtung einer Auslandsstelle beauftragt. Zumal nach ihm bereits gefahndet wurde, folgte er seinen Vorstandskollegen umgehend erst nach Saarbrücken, dann nach Prag, um sich dort als besoldetes Mitglied des SPD-Exilvorstandes (Sopade) künftig gegen das NS-Regime zu betätigen. So war er Redakteur des theoretischen Exilorgans "„Zeitschrift für Sozialismus“", bis dieses im Herbst 1936 sein Erscheinen einstellen musste, und bis zum März 1938 verantwortete er redaktionell die regelmäßig in recht hohen Auflagen ins Deutsche Reich eingeschmuggelte Zeitung "Sozialistische Aktion". Hertz vertrat nicht nur die Belange der sozialistischen Betroffenengruppe im Beirat des Hochkommissars beim Völkerbund für die Flüchtlinge aus Deutschland, sondern war zugleich postiert als zuverlässiger Mittelsmann an der brisanten Schnittstelle zwischen innerdeutschem Widerstand und antinazistischer Arbeit im Exil. In seiner Heimat wurde er unterdessen – wie so viele andere auch – weiterhin rassistisch wie politisch diskriminiert, so durch die im Deutschen Museum in München im Winter 1937/38 präsentierte NS-Propagandaschau „Der ewige Jude“.