En , au début de la Première Guerre mondiale, Herzfeld fait campagne au sein du groupe parlementaire SPD pour rejeter les crédits de guerre. En fin de compte, cependant, il se conforme aux souhaits de la direction du SPD et vote avec les autres députés du SPD pour approuver les prêts. Pendant la guerre, Herzfeld s'oppose de plus en plus aux chefs de son parti. Contrairement à la majorité de son parti et en particulier à la direction du SPD au Reichstag, Herzfeld vote au Reichstag à partir de 1916 environ contre l'approbation de nouveaux prêts pour financer la guerre. En 1915, il participe à la Conférence internationale des représentants des minorités d'opposition au sein des partis socialistes à Zimmerwald, en Suisse. En 1916, il est membre du Groupe de travail social-démocrate. En 1917, Herzfeld participe à la fondation du Parti social-démocrate indépendant d'Allemagne (USPD), un nouveau parti sécessionniste issu de l'aile gauche du SPD, qui se sépare maintenant du parti sur la question de l'approbation des crédits de guerre.