Im August 1914, zu Beginn des Ersten Weltkrieges, setzte Herzfeld sich in der SPD-Fraktion für die Ablehnung der Kriegskredite ein. Schließlich fügte er sich jedoch den Wünschen der SPD-Führung und stimmte mit den anderen SPD-Abgeordneten für die Bewilligung der Kredite. Während des Krieges geriet Herzfeld derweil in immer größeren Gegensatz zu den Führern seiner Partei. Anders als die Mehrheit seiner Partei und insbesondere die Führung der SPD im Reichstag stimmte Herzfeld im Parlament ab zirka 1916 gegen die Bewilligung weiterer Kredite zur Finanzierung des Krieges. 1915 nahm er an der Internationalen Konferenz der Vertreter der Oppositionellen Minderheiten innerhalb der Sozialistischen Parteien in Zimmerwald in der Schweiz teil. 1916 gehörte er der Sozialdemokratischen Arbeitsgemeinschaft an. 1917 beteiligte Herzfeld sich an der Gründung der Unabhängigen Sozialdemokratischen Partei Deutschlands (USPD), einer sezessionistischen neuen Partei, die aus dem linken Flügel der SPD hervorging, der sich nun über die Frage der Bewilligung der Kriegskredite von der Partei abspaltete.