Mit dem Regiment rückte Zehmen mit Ausbruch des Ersten Weltkriegs ins Feld und nahm unter anderem an den Kämpfen an der Gete, Mons, Le Cateau, an der Somme und Lizy teil. Für die Einnahme von Le Cateau am 27. August 1914 erhielt er im September das Eiserne Kreuz I. Klasse sowie das Komturkreuz des Herzoglich Sachsen-Ernestinischen Hausordens mit Schwertern. Am 20. September 1914 wurde er bei Morsain bei den Kämpfen an der Aisne schwer verwundet. Nach seiner Genesung kehrte er an die Westfront zurück, war vom 20. März bis 16. September 1915 Kommandeur der 16. Infanterie-Brigade sowie ab 23. November 1915 Kommandeur der stellvertretenden 16. Infanterie-Brigade. Am 27. Januar 1917 erhielt Zehmen das Patent als Generalmajor.