Für die Dauer der Mobilmachung anlässlich des Krieges gegen Frankreich wurde Mertens am 18. Juli 1870 zum Kommandanten von Magdeburg ernannt. Am 14. August 1870 wurde er zum Generalleutnant von Werder kommandiert und am 21. August 1870 als Ingenieur en Chef dem Belagerungskorps vor Straßburg zugewiesen. Nach der Kapitulation der Stadt und Festung wurde er deren Kommandant. Aber schon am 11. November 1871 wurde er Ingenieur en Chef dem Belagerungskorps vor Belfort. Für Straßburg erhielt er das Eiserne Kreuz II. Klasse und am 3. Dezember 1870 für Belfort das Eiserne Kreuz I. Klasse. Außerdem wurde ihm am 4. Februar 1871 das Komtur des Württembergischen Militärverdienstordens und das Kommandeurkreuz I. Klasse des Militär-Karl-Friedrich-Verdienstordens verliehen. König Wilhelm I. würdigte ihn durch die Verleihung des Eichenlaubs zum Orden Pour le Mérite sowie der Beförderung zum Generalleutnant. Am 18. Februar 1871 wurde er dann mit der Reparatur der Festung Belfort beauftragt, aber er kehrte schon am 25. März 1871 in das inaktive Verhältnis zurück. Noch am 18. Juli 1871 bekam er das Großkreuz des Bayerischen Militärverdienstordens.