1868 als Major wieder in das 2. Artillerie-Regiment versetzt, führte Gramich im Deutsch-Französischen Krieg 1870/71 die 1. Division der Artillerie-Reserve-Abteilung des I. Armee-Korps. Er nahm an den Gefechten bei Beaumont, Sedan, Artenay, Orléans und Coulmiers teil. Bei Villepion wurde Gramich verwundet und erhielt für seine Leistungen das Eiserne Kreuz II. Klasse sowie das Ritterkreuz I. Klasse des Militärverdienstordens mit Schwertern.