Nach dem Krieg wurde er im Juli 1869 zum Generalstab der 19. Division versetzt und im Oktober 1869 zum Major befördert. Als solcher beteiligte er sich 1870/71 im Krieg gegen Frankreich an den Schlachten bei Mars-la-Tour, Gravelotte, Beaune-la-Rolande und Orléans sowie der Belagerung von Metz. Ausgezeichnet mit beiden Klassen des Eisernen Kreuzes war Scherff vom 1. Oktober 1873 bis zum 11. Januar 1875 als Lehrer für Taktik an der Kriegsakademie tätig. Anschließend erfolgte als Oberstleutnant und Abteilungschef eine Verwendung im Großen Generalstab.