Scherff besuchte Gymnasien in seiner Heimatstadt und Wiesbaden. Ab 16. Oktober 1849 war er Kadett in Berlin und wurde dann am 27. April 1852 als Sekondeleutnant dem 2. Garde-Regiment zu Fuß der Preußischen Armee überwiesen. Zwischen Oktober 1856 und Juni 1859 kommandierte man Scherff zur weiteren Ausbildung an die Allgemeine Kriegsschule und war von 1860 bis 1866 Adjutant der preußischen Besatzungsbrigade. Den Deutschen Krieg erlebte Scherff 1866 als Generalstabsoffizier beim Detachement unter Generalmajor von Beyer. In dieser Stellung nahm er während des Mainfeldzuges an den Kämpfen bei Hammelburg, Werbach, Helmstadt sowie der Beschießung von Würzburg teil.