Rauchhaupt besuchte das Gymnasium und das Kadettenhaus in Berlin. Anschließend wurde er am 2. Mai 1857 als charakterisierter Portepeefähnrich dem 31. Infanterie-Regiment der Preußischen Armee überwiesen und avancierte bis Mitte Dezember 1858 zum Sekondeleutnant. Am 11. Juni 1859 folgte zunächst seine Kommandierung zum 31. Landwehr-Regiment und Anfang Februar 1860 zum 31. kombinierten Infanterie-Regiment. Daraus formierte sich Anfang Juli 1860 das 3. Thüringische Infanterie-Regiment (Nr. 71), in das Rauchhaupt versetzt wurde. Ab Heiligabend 1860 war er dann für drei Jahre zur Unteroffizierschule in Potsdam kommandiert und im Anschluss als Adjutant des II. Bataillons in Erfurt tätig. Mit seinem Regiment nahm er 1866 während des Krieges gegen Österreich an den Kämpfen bei Liebenau, Podol, Münchengrätz, Holitz, Königgrätz und Preßburg teil.