Rechenberg trat am 1. April 1866 in das Anhaltinische Füsilier-Regiment in Dessau ein, in dem er am 14. November 1867 Offizier wurde. Im Krieg gegen Frankreich, in dem er bei Toul verwundet wurde, erwarb er das Eiserne Kreuz. Im Mai 1877 als Hauptmann in den Großen Generalstab versetzt, trat er im Jahre 1881 in den Generalstab der 8. Division in Erfurt über. 1891 wurde er als Oberstleutnant Abteilungschef im Großen Generalstab. In dieser Eigenschaft wurde er im Juni 1893 Oberst und im März 1897 Generalmajor. Als solcher war Rechenberg vom 1. April 1898 bis zum 21. Mai 1900 Kommandeur der 21. Infanterie-Brigade in Schweidnitz. Unter Beförderung zum Generalleutnant folgte anschließend seine Versetzung in den Großen Generalstab sowie die Ernennung zum Oberquartiermeister. Daran schloss sich ab 16. Juni 1900 eine Verwendung als Direktor der Kriegsakademie an. In dieser Stellung war Rechenberg auch gleichzeitig als Präses der Studienkommission der Kriegsakademie und als Mitglied der Obersten Militärstudienkommission tätig. Am 20. August 1902 wurde er in Genehmigung seines Abschiedsgesuches mit der gesetzlichen Pension zur Disposition gestellt und feierte am 1. April 1916 sein 50-jähriges Militärjubiläum.