Muté à l'état-major de la d'infanterie comme capitaine en 1853, il devient le compagnon militaire du prince Albert de Prusse en 1855. Avec lui, il voyage en Italie, en Suède, en France et en Norvège. Promu major en 1854, il retourne au service militaire en 1857 comme officier d'état-major au régiment des Gardes du Corps. À partir du 9 juillet 1857, il est commandant du de cuirassiers. La même année, il hérite du domaine de Treppeln dans l' de son défunt oncle Zychlinski. Du 25 mars 1858 au 28 janvier 1863, il est commandant du régiment de cuirassiers de la Garde et est entre-temps nommé lieutenant-colonel en 1859 et colonel à l'occasion du couronnement royal de Guillaume Ier à Königsberg le 18 octobre 1861. En 1863, il devient commandant de la de cavalerie de la Garde et général de division en 1865. Rheinbaben participe à la guerre austro-prussienne en Bohême en 1866 en tant que commandant du 1re brigade de cavalerie légère du 1er corps de cavalerie de l'armée. À la tête de sa brigade, il mène une charge victorieuse à Sadowa.