Rheinbaben fait ses études dans la et en août 1830 comme sous-lieutenant dans le régiment de cuirassiers de l'armée prussienne stationné à Breslau. Promu premier lieutenant en 1846, il avait rapidement atteint le grade d'adjudant supérieur, ce qui lui valut en 1849 un commandement dans l'armée autrichienne en Hongrie. Rheinbaben est adjudant au commandement général du à Breslau, lorsqu'à l'été 1849, il y est chargé de faire un rapport sur l'évolution de la guerre entre les Autrichiens et les Russes alliés à eux contre les rebelles hongrois. La même année, il est promu Rittmeister. À partir de 1850, Rheinbaben est officier d'état-major général, et en 1852, il reçoit l'Ordre de l'Aigle rouge de classe.