Han var tredje søn af amtmand, kammerherre Wilhelm von Rosen (1788-1853) og Sophie Marie født Decker (1799-1868). Familien nedstammer fra en gammel adelsslægt i Østersøprovinserne. Rosen, som alt tidlig viste lyst til den militære stand, blev kadet 1844 og året efter sekondløjtnant ved 1. jægerkorps, hvorpå han 1846 kom ind på Den kongelige militære Højskole. Krigen 1848 afbrød undervisningen, og med sit jægerkorps deltog han i kampene ved Bov og ved Slesvig, hvor han såredes under stormen på Annettenhöhe. I 1849, da han var blevet premierløjtnant, ansattes han som adjudant ved artillerikommandoen på Als og deltog 13. april sammen med daværende kaptajn Heinrich Kauffmann i erobringen af to sachsiske kanoner. Det blev begyndelsen til et venskab mellem de to officerer. Det følgende år var han som adjudant ved armeens artillerikommando med i slaget ved Isted, hvor han gjorde sig bemærket ved sin store koldblodighed og udmærkede blik for fægtningsforholdene.