Rosensvärd startet sin militære karriere som underløytnant i Södermanlands regemente, og var senere blitt generalmajor i 1867. Rosensvärd satt flere perioder som medlem av Sveriges riksdag, og var også fra 1870 til 1873 landshøvding i Värmlands län. Han var fra 1877 til 1880 krigsminister i den svenske regjeringen, og senere fortsatte han i militær stilling, med rang som generalløytnant fra 1879.