Han startet sin militære karriere i 1959 i Gloucestershire Regiment i reserven av Territorial Army, men skiftet i 1962 til Royal Air Force Volunteer Reserve. Rose ble i 1964 tilknyttet Coldstream Guards. Etter å ha gjennomgått stabsskole ble Rose i 1973 brigademajor for 16th Parachute Brigade. Fra 1979 til 1982 var han sjef for 22nd SAS Regiment. I denne tiden fikk han ansvar for å lede operasjonen mot den okkuperte iranske ambassaden i London i 1980. Under Falklandskrigen tjenestegjorde han som sjef for styrkene fra Special Forces, som var i felten under konflikten mot Argentina. Rose ble senere sjef for infanteriskolen og for Special Forces. Han studerte også ved Royal College of Defence Studies, for deretter å holde territoriell kommando i Storbritannia. I tillegg til tjenesten på Falklandsøyene, har Rose i sin militære karriere tjenestegjort i Nord-Irland. Han har også vært stasjonert Midtøsten, Tyskland, Aden, Malaysia, i De arabiske gulfstater og Dhofar.