In 1787 werd hij door zijn dooppeter, koning Gustaaf III van Zweden tot gardeluitenant benoemd en trad hij in Zweedse krijgsdienst. Na de moord op zijn oom in 1792 werd hij echter op eigen verzoek uit het Zweedse leger ontheven en keerde Gustaaf terug naar Homburg. Vervolgens volgde hij het voorbeeld van zijn oudere broer Frederik en werd hij actief in het Oostenrijkse leger. Hij vocht tijdens de napoleontische oorlogen in Baden, Württemberg en Neder-Oostenrijk en werd in 1801 gepromoveerd tot majoor. In 1805 werd hij gedetacheerd naar de Chevau-léger. Gustaaf onderscheidde zich hetzelfde jaar bij de terugtocht onder aartshertog Karel van Oostenrijk-Teschen bij Caldiero en werd op 1 december 1805 tot luitenant-kolonel bevorderd. Na van 1805 tot 1809 deel te hebben uitgemaakt van een garnizoen in Hongarije en overgeplaatst te zijn naar het Hohenzollern-kurassiersregiment, volgde zijn promotie tot kolonel en commandant van het kurassiersregiment "Aartshertog Ferdinand". Hij vocht in 1809 in de Slag bij Aspern-Eßling en de Slag bij Wagram. Ook werd hij net als zijn broers onderscheiden met de Orde van Maria Theresia.