Son frère aîné Frédéric VI servait dans l'armée autrichienne, et Gustave l'y rejoint. Il combat dans le Bade, le Wurtemberg et la Basse-Autriche. En 1801, il est promu au grade de commandant et entre dans les chevau-légers en 1805. Il se distingue lors de la retraite de l'archiduc Charles de Habsbourg-Teschen et, le , il est promu lieutenant-colonel. De 1805 à 1809 il est en garnison en Hongrie, puis entre aux Kürassieren-Hohenzollern et dont il est nommé commandant. Il participe aux batailles d'Aspern et de Wagram. Pour sa bravoure, il est décoré de l'ordre militaire de Marie-Thérèse. Après la débâcle napoléonienne en Russie, il participe à la bataille de Leipzig, puis à la campagne de France lors des Cent-Jours. Après 1815, il devient brigadier en Transylvanie et quitte l'armée en 1827 avec le grade de maréchal de camp.