Jan Josef si zvolil vojenskou kariéru a ve 22 letech nastoupil do armády v hodnosti poručíka. Později během osmanských válek v Evropě se stal plukovníkem. Na významu získal během napoleonských válek, kdy byl povýšen na post polního maršála a stal se vrchní velitelem armády Rakouského císařství. Vedl rakouské vojsko v bitvě u Slavkova. Později byl obviněn kvůli nevýhodným mírovým smlouvám s Napoleonem - prešpurský mír a schönbrunnský mír. Obě tyto dohody byly velmi výhodné pro Napoleona a tvrdé pro Rakousko a Jan Josef byl nařčen, že má malé diplomatické schopnosti, a proto aby unikl před kritikou, odešel v roce 1810 z armády.