Spinto dal fratello maggiore, l'imperatore Francesco II, coltivò sin dalla gioventù delle forti ambizioni militari che ebbero modo di essere subito messe alla prova con lo scoppio delle Guerre napoleoniche quando Giovanni ottenne il suo primo comando nell'esercito austriaco, nel settembre del 1800, malgrado egli avesse fatto più volte richiesta al fratello di essere ammesso come semplice recluta. Durante le battaglie mostrò coraggio personale nel corso della Guerra della Seconda coalizione, ma le sue truppe vennero pesantemente battute nel corso della Battaglia di Hohenlinden il 3 dicembre di quello stesso anno. Demoralizzato dalla sconfitta e con l'esercito sull'orlo di disintegrarsi nella successiva ritirata, il tracollo venne evitato solo con la firma dell'armistizio il 22 dicembre successivo. Dopo la Pace di Luneville del 1801, l'arciduca Giovanni venne nominato Direttore Generale delle opere di ingegneria e delle fortificazioni ed ottenne poi il comando della rinomata Accademia Militare Teresiana di Wiener Neustadt.