Отпочео је војну каријеру са 22 године. Био је пуковник током Турских ратова осам година касније. Био је активан током Наполеонивих ратова током којих је унапређен у чин фелдмаршала и постављен је на место главнокомандујућег аустријске војске. Командовао је аустријском војском у бици код Аустрелица. Учествовао је у преговорима који су довели до мира у Пресбургу 1805. и мира у Шенбруну 1809. године. Ови споразуми били су неповољни по Аустрију и Јохан је оптужен да нема дипломатске вештине. Како би избегао критике повукао се из војне службе 1810. године.