Johann Webers far var gendarmeriinspektør. I 1937/38 gikk Weber på det biskoppelige gutteseminaret, og etter dets oppløsning fra 1938 på det akademiske gymnasium i Graz. Som mange andre i hans generasjon ble han imnnnkalt til Wehrmacht i 1943 etter å ha fullført 6. klasse, og i 1945 ble han tildelt skoleavslutningseksamen ved dekret.