Berger var sønn av en sagbruksbestyrer og tok lærerutdannelse i Nürtingen i årene 1910 til 1914, hvor han utdannet seg som gymnastikklærer. Da første verdenskrig brøt ut, meldte han seg frivillig til militærtjeneste hvor han ble sendt til Vestfronten. Han ble såret tre ganger, særlig alvorlig under Det første slaget ved Ypres i oktober 1914 og senere overført til stabstjeneste som ordonnansoffiser. For sin krigsinnsats ble han tildelt Jernkorset av første klasse og ble demobilisert i januar 1919 som løytnant.