Berger vietti lapsuutensa Wörglin kaupungissa, joka sijaitsee lähellä Innsbruckia. Yhdeksäntuhannen asukkaan pikkukaupungissa laskettelu oli luonnollinen harrastus, koska kaupunki sijaitsi Alpeilla. Berger kuitenkin kiinnostui autoista ja hänellä oli vanhempia kavereita, jotka ajoivat kilpaa paikallisissa kilpailuissa. Heillä oli myös oma autoverstas. Jochen Rindtin menestys nosti autourheilun kiinnostusta Itävallassa. Berger oli 11-vuotias, kun Rindt yllättäen menehtyi onnettomuudessa Monzassa 1970.