Berger aloitti jalkapallon Sparta Prahassa, mutta solmi ensimmäisen ammattilaissopimuksensa paikalliskilpailija Slavian kanssa vuonna 1991. Vuonna 1995 Ottmar Hitzfeld hankki hänet Saksaan, Borussia Dortmundiin, 500 000 punnan siirtokorvausta vastaan. Dortmund voitti Saksan-mestaruuden ja Supercupin, mutta Berger sai peliminuutteja lähinnä vaihtopelaajana. Seuraavana kesänä Liverpool kiinnostui Bergeristä hänen onnistuttuaan hyvin EM-kisoissa, joissa hän teki muun muassa maalin rangaistuspotkusta loppuottelussa. Elokuussa 1996 siirto varmistui ja Liverpool maksoi Dortmundille 3,25 miljoonaa puntaa.