Berger aloitti Formula 1 -uransa ATS-tallissa kaudella 1984. Hän ajoi kauden loppupuolella neljä kilpailua, joista parhaaksi sijoitukseksi jäi kuudes sija (pisteitä Berger ei saanut Italian GP:stä, koska talli oli ilmoittanut kauden alussa käyttävänsä virallisesti yhtä autoa tämän ajaessa toisella autolla). Seuraavaksi kaudeksi Berger siirtyi Arrows-talliin, jossa hän kilpaili koko kauden ajan. Tuloksena oli kaksi pistesijoitusta, joilla hän saavutti yhteispisteissä 20. sijan, kauden kahdesta viimeisessä kilpailusta.