Arméen til Ferdinand kom til slagmarken stykkevis. Ferdinand selv kom sammen med fortroppen, kommandert av arveprinsen. Siden Ferdinand feilaktig trodde at franskmennene ikke var fullstendig mønstret ennå, ga han ordre om angrep, uten å vente på de to andre divisjonene. Trass i høye odds, ble byen Vilbel erobret innen klokken åtte av infanteriet til Freytag og Am Hohen Stein, en annen lav ås like øst for Berger-Warte, hadde blitt okkupert. Ferdinand ante at Bergen var nøkkelen til stillingen og kl.08:30 ga han ordre om å gå til angrep på byen. Det første angrepet gikk bra og de franske styrkene ble drevet fra hekker og frukthager som de sto i og tilbake til byen. Broglie sendte så inn forsterkinger som snudde kampen mot de allierte og drev de tilbake. Kl. 10:00 hadde divisjonen til prins Isenburg kommet fram. Isenburg sendte soldatene sine inn i kampen og drev franskmennene igjen tilbake til Bergen. Broglie slo så tilbake med flere forsterkinger og de allierte ble drevet tilbake nok en gang. Isenburg selv ble drept da han prøvde å samle mennene sine. Det var så vidt Ferdinand selv klarte å få orden i troppene sine. Nå gikk slaget mot slutten. Broglie førte reservene og kavaleriet sitt framover og Ferdinand innså størrelsen på arméen til fienden. I tillegg var det franske artilleriet innstilt på å treffe målene sine og tvinge den allierte arméen tilbake til Am Hohen Stein. Da divisjonen til Holstein-Gottorp til slutt kom til slagmarken stoppet franskmennene et nytt angrep og slaget ble til en artilleriduell som varte til mørket senket seg, da de allierte trakk seg bort. Selv om det var en klar fransk seier, fulgte ikke Broglie etter Ferdinand, som klarte å ta arméen sin tilbake til Minden.