Faits : A. A._, né en 1972, a suivi les 1 eret 2 août 2017 un stage d'entraînement motocycliste organisé par une école de conduite sur le circuit de U._, lors duquel il a subi un accident le 2 août 2017. Après un traitement et une opération en urgence à l'Hôpital B._, où ont notamment été diagnostiquées une tétraplégie et une fracture complexe des vertèbres C6 et C7, il a été transféré au Centre C._. AXA Assurances SA (ci-après: AXA) a pris le cas en charge, en tant qu'assureur-accidents de l'entreprise dont A._ était le directeur. Par décision du 6 novembre 2017, AXA a prononcé une réduction de 50 % de toutes les prestations en espèces - à l'exclusion donc des prestations (en nature) de soins et des traitements médicaux - en relation avec l'accident du 2 août 2017, au motif que l'atteinte à la santé subie lors de cet accident était la conséquence d'une entreprise téméraire absolue. L'assuré ayant formé opposition, AXA a maintenu sa position par décision sur opposition du 14 mars 2018. B. Par jugement du 4 décembre 2019, le Tribunal administratif du canton de Berne a rejeté le recours interjeté par l'assuré contre cette décision sur opposition. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut principalement à l'octroi des prestations en espèces de l'assurance-accidents sans réduction, et subsidiairement au renvoi de la cause à l'autorité précédente pour complément d'instruction. La cour cantonale a renoncé à se déterminer et s'est référée à son jugement. L'intimée conclut au rejet du recours. Le recourant a répliqué.