Faits :
A.
A.a. A._, né en 1984, était joueur de hockey sur glace professionnel au B._ depuis le 1 er mai 2015. Il était à ce titre assuré obligatoirement contre le risque d'accident auprès de la Vaudoise Générale, Compagnie d'Assurances SA (la Vaudoise). Le 20 novembre 2016, il a été victime d'une charge (mise en échec) à hauteur de son épaule gauche par un joueur de l'équipe adverse au cours d'un match du championnat suisse. Il a été projeté en l'air avant d'atterrir sur l'épaule droite, sa tête heurtant ensuite la glace. Il est resté immobile près de quarante secondes avant de se relever et de rejoindre les vestiaires avec l'aide des soigneurs de son équipe et de coéquipiers. Il a été adressé au docteur C._, spécialiste en médecine physique et réadaptation et médecin du B._. Il s'est trouvé en incapacité de travail jusqu'au 19 décembre 2016 et la Vaudoise a pris en charge le cas.
A.b. A l'occasion d'un match de championnat qui s'est déroulé le 2 janvier 2017, l'assuré a été pris de vertiges et sa vision est devenue floue ensuite d'une charge régulière dans la poitrine n'ayant pas entraîné de chute. A nouveau en incapacité de travail du 15 au 26 janvier 2017, il a été adressé au Centre hospitalier D._, où une spécialiste en neurologie l'a pris en charge. A côté de ce traitement, il a également suivi de nombreuses séances de physiothérapie, d'ostéopathie et de chiropractie. Lors d'un entraînement tenu le 14 février 2017, il a ressenti des maux de tête et des vertiges après un contact avec un coéquipier. Ces maux de tête ont progressivement pris la forme de migraines, de douleurs cervicales ainsi que de douleurs au niveau du visage et de la mâchoire. L'assuré s'est encore retrouvé en incapacité de travail. Le 8 mars 2017, il a subi une infiltration facettaire intra-articulaire C2-C3, C3-C4 au Centre hospitalier D._, où ont été retenus les diagnostics de syndrome post-traumatique après commotion cérébrale, de "HWS-Distorsion" (coup du lapin), de commotion labyrinthique gauche intervenue le 20 novembre 2016 et d'autres événements traumatiques. Un trauma avec perte de connaissance et amnésie avec maux de tête d'origine cervicale était également relevé, de même qu'un discret nystagmus spontané vers la gauche ainsi que des dysfonctionnements segmentés des muscles suboccipitaux. L'assuré se plaignait en outre de vertiges et d'épisodes de "light headed sensation" et de "dizziness" ressentis depuis plusieurs années.
Dès le mois de juin 2017, il a repris un entraînement individuel à l'étranger. A son retour en Suisse, il a subi le 8 août 2017 une seconde infiltration facettaire intra-articulaire C2-C3, C3-C4, ensuite de quoi il a été en incapacité de travail. Lors d'un match amical disputé le 2 septembre 2017, il a ressenti de nouveaux vertiges et des étourdissements. A l'occasion d'un entretien avec la Vaudoise en novembre 2017, il a indiqué qu'il suivait et qu'il comptait poursuivre un traitement ergothérapeutique à l'étranger.
A.c. Par décision du 16 mars 2018, confirmée sur opposition le 25 avril 2019, la Vaudoise a mis un terme à ses prestations en faveur de l'assuré au 31 décembre 2017. Dans sa décision sur opposition, la Vaudoise a retenu que l'assuré n'avait pas été victime d'un accident, le caractère extraordinaire du facteur extérieur faisant défaut. Elle a en outre considéré qu'au demeurant, le lien de causalité adéquate entre l'événement du 20 novembre 2016 et les lésions de l'intéressé faisait défaut, laissant ouverte la question du lien de causalité naturelle.
Le 18 juin 2018, l'assuré a mis un terme à sa carrière.
B.
Saisie d'un recours contre la décision sur opposition, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a rejeté par jugement du 11 mai 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme dans le sens de l'annulation de la décision sur opposition du 25 avril 2019.
L'intimée conclut au rejet du recours. La cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
1.2. Le litige porte sur le point de savoir si l'autorité précédente a violé le droit fédéral en niant le droit du recourant à des prestations de l'intimée au-delà du 31 décembre 2017.
1.3. Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (<ref-law>); le recours peut alors porter sur toute constatation incomplète ou erronée des faits (<ref-law>). Lorsque le jugement entrepris porte à la fois sur des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies aux art. 97 al. 1 et 105 al. 2 LTF (arrêt 8C_416/2019 du 15 juillet 2020 consid. 2 et les références).
En l'espèce, l'admission éventuelle des conclusions du recourant peut ouvrir le droit à des prestations aussi bien en espèces qu'en nature, de sorte que le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente, à tout le moins s'agissant des faits communs à ces deux objets.
2.
2.1. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à la notion d'accident (<ref-law> et <ref-law> [RS 830.1]; <ref-ruling> consid. 4.3.1 p. 221; <ref-ruling> consid. 2.1 p. 404 et les références) ainsi qu'à l'exigence d'un lien de causalité naturelle et adéquate entre l'événement dommageable et l'atteinte à la santé (<ref-ruling> consid. 1 p. 438; <ref-ruling> consid. 3.1 et 3.2 p. 181). Il suffit d'y renvoyer.
2.2. On rappellera néanmoins qu'en matière de lésions du rachis cervical par accident de type "coup du lapin", de traumatisme analogue ou de traumatisme cranio-cérébral sans preuve d'un déficit fonctionnel organique, l'existence d'un lien de causalité naturelle entre l'accident et l'incapacité de travail ou de gain doit en principe être reconnue en présence d'un tableau clinique typique présentant de multiples plaintes (maux de têtes diffus, vertiges, troubles de la concentration et de la mémoire, nausées, fatigabilité, troubles de la vue, irritabilité, dépression, modification du caractère, etc.). Il faut cependant que l'existence d'un tel traumatisme et de ses suites soit dûment attestée par des renseignements médicaux fiables (<ref-ruling> consid. 9 p. 122 ss).
2.3. On rappellera également que pour l'examen de la causalité adéquate, il y a lieu selon la jurisprudence de raisonner par analogie avec la jurisprudence en matière de troubles psychiques. Il convient donc d'opérer une classification des accidents en fonction de leur degré de gravité et d'appliquer des critères objectifs analogues. La situation dans laquelle les symptômes, qui peuvent être attribués de manière crédible au tableau clinique typique, se trouvent toujours au premier plan doit toutefois être distinguée de celle dans laquelle l'assuré présente des troubles psychiques qui constituent une atteinte à la santé distincte et indépendante du tableau clinique caractéristique habituellement associé aux traumatismes en cause. Dans le premier cas, cet examen se fait sur la base des critères particuliers développés pour les cas de traumatisme de type "coup du lapin" à la colonne cervicale, de traumatisme analogue à la colonne cervicale ou de traumatisme cranio-cérébral, lesquels n'opèrent pas de distinction entre les éléments physiques et psychiques des atteintes (<ref-ruling> précité consid. 10.3 p. 130; <ref-ruling> consid. 6a p. 367). Dans le second cas, il y a lieu de se fonder sur les critères applicables en cas de troubles psychiques consécutifs à un accident, c'est-à-dire en excluant les aspects psychiques (<ref-ruling> précité consid. 9.5 p. 125 s.; <ref-ruling> consid. 5b/bb p. 103 et les références).
2.4. La cour cantonale a retenu que l'événement dommageable du 20 novembre 2016 devait être qualifié d'accident. Appliquant la jurisprudence développée en matière de traumatisme de type "coup du lapin" et de traumatisme cranio-cérébral sans preuve d'un déficit fonctionnel organique (cf. consid. 2.2 supra), elle a considéré que le lien de causalité naturelle devait être admis s'agissant des tensions musculaires cervicales, des maux de tête et du nystagmus, dès lors que ces symptômes n'étaient pas ressentis antérieurement à l'accident, à tout le moins pas de manière durable. Il en allait de même des symptômes de "light headed sensation" et de "dizziness", qui s'étaient aggravés ensuite de l'accident puisqu'ils se déclaraient depuis lors également à l'effort. En revanche, le lien de causalité naturelle avec les sensations de vertiges chroniques, présentes depuis plusieurs années et qui n'avaient subi aucune aggravation, devait être nié. Les juges cantonaux ont ensuite procédé à l'examen du lien de causalité adéquate sans opérer de distinction entre les éléments physiques et psychiques des atteintes (cf. consid. 2.3 supra). Pour qu'un tel lien puisse être admis, il fallait selon la jurisprudence un cumul de trois critères sur sept ou qu'au moins l'un des critères se soit manifesté de manière particulièrement marquante, dès lors que l'accident devait être qualifié de gravité moyenne stricto sensu. Estimant que seul l'un de ces critères était rempli sans qu'il se soit manifesté de manière particulièrement marquante, la juridiction cantonale a nié l'existence d'un lien de causalité adéquate entre l'accident et les troubles du recourant, de sorte que l'intimée lui avait refusé à bon droit l'octroi de prestations au-delà du 31 décembre 2017.
3.
3.1. Dans un premier et principal grief, le recourant soutient que ce serait à tort que les premiers juges ont appliqué la jurisprudence traditionnelle rendue en matière d'accidents de gravité moyenne, qui impose que certains critères objectifs doivent être remplis pour admettre le lien de causalité adéquate. Cette jurisprudence viserait à éviter l'octroi de prestations d'assurance à des personnes ne faisant pas tous les efforts attendus en vue de reprendre une activité professionnelle. Or un sportif professionnel ne serait pas un employé comme les autres. Il aurait un intérêt à travailler reconnu par la jurisprudence et sa carrière serait courte, de sorte qu'il aurait peu d'années pour gagner sa vie et ne saurait se complaire dans une incapacité de travail simulée ou exagérée. En l'occurrence, le recourant aurait eu la volonté inébranlable d'effectuer son "come-back". Passionné par son sport, il aurait réalisé sa meilleure saison au moment de son accident et il aurait eu l'intention de jouer encore trois ou quatre saisons avec l'ambition de décrocher des titres et des récompenses sur les plans collectif et individuel. Il aurait en outre fourni de gros efforts pour revenir au jeu, se rendant même à l'étranger à des fins thérapeutiques. Le recourant affirme par ailleurs que la documentation médicale admettrait que les sportifs de haut niveau victimes de commotions cérébrales peuvent développer des troubles psychiques commandant l'arrêt de leur carrière. Il y aurait un risque de développer de sévères complications - en particulier une maladie dégénérative appelée encéphalopathie traumatique chronique (ETC) - en cas de poursuite de l'activité sportive en dépit de symptômes préexistants. Dans ces conditions, le recourant estime que l'on ne saurait exiger de lui qu'il ait dû surmonter ses souffrances à compter du 31 décembre 2017 pour reprendre son travail. Le lien de causalité adéquate devrait donc être admis.
3.2. La critique du recourant n'est pas justifiée. On ne voit pas en quoi la passion d'un travailleur pour sa profession, sa volonté de reprendre son activité professionnelle ensuite d'un accident ainsi que de fournir d'importants efforts en ce sens seraient propres aux seuls sportifs professionnels, et non aux autres travailleurs, quand bien même la doctrine en matière de droit du travail a reconnu, en particulier pour des artistes, des sportifs professionnels ou des chirurgiens, un intérêt légitime à être effectivement occupés par l'employeur (cf. <ref-ruling> consid. 2.1.2 p. 307). En tout état de cause, la jurisprudence critiquée par le recourant tient compte des efforts fournis par l'assuré, puisque l'un des sept critères retenus est l'importance de l'incapacité de travail en dépit des efforts reconnaissables de l'assuré. En l'espèce, ce critère a du reste été considéré comme rempli par l'instance précédente (cf. consid. 4.2 infra). Par ailleurs, si l'on peut admettre qu'un hockeyeur se trouvant dans la situation du recourant puisse vouloir entreprendre tout ce qui est possible pour pouvoir pratiquer à nouveau son sport au niveau professionnel, on peut tout aussi bien envisager qu'au vu des risques de graves complications exposées par le recourant, un autre hockeyeur placé dans la même situation ait quelque réticence à persévérer et à revenir au jeu, consciemment ou non. Le fait qu'un sportif professionnel ait peu de temps à disposition pour se constituer une épargne, étant donné la brièveté de sa carrière, n'apparaît pas non plus pertinent. En effet, cette situation ne se distingue pas de celle d'un travailleur - tous domaines d'activité confondus - contraint ou désireux de travailler jusqu'à l'âge légal de la retraite pour des motifs économiques. A cela s'ajoute que de nombreux sportifs professionnels optent pour une reconversion professionnelle après leur retraite sportive. Pour le reste, on ne voit pas en quoi le risque accru de développement de troubles psychiques en raison de commotions cérébrales à répétition dispenserait d'examiner la causalité adéquate en se fondant sur des critères objectifs identiques applicables pour tout assuré indépendamment de sa profession. Le grief du recourant se révèle ainsi mal fondé.
4.
Dans un second grief, le recourant soutient que quatre des critères définis par la jurisprudence seraient remplis, de sorte que le lien de causalité adéquate devrait être admis.
4.1. L'application des critères jurisprudentiels en matière de causalité adéquate sans opérer de distinction entre les éléments physiques et psychiques des atteintes (cf. consid. 2.3 supra), ainsi que la qualification de l'événement assuré en tant qu'accident de gravité moyenne stricto sensu ne sont pas contestées par le recourant, quand bien même celui-ci se réfère dans son recours également aux critères applicables en cas de troubles psychiques consécutifs à un accident. L'appréciation de la cour cantonale n'est quoi qu'il en soit pas critiquable au vu des troubles du recourant (cf. let. A.b supra). Il y a dès lors lieu d'examiner ci-après si et dans quelle mesure ont peut considérer comme réalisés les différents critères applicables dans les cas où les symptômes attribuables au tableau clinique typique se trouvent au premier plan (cf. consid. 2.2 supra).
4.2. Le critère de l'importance de l'incapacité de travail en dépit des efforts reconnaissables de l'assuré a été admis par la cour cantonale et il n'y a pas lieu de s'écarter de cette appréciation. Le recourant ne prétend pas que ce critère se serait manifesté de manière particulièrement marquante, de sorte que deux autres critères au moins sont nécessaires pour admettre le lien de causalité adéquate.
4.3. Le recourant soutient que le critère de l'intensité des douleurs serait également satisfait, dès lors que les douleurs ressenties auraient été telles qu'elles l'auraient contraint à mettre un terme à sa carrière et qu'il souffrirait toujours de maux de tête fréquents et handicapants quatre ans après l'accident.
S'agissant de l'intensité des douleurs, il faut que des douleurs importantes aient existé sans interruption conséquente durant tout le temps écoulé entre l'accident et la clôture du cas (<ref-law>). L'intensité des douleurs est examinée au regard de leur crédibilité, ainsi que de l'empêchement qu'elles entraînent dans la vie quotidienne (<ref-ruling> consid. 10.2.4 p. 128; arrêt 8C_459/2017 du 16 avril 2018 consid. 5.2).
Les juges cantonaux ont retenu à juste titre que le recourant n'avait pas souffert de douleurs importantes sans interruption conséquente, dès lors qu'il avait été plusieurs fois en mesure de reprendre l'entraînement et de disputer des matchs et qu'il avait pu suivre un entraînement personnel exigeant afin de retrouver son niveau, ce qu'il ne conteste pas. C'est essentiellement lors de compétitions que ses douleurs se sont exacerbées au point qu'il a dû cesser de jouer. Dans ces conditions, on ne saurait retenir qu'il ait été constamment et de manière significative entravé dans sa vie quotidienne en raison de ses douleurs, de sorte que le critère en cause doit être nié.
4.4. Contrairement à ce que soutient le recourant, le critère des difficultés apparues lors de la guérison ou des complications importantes ne peut pas être admis au motif que la seconde infiltration facettaire intra-articulaire C2-C3, C3-C4 du 8 août 2017 et qu'un type particulier de traitement au Centre hospitalier D._ auraient échoué. Comme rappelé par la juridiction cantonale, il doit exister des motifs particuliers ayant entravé la guérison, et ce même s'il n'a pas été possible de supprimer les douleurs de l'intéressé, ni même de rétablir une capacité de travail entière (arrêts 8C_613/2019 du 17 septembre 2020 consid. 6.4.3; 8C_249/2018 du 12 mars 2019 consid. 5.2.5 et les références). L'échec de certains traitements isolés et la persistance de certains troubles ne sont donc pas suffisants pour admettre des difficultés lors du processus de guérison. Il en va de même du choix de se rendre à l'étranger pour bénéficier d'une autre thérapie. Pour le reste, le recourant ne prétend pas que son état de santé aurait subi des complications importantes.
4.5. Selon le recourant, le critère de la durée anormalement longue du traitement médical serait également rempli, soit - selon la reformulation de l'<ref-ruling> consid. 10.3 - celui de l'administration prolongée d'un traitement médical spécifique et pénible. Toutefois, la cour cantonale a relevé de manière convaincante que le recourant n'avait subi aucune intervention chirurgicale ni aucune prise en charge médicale de longue durée en milieu hospitalier et que son traitement avait consisté en des mesures conservatrices. Le fait que le recourant se soit prêté à de multiples séances de physiothérapie, d'ostéopathie et de chiropractie et qu'il ait consulté de nombreuses fois le docteur C._ et les thérapeutes du Centre hospitalier D._ ne suffit pas à considérer son traitement comme particulièrement pénible, étant entendu que la prise de médicaments antalgiques et la prescription de traitements par manipulations même pendant une certaine durée ne suffisent pas à fonder le critère litigieux (arrêt 8C_209/2020 du 18 janvier 2021 consid. 5.2.1 et la référence).
5.
Il s'ensuit que les troubles développés par le recourant ne se trouvent pas en relation de causalité adéquate avec l'accident assuré. Le jugement attaqué échappe ainsi à la critique et le recours doit être rejeté.
6.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 14 avril 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
Le Greffier : Ourny