Faits :
A.
A.a. A._, né en 1969, était employé comme aide-couvreur par l'entreprise B._ Sàrl et, à ce titre, assuré de manière obligatoire contre le risque d'accidents auprès de la Caisse nationale suisse en cas d'accidents (ci-après: CNA). Le 18 novembre 1998, il travaillait sur le toit d'un chalet en construction quand une plaque de sous-couverture a cédé. Il a fait une chute d'une hauteur d'environ six mètres entraînant des fractures des côtes 7 à 10 à droite et une fracture intra-articulaire distale du radius droit. Le traitement a été opératoire pour le poignet droit avec la mise en place d'un fixateur externe. Le 2 décembre 1998, une réduction sanglante ainsi qu'une ostéosynthèse ont été effectuées. L'évolution a été sans complication. L'ablation du matériel d'ostéosynthèse a eu lieu le 1er novembre 1999.
A.b. Le 11 janvier 2000, le docteur C._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement de la CNA, a effectué l'examen médical final. Après avoir procédé aux mesures d'instruction sur le plan économique, la CNA a rendu le 20 avril 2000 une décision par laquelle elle a reconnu à l'assuré le droit à une rente d'invalidité de 20 % dès le 1er mars 2000 ainsi qu'à une indemnité pour atteinte à l'intégrité (IPAI) d'un taux de 10 %. Cette décision a été confirmée sur opposition le 4 septembre 2000. L'assuré s'est ensuite installé au Portugal.
A.c. Par courriers des 13 février 2012 et 9 janvier 2017, l'assuré, respectivement son médecin de famille au Portugal, a demandé à la CNA de réévaluer le dossier en raison d'une lésion au niveau thoracique, d'une arthrose au poignet droit et de troubles psychiques. Par courriers des 13 mars 2012 et 30 janvier 2017, la CNA a nié l'existence d'un lien de causalité entre les troubles respiratoires et l'accident du 18 novembre 1998. Quant à l'atteinte au poignet, elle a indiqué qu'en l'absence d'une aggravation notable de la situation, une révision de la rente ne se justifiait pas.
A.d. Saisie derechef le 6 décembre 2017 d'une requête de l'assuré comprenant en annexe un rapport médical du 10 novembre 2017 du docteur D._, spécialiste FMH en rhumatologie, qui estimait à 50 % tout au plus la capacité de travail de l'assuré dans une activité adaptée, la CNA a soumis le cas au docteur E._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement, qui a rendu son rapport 17 janvier 2018. Par décision du 2 février 2018, la CNA a refusé de réviser la décision du 20 avril 2000, ce qu'elle a confirmé sur opposition le 17 mai 2018, après avoir consulté son médecin d'arrondissement, le docteur F._, spécialiste FMH en chirurgie orthopédique.
B.
Par arrêt du 10 septembre 2020, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par l'assuré contre la décision sur opposition du 17 mai 2018.
C.
A._ forme un recours en matière de droit public contre cet arrêt, en concluant à sa réforme en ce sens qu'une rente d'invalidité fondée sur un taux de 50 % lui soit octroyée dès décembre 2017. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité inférieure pour complément d'instruction.
L'intimée conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer. Le recourant a déposé une écriture spontanée le 18 janvier 2021.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant le rejet de la demande de révision matérielle (<ref-law>).
Contrairement au litige qui porte sur le bien-fondé d'une requête de révision procédurale (arrêt 8C_232/2020 du 6 octobre 2020 consid. 1.3 et les références), une décision relative à une demande de révision matérielle concerne l'octroi de prestations en espèces de l'assurance-accidents, de sorte que le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (<ref-law>).
3.
3.1. Si le taux d'invalidité du bénéficiaire de la rente subit une modification notable, la rente est, d'office ou sur demande, révisée pour l'avenir, à savoir augmentée ou réduite en conséquence, ou encore supprimée (<ref-law>). Tout changement important des circonstances propre à influencer le degré d'invalidité, et donc le droit à la rente, peut motiver une révision. La rente peut être révisée non seulement en cas de modification sensible de l'état de santé, mais aussi lorsque celui-ci est resté en soi le même, mais que ses conséquences sur la capacité de gain ont subi un changement important (<ref-ruling> consid. 2.1 p. 105; <ref-ruling> consid. 3 p. 132). Tel est le cas lorsque la capacité de travail s'améliore grâce à l'accoutumance ou à une adaptation au handicap. En revanche, une simple appréciation différente d'un état de fait qui, pour l'essentiel, est demeuré inchangé n'appelle pas une révision au sens de l'<ref-law> (<ref-ruling> consid. 2.1 p. 105; <ref-ruling> consid. 2.3 p. 10 s. et les références). En matières d'assurance-accidents et d'assurance-militaire, la modification des circonstances est considérée comme notable lorsque le degré d'invalidité diffère d'au moins 5 % (<ref-ruling> consid. 7.3.1 p. 148; <ref-ruling> consid. 4.3 p. 87 et les références). La base de comparaison déterminante dans le temps pour l'examen d'une modification du degré d'invalidité lors d'une révision de la rente est constituée par la dernière décision entrée en force qui repose sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit (<ref-ruling>).
3.2. Le droit à des prestations découlant d'un accident assuré suppose d'abord, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Cette exigence est remplie lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Il n'est pas nécessaire, en revanche, que l'accident soit la cause unique ou immédiate de l'atteinte à la santé; il faut et il suffit que l'événement dommageable, associé éventuellement à d'autres facteurs, ait provoqué l'atteinte à la santé physique ou psychique de l'assuré, c'est-à-dire qu'il se présente comme la condition sine qua non de celle-ci (<ref-ruling> consid. 1 p. 438 et les références citées). Savoir si l'événement assuré et l'atteinte en question sont liés par un rapport de causalité naturelle est une question de fait que l'administration ou, le cas échéant, le juge examine en se fondant essentiellement sur des renseignements d'ordre médical, et qui doit être tranchée à la lumière de la règle du degré de la vraisemblance prépondérante (<ref-ruling> consid. 1 p. 438 et les références citées). Selon la jurisprudence du Tribunal fédéral, le seuil du degré de la vraisemblance prépondérante est atteint si les motifs de tenir une allégation pour exacte sont, d'un point de vue objectif, tellement impérieux que les autres possibilités hypothétiques n'entrent pas sérieusement en considération (<ref-ruling> consid. 4.1 p. 612 et les références citées). La simple possibilité d'un certain état de fait ne suffit pas pour remplir cette exigence de preuve (<ref-ruling> consid. 3.2 p. 429; <ref-ruling> consid. 6 p. 221).
3.3. Lorsqu'un cas d'assurance est réglé sans avoir recours à une expertise dans une procédure au sens de l'<ref-law>, l'appréciation des preuves est soumise à des exigences sévères: s'il existe un doute même minime sur la fiabilité et la validité des constatations d'un médecin de l'assurance, il y a lieu de procéder à des investigations complémentaires (<ref-ruling> consid. 5.2 p. 229; <ref-ruling> consid. 4.4 p. 470).
4.
4.1. La juridiction cantonale a nié l'existence d'un motif de révision au sens de l'<ref-law>. Elle a constaté que le docteur D._ n'établissait aucune aggravation objective au niveau du poignet. Compte tenu notamment de l'écoulement du temps entre l'accident de 1998 et l'apparition des troubles à l'épaule droite, il y avait lieu de retenir avec le docteur E._ que la tendinopathie n'était pas en relation de causalité avec l'accident. Il en allait de même pour les lésions de la colonne cervicale et lombaire, qui étaient des troubles dégénératifs liés à l'âge. Enfin, s'agissant des troubles psychiques, un lien de causalité avec l'accident de 1998 devait également être nié.
4.2.
4.2.1. Le recourant fait grief à l'autorité précédente d'avoir procédé à une constatation inexacte des faits et d'avoir violé le droit fédéral. En ce qui concerne le poignet droit, la cour cantonale aurait traduit des données médicales prises singulièrement, sans tenir compte de l'ensemble des constatations objectives du docteur D._, et aurait conclu à une nette amélioration de l'état de santé du patient contrairement à l'avis du docteur D._ et des médecins d'arrondissement.
4.2.2. Le 11 janvier 2000, lors du bilan médical final, le docteur C._ avait constaté, s'agissant du poignet droit, un résultat dans l'ensemble plutôt satisfaisant vu la gravité de la lésion initiale. L'épiphyse distale du radius avait une position globalement adéquate hormis le léger raccourcissement. Par contre, la surface articulaire montrait déjà des signes dégénératifs correspondant à une arthrose discrète à modérée, de sorte que le devenir de ce poignet restait incertain. S'agissant de la capacité de travail, le docteur C._ avait retenu qu'une reprise de l'activité antérieure, même à temps partiel, semblait vouée à l'échec chez ce droitier. En revanche, il existait certainement plusieurs activités que le patient pouvait effectuer. Ainsi, toute activité nécessitant des mouvements fins des doigts était possible, ce qui permettait d'envisager des activités d'emballage, de surveillance et même de conduite, à condition que le patient n'ait pas à porter, avec la main droite, des poids au-delà de 5 à 10 kg.
4.2.3. Dans son rapport du 10 novembre 2017, le docteur D._ a constaté une arthrose radio-carpienne droite douloureuse avec une diminution de la mobilité, de la force, de la capacité à porter des charges et de la capacité à effectuer des travaux minutieux et des gestes fins.
Invité à se prononcer sur la question d'une éventuelle modification de l'exigibilité et de l'IPAI, le docteur E._ a indiqué dans son rapport du 17 janvier 2018 que l'on pouvait admettre une modification de l'état de santé par rapport à l'examen final du docteur C._ en ce sens que le docteur D._ retenait, en plus des limitations douloureuses du poignet droit déjà connues, des difficultés pour les mouvements fins. Il a en outre relevé qu'en 2014, l'assuré avait subi une nouvelle fracture distale déplacée du cubitus droit traitée par immobilisation, en précisant que cette nouvelle atteinte structurelle modifiait probablement de façon déterminante l'évolution future du poignet droit. Quant à l'exigibilité, le docteur E._ a indiqué que si l'on tenait compte du syndrome de la coiffe des rotateurs de l'épaule droite constaté en 2017 par le docteur D._, dont il ne retenait cependant pas qu'il fût en relation de causalité avec l'accident de 1998, la mise en valeur d'une pleine capacité de travail devait également tenir compte, outre des limitations reconnues pour l'atteinte au poignet, des limitations dans les activités exigeant des sollicitations du bras droit au-dessus de l'horizontale. Les limitations fonctionnelles incapacitantes secondaires à cette atteinte relevaient d'une pathologie de la coiffe indépendante de l'accident de 1998. Il en allait de même pour les troubles dégénératifs vertébraux notés par le docteur D._. S'agissant de l'IPAI, le docteur E._ a nié une modification notable de l'atteinte au poignet droit. En effet, le rapport radiologique du 26 janvier 2016 transcrit par le docteur D._ faisait état d'une arthrose radio-carpienne, ce qui équivalait à une IPAI d'un taux de 10 %. Or tel était le taux qui avait été évalué lors du bilan final par le docteur C._, soit une arthrose radio-carpienne de degré moyen à grave qui tenait compte de l'aggravation arthrosique prévisible.
4.2.4. A l'époque de l'octroi de la rente d'invalidité, l'intimée s'était fondée, sur le plan médical, sur l'exigibilité définie par le docteur C._, en tenant compte d'activités permettant des mouvements fins des doigts (cf. consid. 4.2.2 supra). Sur le plan économique, le revenu d'invalidité avait été déterminé sur la base de cinq descriptions du poste de travail (DPT), dont trois exigeaient très souvent le maniement d'outils de précision. Dans la procédure de révision, le docteur D._ a retenu une diminution de la capacité à effectuer des travaux minutieux et des gestes fins, ce qui a été relevé par le docteur E._ (cf. consid. 4.2.3 supra). Cette limitation fonctionnelle supplémentaire - pour autant qu'elle soit confirmée - serait toutefois susceptible de modifier de manière considérable l'exigibilité, telle qu'elle avait initialement été définie par le docteur C._, et par voie de conséquence la capacité de gain du recourant. Aussi, il convient d'admettre qu'il n'est pas possible, en l'état du dossier, de trancher la question de savoir si sur ce point, il y a eu une modification de l'état de santé propre à influencer le degré d'invalidité.
4.3. En revanche, le grief selon lequel la cour cantonale aurait à tort nié un lien de causalité naturelle entre la tendinopathie et l'accident de 1998 se révèle mal fondé. On ne saurait en particulier suivre le recourant lorsqu'il affirme que le docteur F._ aurait admis un tel lien. En effet, dans son avis du 12 mars 2018, ce médecin d'arrondissement a indiqué qu'un lien de causalité entre les troubles à la coiffe des rotateurs et l'accident de 1998 était, tout au plus, possible. Or, comme on l'a vu, la simple possibilité d'un certain état de fait ne suffit pas pour remplir l'exigence de preuve de la vraisemblance prépondérante (cf. consid. 3.2 supra). Quant à l'avis du docteur D._, qui estime que la pathologie serait due à la surcharge du membre supérieur droit pour compenser le déficit du poignet droit, il y a lieu de constater avec la cour cantonale qu'il n'existe aucun élément versé au dossier susceptible d'étayer cette hypothèse. C'est aussi à bon droit que la cour cantonale a fait siennes les conclusions des docteurs F._ et E._ (cf. consid. 4.3) et a considéré qu'un lien de causalité entre la tendinopathie et l'accident de 1998 n'était pas établi au degré de la vraisemblance prépondérante.
5.
En définitive, le recours doit être partiellement admis sur la question des limitations fonctionnelles liées au poignet droit (cf. consid. 4.2.4 supra). Dès lors qu'il appartenait en premier lieu à l'intimée de procéder aux mesures d'instructions nécessaires (<ref-law>), il convient de lui renvoyer la cause afin qu'elle mette en oeuvre une expertise médicale et rende une nouvelle décision.
6.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF, indépendamment du fait qu'une conclusion ait ou non été formulée à cet égard, à titre principal ou subsidiaire (<ref-ruling> consid. 7.1 p. 271; arrêt 8C_465/2017 du 12 janvier 2018 consid. 5, non publié in <ref-ruling>). Les frais judiciaires ainsi que les dépens auxquels peut prétendre le recourant seront dès lors mis à la charge de l'intimée, qui succombe (art. 66 al. 1 et 68 al. 2 LTF; <ref-ruling> consid. 7.1 p. 271). La cause sera renvoyée à la cour cantonale pour nouvelle décision sur les dépens de la procédure antérieure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 10 septembre 2020 et la décision sur opposition de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) du 17 mai 2018 sont annulées et la cause est renvoyée à l'intimée pour qu'elle procède dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, pour nouvelle décision sur les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 14 avril 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu