Faits :
A.
A.a. A._, né en 1975, travaillait depuis le 1 er avril 2005 comme chauffeur de camion au service de l'entreprise B._ SA. Le 22 juillet 2005, il a été victime d'un accident de moto, au cours duquel il a subi un traumatisme du genou droit ayant nécessité plusieurs interventions chirurgicales. Le cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle il était assuré obligatoirement contre le risque d'accident. Sur le plan professionnel, l'assuré a bénéficié d'une reconversion en tant que chauffeur de car, laquelle a été prise en charge par l'assurance-invalidité.
A.b. Le 26 novembre 2008, A._ a chuté de la ridelle hydraulique d'un camion et a subi une contusion lombaire et du genou droit, qui ont entraîné une incapacité totale de travail. La CNA a pris en charge le cas.
Par décision du 20 juillet 2009, confirmée sur opposition le 29 octobre 2009, la CNA a mis un terme à ses prestations d'assurance (indemnités journalières et frais de traitement) avec effet au 22 juillet 2009. Par décision du 26 novembre 2009, confirmée sur opposition le 10 février 2010, elle a en outre nié le droit de l'assuré à une rente d'invalidité en raison de son atteinte au genou droit.
A.c. Alors qu'il avait été engagé depuis le 1er février 2011 par l'entreprise C._ SA en tant que chauffeur de car à plein temps et qu'il était en incapacité de travail pour cause de maladie (lombalgies) depuis le 21 décembre 2011, A._ a subi le 3 septembre 2012 un nouvel accident de moto, lequel a provoqué une fracture des bases des métacarpiens 3-5 à droite, une contusion de la nuque et du thorax ainsi que du coude et du pied droits. La CNA a pris en charge le cas. Dans un rapport d'examen final du 22 août 2014, le docteur D._, spécialiste en chirurgie orthopédique FMH et médecin d'arrondissement de la CNA, a considéré la situation comme stabilisée. L'ancienne activité de chauffeur n'était plus exigible mais l'assuré avait une pleine capacité de travail (en termes d'horaires et de rendement) dans une activité adaptée à ses limitations fonctionnelles.
Constatant que la comparaison entre le revenu sans invalidité de chauffeur de car et le revenu hypothétique d'invalide dans une activité adaptée aboutissait à un taux d'invalidité de 8,46 %, la CNA a, par décision du 3 mars 2016, nié le droit de l'assuré à une rente d'invalidité et lui a octroyé une indemnité pour atteinte à l'intégrité fondée sur un taux de 10 %.
A.d. Une imagerie par résonance magnétique (IRM) du genou droit réalisée le 30 novembre 2016 ayant mis en évidence une chondropathie fémoro-patellaire, l'assuré a de nouveau été opéré au genou le 1er mars 2017 (arthroscopie avec débridement de l'atteinte cartilagineuse rétro-patellaire et apport de PRP dans le tendon rotulien). Le 3 mai 2017, la CNA a confirmé la prise en charge de la rechute à partir du 3 novembre 2016.
Dans un rapport du 16 mars 2018, le docteur E._, spécialiste en médecine physique et réadaptation du Service médical régional de l'assurance-invalidité (SMR), a constaté qu'il n'existait pas d'indice médical objectif d'une aggravation des troubles de la colonne vertébrale, en particulier lombaire, ni de l'état de la main droite depuis 2014, date de la dernière appréciation médicale du SMR qui avait conclu à une stabilisation de l'état de santé à l'époque. En revanche, l'assuré présentait une aggravation au niveau du genou droit en raison d'une chondropathie de stade IV de la rotule droite, pour laquelle il était prévu en avril 2018 un traitement chirurgical qui aurait pour conséquence une longue rééducation de l'ordre de neuf à douze mois. Dans son rapport final du 27 mars 2018, le docteur F._, spécialiste en médecine générale auprès du SMR, a confirmé l'appréciation du docteur E._ et a proposé de procéder à une révision dans les dix-huit mois en cas d'octroi d'une rente. Le 30 avril 2018, le docteur G._, spécialiste en chirurgie orthopédique et en médecine du sport, a procédé à un débridement de la lésion cartilagineuse rotulienne par arthrotomie parapatellaire externe avec plastie spongieuse.
Par décision du 20 septembre 2018, l'Office AI a alloué à l'assuré une rente entière d'invalidité à partir du 1er novembre 2017.
A.e. Dans un rapport du 25 janvier 2019, le docteur H._, spécialiste en chirurgie orthopédique et en traumatologie et médecin d'arrondissement de la CNA, a constaté que subjectivement, l'assuré annonçait une tendance à la réapparition de douleurs au niveau du genou droit le limitant dans ses activités mais qu'objectivement, l'examen clinique était plutôt rassurant avec une absence d'épanchement, une excellente mobilité et une rotule bien mobile. Il a précisé que la réapparition de douleurs persistant au-delà d'une période de six mois post-opération laissait envisager l'éventualité d'un résultat incertain, mais qu'il était encore trop tôt pour apprécier le résultat clinique et qu'une nouvelle imagerie ne présentait pas de sens avant une année suivant la dernière intervention, ceci en raison des artéfacts post-opératoires.
Une IRM du genou droit de l'assuré réalisée le 25 février 2019 afin de tirer le bilan de l'évolution consécutive à la greffe cartilagineuse rotulienne a fait état de remaniements opératoires au niveau cartilagineux rotulien de la crête avec quelques irrégularités légèrement hétérogènes localement, néanmoins sans déplacement évident ni oedème osseux notable. Par ailleurs, aucune anomalie au niveau du genou n'a été relevée. Après avoir pris connaissance des résultats de l'IRM, le docteur H._ a estimé, le 6 mai 2019, que la situation était stabilisée et qu'il n'y avait pas de modification de l'exigibilité.
Après avoir informé l'assuré, par courrier du 16 mai 2019, qu'elle mettait fin au paiement des soins médicaux et de l'indemnité journalière avec effet au 31 mai 2019, la CNA a nié le droit de l'assuré à une rente d'invalidité par décision du 23 mai 2019, confirmée sur opposition le 18 juin 2019.
B.
Par jugement du 1er septembre 2020, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 18 juin 2019.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme dans le sens de la reconnaissance de son droit à une rente d'invalidité.
L'intimée conclut au rejet du recours, tandis que la cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant le refus de l'intimée d'allouer une rente d'invalidité au recourant.
2.2. Lorsque, comme en l'espèce, la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (art. 97 al. 2 et 105 al. 3 LTF).
2.3. Le jugement entrepris expose correctement les dispositions légales (art. 7, 8 et 16 LPGA [RS 830.1]; <ref-law>) et la jurisprudence en matière d'évaluation de l'invalidité, ainsi que les principes jurisprudentiels relatifs à l'appréciation de la valeur probante des rapports médicaux. Il suffit donc d'y renvoyer.
3.
3.1. Se fondant sur le rapport du docteur H._ du 25 janvier 2019, auquel elle a reconnu une pleine valeur probante, la cour cantonale a retenu que malgré la chondropathie fémoro-patellaire révélée par l'IRM du 30 novembre 2016, l'état du genou droit du recourant ne s'était pas sensiblement péjoré entre la décision sur opposition du 10 février 2010 et le prononcé litigieux du 18 juin 2019, lui permettant d'exercer à plein temps une activité adaptée. Quant aux séquelles de l'accident du 3 septembre 2012 au niveau de la main droite, les premiers juges ont constaté qu'il n'y avait pas eu d'aggravation notable depuis la décision du 3 mars 2016. Le recourant n'était plus apte à reprendre pleinement et durablement l'activité de chauffeur de car, mais disposait d'une capacité de travail entière dans une activité adaptée lui permettant de réaliser un revenu excluant le droit à une rente de l'assurance-accidents. La cour cantonale a relevé que la décision du 20 septembre 2018, par laquelle l'Office AI avait alloué au recourant une rente entière d'invalidité à compter du 1 er novembre 2017, ne liait pas la CNA.
3.2. Le recourant fait valoir que les examens cliniques de 2017 et 2019 étaient quasiment identiques en ce qui concernait ses limitations fonctionnelles. Or les constatations médicales faites en 2017 avaient conduit l'intimée à reconnaître une rechute de l'accident du 22 juillet 2005 depuis le 3 novembre 2016, entraînant une incapacité totale de travail dans toute activité, soit une aggravation de son état de santé par rapport à celui constaté en 2015. Selon le recourant, ce résultat incohérent mettrait en lumière l'absence de valeur probante du rapport du docteur H._ du 25 janvier 2019, complété le 6 mai 2019. En outre, l'appréciation du 6 mai 2019 se fondait sur une IRM réalisée le 25 février 2019, soit seulement 10 mois après l'intervention du 30 avril 2018, alors que l'auteur de ce rapport avait lui-même indiqué, le 25 janvier 2019, qu'une nouvelle imagerie ne présentait aucun sens avant une année au moins suivant la dernière intervention. En outre, sur la base des mêmes constatations, l'assurance-invalidité avait octroyé au recourant une rente entière d'invalidité en raison d'une incapacité de travail dans toute activité dès le mois de novembre 2016. Au vu des doutes sur la fiabilité et la pertinence de l'appréciation du médecin d'arrondissement de l'intimée, cette dernière aurait dû procéder à des investigations supplémentaires avant de rendre sa décision, conformément à son devoir d'instruction (<ref-law>).
3.3. Il est constant qu'après que l'IRM du 30 novembre 2016 eut révélé une chondropathie fémoro-patellaire, l'intimée a pris en charge cette rechute de l'accident du 22 juillet 2005, en versant des indemnités journalières du 3 novembre 2016 au 31 mai 2019 et en prenant en charge l'intervention du docteur G._ du 30 avril 2018. Elle a nié le droit du recourant à une rente d'invalidité seulement après que son médecin d'arrondissement eut pris connaissance des résultats de l'intervention du 30 avril 2018 et de l'IRM du 25 février 2019. L'appréciation du docteur H._ des 25 janvier et 6 mai 2019 n'est dès lors pas en contradiction avec celle du docteur E._ émise le 16 mars 2018, soit avant l'intervention du 30 avril 2018 et l'IRM du 25 février 2019. En outre, la décision d'octroi par l'Office AI d'une rente entière de l'assurance-invalidité a été prise sur la base du rapport du docteur E._, qui concluait à une incapacité totale de travail du recourant en raison d'une situation non encore stabilisée et d'une rééducation post-opératoire estimée entre neuf et douze mois. Enfin, s'il est vrai que l'IRM du 25 février 2019 a été effectuée deux mois plus tôt que préconisé par le docteur H._, les résultats après dix mois plutôt que douze ne laissaient pas présager de complications ultérieures, au contraire. Quoi qu'il en soit, le recourant ne fait en l'espèce état d'aucun élément clinique, radiologique ou diagnostique concret et objectif susceptible de mettre en cause les conclusions médicales du docteur H._ sur lesquelles se sont fondés les premiers juges. Dès lors qu'il n'existait aucun élément mettant en doute ces conclusions, il n'y avait pas lieu de procéder à des investigations médicales complémentaires.
4.
Il s'ensuit que le recours se révèle mal fondé et doit être rejeté. Les frais judiciaires doivent être mis à la charge du recourant (<ref-law>), qui ne saurait prétendre à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 2 août 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Wirthlin
La Greffière : Fretz Perrin