Faits :
A.
A.a. A._, né en 1975, a déposé une demande de prestations de l'assurance-invalidité le 21 décembre 2001. Par décision du 4 mars 2003, l'Office cantonal de l'assurance-invalidité du Valais (ci-après: l'Office AI) a refusé l'octroi d'une rente d'invalidité et d'un reclassement.
Alors qu'il travaillait à plein temps en tant que chauffeur de camion depuis le 1 er avril 2005, l'assuré a été victime d'un accident de moto le 22 juillet 2005. Après avoir par deux fois déposé une nouvelle demande de prestations les 22 août 2006 et 28 juillet 2009, lesquelles ont abouti à un refus d'octroi de prestations (cf. décisions des 24 novembre 2008 et 21 février 2011), l'assuré a déposé le 18 juillet 2012 une nouvelle demande de prestations, qui était motivée par un arrêt de travail depuis le 21 décembre 2011. Par décision du 17 décembre 2015, l'Office AI a nié le droit de l'assuré à des prestations de l'assurance-invalidité en raison de la violation par celui-ci de son devoir de collaboration, tout en constatant que l'assuré disposait d'une capacité de travail entière dans une activité adaptée depuis le 1er octobre 2014.
Une imagerie par résonance magnétique (IRM) du genou droit du 30 novembre 2016 ayant mis en évidence une chondropathie fémoro-patellaire, le docteur B._, spécialiste en chirurgie orthopédique et en médecine du sport, a pratiqué le 1er mars 2017 une arthroscopie du genou droit avec débridement de l'atteinte cartilagineuse rétropatellaire et apport de PRP (plasma riche en plaquettes) dans le tendon rotulien.
A.b. Dans une cinquième demande de prestations déposée le 4 avril 2017, A._ a fait état de douleurs au genou, à la main et à la nuque ainsi que d'une atteinte à la santé existant depuis le 22 décembre 2011. Cette nouvelle demande a été appuyée par son médecin traitant, le docteur C._, lequel a fait état, dans un rapport du 24 avril 2017, de gonarthrose séquellaire post multiples opérations, de Sudeck de la main droite post trauma et opération et de rachialgies sur troubles somatoformes douloureux, et a attesté une capacité de travail nulle. Une IRM et des radiographies du genou réalisées le 5 octobre 2017 ont révélé la persistance de la chondropathie de la crête patellaire, globalement inchangée par rapport à l'examen du 30 novembre 2016. Une scintigraphie osseuse avec phase dynamique et scanner centré au niveau des genoux, pratiquée le 4 janvier 2018, a confirmé une hyperfixation en regard de la lésion ostéochondrale de la face postérieure de la rotule droite, sans composante inflammatoire significative en phase précoce ni autre anomalie notable du genou droit.
Dans un rapport du 16 mars 2018, le docteur D._, spécialiste en médecine physique et réadaptation du Service médical régional de l'assurance-invalidité (SMR), a retenu que l'assuré présentait notamment des lombalgies chroniques sur troubles dégénératifs et hernie discale en L5-S1 sans nette évolution des lésions radiologiques depuis 2011, qu'il n'y avait pas d'indice médical objectif d'une aggravation des troubles de la colonne vertébrale, ni de l'état de la main droite depuis 2014, époque de la dernière appréciation du SMR concluant à une stabilisation de l'état de santé, qu'en revanche la chondropathie de stade IV de la rotule droite correspondait à une aggravation de l'état de santé, qu'un traitement chirurgical visant à reconstituer le cartilage de la rotule était prévu le 30 avril 2018, que ce type de traitement imposait une longue rééducation de l'ordre de neuf à douze mois, que l'état de santé n'étant pas stabilisé, la capacité de travail dans une activité adaptée était nulle et qu'il fallait demander un rapport au docteur B._ en janvier 2019 afin de connaître l'évolution post-opératoire. Son collègue, le docteur E._, spécialiste en médecine générale auprès du SMR, a rédigé le 27 mars 2018 une appréciation finale dans laquelle il a clairement fixé l'incapacité de travail à 100 % dès le 21 décembre 2011, à 0 % depuis le 1 er octobre 2014 dans une activité adaptée mais à 100 % dans une telle activité à compter du 30 novembre 2016, en raison d'une aggravation de l'état de santé sous forme d'une chondropathie de la rotule du genou droit mise en évidence par une IRM en novembre 2016 et nécessitant un traitement chirurgical en avril 2018 puis une rééducation de neuf à douze mois.
A.c. Par projet de décision du 6 avril 2018, l'Office AI a reconnu à A._ le droit à une rente entière d'invalidité à partir du 1 er novembre 2017. Le 30 avril 2018, le docteur B._ a procédé à une arthrotomie latérale, à un débridement par voie ouverte du cartilage et de l'os, à une plastie spongieuse prélevée sur le fémur latéral et à la couverture par une membrane de Novocart.
L'assuré ayant contesté le projet de décision en arguant que la rente entière n'était pas due à partir du 1 er novembre 2017 mais depuis 2011, le dossier a été soumis une nouvelle fois au docteur E._. Ce dernier a confirmé que la date de l'aggravation de l'état de santé à l'origine d'une incapacité totale de travail était celle de l'IRM du 30 novembre 2016, par laquelle un trouble au niveau de la rotule du genou droit avait été révélé.
Par décision du 20 septembre 2018, l'Office AI a alloué à A._ une rente entière d'invalidité à partir du 1 er novembre 2017.
B.
A._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du Valais, en concluant à l'octroi d'une rente entière d'invalidité à partir du mois de décembre 2011.
Par jugement du 1 er septembre 2020, la juridiction cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens qu'il ait droit à une rente entière d'invalidité dès le 21 décembre 2011.
L'Office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut pas aller au-delà des conclusions des parties (<ref-law>).
1.2. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Est litigieux le point de savoir si la cour cantonale a violé le droit fédéral en considérant, à l'instar de l'intimé, que le recourant avait droit à une rente entière d'invalidité à partir du 1 er novembre 2017 seulement.
3.
3.1. Il ressort des constatations du jugement entrepris que la quatrième demande de prestations du 18 juillet 2012 avait été motivée par un arrêt de travail depuis le 21 décembre 2011 en raison de troubles vertébraux et que l'intimé n'avait jamais contesté ladite incapacité de travail. Les premiers juges ont toutefois considéré que cette incapacité totale de travail n'avait pas perduré et qu'elle n'était pas à l'origine de l'incapacité totale de travail et de gain ayant justifié l'octroi d'une rente entière d'invalidité à partir du 1 er novembre 2017. Ils ont constaté que dans un rapport d'expertise du 28 janvier 2013, le docteur F._, spécialiste en rhumatologie et médecine interne, avait conclu que la capacité de travail dans l'activité antérieure de chauffeur de car pouvait être fixée à 50 % un mois après la fin d'un traitement intensif d'école du dos, puis augmentée à 20 % par mois, et que la capacité de travail dans une activité adaptée était entière. Cet avis avait été confirmé par un avis du 22 mai 2013 du docteur G._, spécialiste en rhumatologie et médecine physique, lequel avait constaté que dans une activité adaptée respectant les limitations liées au port de charges, la capacité de travail était dès à présent complète.
Dès le 1er juillet 2013, le docteur C._ avait attesté une nouvelle incapacité totale de travail pour les suites d'un accident survenu le 3 septembre 2012 à la main droite. Cette incapacité avait été prolongée par le docteur H._, spécialiste en chirurgie de la main, dès l'intervention au niveau de cette main le 26 septembre 2013, puis par les médecins de la Clinique I._ durant et après les thérapies pour douleurs et limitations fonctionnelles persistantes des quatrième et cinquième métacarpiens droits suivies par le recourant lors de son séjour du 28 mai au 18 juin 2014. Une réactivation des douleurs au genou droit avait conduit le recourant à consulter son médecin traitant le 17 septembre 2014, lequel avait fait état d'une incapacité totale de travail dans son rapport du 9 octobre 2014. Une IRM du genou effectuée le 25 septembre 2014, puis à nouveau le 16 janvier 2015, avait montré des anomalies de signal au niveau de la rotule et du cartilage rotulien, évoquant une lésion ostéochondrale ou une lésion de stress.
Dans son rapport final du 10 novembre 2014, le docteur E._ avait résumé l'évolution médicale du cas comme suit: il y avait une aggravation significative de l'état de santé du recourant sous forme d'une récidive de lombo-sciatalgies entraînant une incapacité totale de travail depuis décembre 2011; avec un traitement associant des anti-inflammatoires non stéroïdiens, de la physiothérapie et des infiltrations facettaires, l'évolution avait été lentement favorable pour le dos, mais un accident à la main droite en septembre 2012 avait prolongé cette incapacité et une récidive des gonalgies droites datant du traumatisme de 2005 avait encore rallongé l'incapacité totale de travail; une stabilisation de l'état de santé avait été atteinte en octobre 2014; l'activité de chauffeur de bus n'était plus exigible, mais une pleine capacité de travail médico-théorique était désormais exigible dans une activité adaptée.
Se fondant sur les conclusions des docteurs D._ du 16 mars 2018 et du docteur E._ du 27 mars 2018, la juridiction cantonale a constaté que la date de l'aggravation de l'état de santé à l'origine d'une incapacité totale de travail correspondait à l'examen par IRM du 30 novembre 2016. Elle a retenu que la rente d'invalidité devait ainsi être octroyée au terme du délai d'attente d'une année dès cette date, soit à compter du 1 er novembre 2017. Elle a en outre relevé que le droit à la rente prenait naissance au plus tôt six mois après le dépôt de la demande de prestations (<ref-law>), laquelle avait été reçue le 4 avril 2017, de sorte que l'octroi de la rente ne pouvait de toute manière pas intervenir avant le mois d'octobre 2017.
3.2. Le recourant reproche à la juridiction cantonale d'avoir constaté les faits de manière manifestement inexacte en retenant qu'il présentait une incapacité de travail totale dans toute activité depuis le 30 novembre 2016, date de l'IRM objectivant une chondropathie de la rotule de son genou droit. Il fait valoir que son incapacité de travail totale reconnue par l'intimé à partir du 1er décembre 2011 aurait perduré sans interruption, dès lors qu'une aggravation de son état de santé aurait déjà été objectivée par l'IRM de son genou droit effectuée le 25 septembre 2014.
Compte tenu de son pouvoir d'examen restreint, il n'appartient pas au Tribunal fédéral de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité cantonale serait manifestement inexacte ou incomplète, ou en quoi les faits constatés auraient été établis en violation du droit au sens de l'<ref-law> (cf. consid. 1.2 supra). Or en se contentant d'invoquer l'avis de son médecin traitant, le docteur C._, et d'affirmer que l'intimé et la juridiction cantonale auraient fait fi des pièces médicales objectives en ne prenant pas en compte son véritable état de santé, le recourant n'établit nullement, au moyen d'une argumentation précise et étayée, que le résultat de l'appréciation des preuves à laquelle ont procédé les premiers juges serait insoutenable. Il ne cherche par ailleurs pas à démontrer l'existence d'éléments cliniques ou diagnostiques qui permettraient de motiver un autre point de vue que celui retenu par les médecins du SMR ou qui justifieraient à tout le moins une instruction complémentaire. En affirmant plus particulièrement que les IRM des 25 septembre 2014 et 16 janvier 2015 montraient déjà une aggravation de l'état de son genou droit, le recourant livre sa propre interprétation de ces imageries médicales et ne remet ce faisant pas en question les constatations médicales des médecins du SMR. Au regard des griefs soulevés, il n'y a pas lieu de s'écarter de la constatation selon laquelle l'incapacité de travail totale et durable du recourant est survenue au plus tôt le 30 novembre 2016.
4.
4.1. Se fondant notamment sur les <ref-law> et 88a al. 2 RAI, le recourant reproche aux premiers juges d'avoir constaté une interruption notable de son incapacité de travail entre le mois d'octobre 2014 et le mois de novembre 2016 et d'avoir fait partir un nouveau délai d'attente d'une année dès le 30 novembre 2016, alors qu'une aggravation de son état de santé aurait selon lui été objectivée en septembre 2014. Il soutient qu'il n'aurait jamais retrouvé sa capacité de travail depuis le mois de décembre 2011, de sorte qu'il n'y aurait jamais eu d'interruption notable de l'incapacité de travail au sens de l'<ref-law>. Aussi, le droit à la rente serait né le 1 er janvier 2013, soit une année après le début de son incapacité de travail totale et six mois après la quatrième demande de prestations déposée en juillet 2012
4.2. L'<ref-law>, relatif à la modification du droit aux prestations (cf. le titre marginal de cette disposition), prévoit que si la capacité de gain de l'assuré ou sa capacité d'accomplir les travaux habituels se dégrade, ce changement est déterminant pour l'accroissement du droit aux prestations dès qu'il a duré trois mois sans interruption notable. Selon la jurisprudence, ce délai s'applique dans le cadre d'une procédure de révision (<ref-law>) tendant à la modification (augmentation, réduction ou suppression) d'une rente précédemment allouée, ou lorsqu'une rente échelonnée dans le temps est accordée à titre rétroactif (cf. <ref-ruling> consid. 2d). L'<ref-law> ne s'applique pas tant qu'un droit à la rente n'est pas ouvert au regard des conditions de l'<ref-law> (arrêt 9C_302/2015 du 18 septembre 2015 consid. 5.1 et les références citées).
Selon l'<ref-law>, l'assuré a droit à une rente si, entre autres exigences, il a présenté une incapacité de travail d'au moins 40 % en moyenne durant une année sans interruption notable (let. b). L'<ref-law> dispose quant à lui que le droit à la rente prend naissance au plus tôt à l'échéance d'une période de six mois à compter de la date à laquelle l'assuré a fait valoir son droit aux prestations. Ces dispositions s'appliquent également en cas de nouvelle demande à la suite d'un refus de prestations; en d'autres termes, lors du dépôt d'une nouvelle demande à la suite d'un premier refus de prestations de l'assurance-invalidité, la naissance du droit à la rente reste subordonnée aux conditions prévues aux art. 28 et 29 LAI (cf. <ref-ruling> consid. 5.3).
4.3. En l'espèce, après que le recourant avait déposé sa quatrième demande de prestations le 18 juillet 2012, le versement d'une éventuelle rente d'invalidité n'aurait pu intervenir que six mois plus tard, soit à compter du 1 er janvier 2013 (art. 29 al. 1 et 3 LAI). Or il ressort des constatations du jugement attaqué, qui lient le Tribunal fédéral, qu'à cette date, le recourant avait recouvré une capacité de travail de 50 % dans son activité antérieure de chauffeur de car et en tous les cas de 100 % dans une activité adaptée (cf. consid. 3.1 supra), de sorte qu'il n'avait pas droit à une rente d'invalidité (<ref-law>; cf. arrêt 9C_677/2012 du 3 juillet 2013 consid. 2.3). A partir du mois de juillet 2013, le recourant avait présenté une nouvelle incapacité de travail jusqu'en octobre 2014, date à partir de laquelle le docteur E._ avait considéré que l'état de santé du recourant s'était stabilisé et qu'une capacité de travail était exigible depuis le 1 er octobre 2014 dans une activité adaptée (cf. rapport du 10 novembre 2014). Il n'y a cependant pas lieu de revenir sur la période comprise entre le mois de juillet 2013 et le 1 er octobre 2014, dès lors que l'intimé a rendu le 17 décembre 2015 une décision de refus de prestations de l'assurance-invalidité en raison de la violation par le recourant de son devoir de collaboration et que cette décision est entrée en force faute d'avoir été attaquée.
Au moment où il a déposé la cinquième demande de rente, le recourant ne percevait aucune prestation de l'assurance-invalidité. Par conséquent, et quoi qu'en dise le recourant, l'<ref-law> ne trouve pas application, puisqu'il concerne les cas d'augmentation de prestations, ce qui suppose qu'une rente ait déjà été allouée. On ne se trouve pas dans le cadre d'une révision de rente, mais dans le cas d'une nouvelle demande faisant suite à une décision précédente de refus de rente (décision du 17 décembre 2015). Il s'agit dès lors de faire application de l'<ref-law>. Dans la mesure où le recourant a déposé sa demande de prestations le 4 avril 2017, le versement d'une éventuelle rente d'invalidité ne pouvait intervenir que six mois plus tard, soit à compter du 1 er octobre 2017 au plus tôt. Au vu des constatations du jugement attaqué, une aggravation de l'état de santé du recourant a été objectivée par IRM le 30 novembre 2016. Depuis cette date, le recourant ne pouvait plus mettre en valeur une quelconque capacité de travail, même dans une activité adaptée. Dès lors que l'incapacité de travail justifiée médicalement a débuté le 30 novembre 2016, le droit à la rente ne pouvait naître qu'au mois de novembre 2017, soit au plus tôt à l'échéance du délai de carence d'une année prévu par l'<ref-law>. A ce moment-là, le recourant présentait toujours une incapacité de travail dans toute activité.
4.4. Par conséquent, en tant qu'ils ont reconnu le droit du recourant à une rente d'invalidité à partir du 1 er novembre 2017 (art. 29 al. 1 et 3 LAI), les premiers juges n'ont pas violé le droit fédéral.
5.
Vu l'issue du litige, les frais afférents à la présente procédure seront supportés par le recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 2 août 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Wirthlin
La Greffière : Fretz Perrin