Faits :
A.
A.a. A._, né en 1972, est au bénéfice d'un certificat fédéral de capacité (CFC) d'ébéniste et d'un CFC d'employé postal. Il travaillait à plein temps auprès de B._ comme collaborateur du service de distribution. Il a été victime le 22 septembre 2006 d'un accident de scooter qui a provoqué une fracture complexe des plateaux tibiaux interne et externe avec impaction du condyle externe à gauche. A._ a repris d'abord une activité au centre de tri puis, moyennant une adaptation de son poste de travail, une activité de facteur à pied à 50 % dès le 5 mai 2008.
Saisi d'une demande de prestations de l'assurance-invalidité le 19 septembre 2007, l'Office AI du canton du Valais (ci-après: l'office AI) a octroyé à A._ une demi-rente de l'assurance-invalidité de septembre à décembre 2007, ainsi qu'une rente entière de janvier à avril 2008 (décisions du 13 mai 2009), confirmées par jugement du Tribunal cantonal du Valais (ci-après: le Tribunal cantonal) du 21 octobre 2010 puis par arrêt du Tribunal fédéral 9C_966/2010 du 29 avril 2011.
A.b. Après que l'assuré a déposé une seconde demande de prestations de l'assurance-invalidité en date du 5 octobre 2012, l'office AI lui a reconnu le droit à un quart de rente de l'assurance-invalidité depuis le 1 er avril 2013 et à une demi-rente d'invalidité à partir du 1 er mai 2013, par décision du 7 octobre 2014 (confirmée par jugement du Tribunal cantonal du 29 mai 2015 puis par arrêt du Tribunal fédéral 9C_484/2015 du 3 février 2016).
A.c. A la suite d'une révision qu'il a initiée en juin 2016, l'office AI a augmenté la rente d'invalidité de l'assuré à trois quarts de rente dès le 1 er novembre 2017 (décisions des 21 septembre et 5 novembre 2018). Ces décisions étaient notamment basées sur les rapports des docteurs C._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur (du 13 janvier 2017), et D._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur (du 15 mars 2018).
A.d. Dans le cadre d'une nouvelle révision initiée en décembre 2018, l'assuré ayant indiqué ne travailler plus qu'à 25 %, l'office AI a versé à son dossier l'expertise réalisée à la demande de l'assurance-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Dans un rapport du 25 février 2019, le docteur E._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, a fait état - sur le plan orthopédique - d'un statut treize ans après fracture bi-tubérositaire (C3) du tibia proximal gauche et fracture-enfoncement du condyle fémoral externe (ostéosynthésée), d'un statut onze ans après tentative d'arthrolyse arthroscopique du genou gauche, en raison d'une arthrofibrose secondaire, d'un statut après ablation du matériel d'ostéosynthèse (AMO) en deux temps (et une deuxième arthrolyse), d'une gonarthrose gauche tri-compartimentale, d'une notion de cervicarthrose C4-7 et des antécédents de hernie discale lombaire (asymptomatique). En tenant compte de la seule atteinte au genou gauche, le médecin a indiqué que la capacité de travail dans un poste exercé debout était au maximum de 25 %, alors qu'elle était de 80 % dans une activité adaptée. L'office AI a encore recueilli l'avis du docteur F._, spécialiste en médecine interne générale et médecin traitant (des 18 mars et 24 juin 2019). Le 30 septembre 2019, le docteur G._, spécialiste en médecine interne générale et médecin auprès du Service médical régional de l'assurance-invalidité (SMR) a retenu que l'assuré pouvait exercer à 25 % son activité habituelle de postier depuis le 22 septembre 2006 et à 80 % (recte 60 %) une activité adaptée aux limitations fonctionnelles décrites depuis le 1 er février 2019. Par décision du 6 novembre 2019, l'office AI a diminué le droit de l'assuré à des prestations de l'assurance-invalidité de trois quarts de rente à une demi-rente dès le 1 er janvier 2020.
B.
L'assuré a déféré la décision du 6 novembre 2019 au Tribunal cantonal et produit notamment l'avis des docteurs D._ (du 28 novembre 2019) et F._ (du 2 décembre 2019). L'office AI a de son côté versé une prise de position du médecin de son SMR (du 16 janvier 2020). Statuant le 27 septembre 2021, le Tribunal cantonal a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre cet arrêt dont il demande l'annulation. Il conclut en substance au maintien d'un trois quarts de rente de l'assurance-invalidité. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente ou à l'office AI pour qu'il soit procédé à une expertise complémentaire par un expert neutre et indépendant.
Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2.
2.1. Le litige porte sur l'étendue du droit du recourant à une rente de l'assurance-invalidité dès le 1 er janvier 2020, ensuite d'une révision (trois quarts de rente ou demi-rente, comme confirmé en instance cantonale). A cet égard, l'arrêt entrepris expose les normes et la jurisprudence applicables, notamment celles relatives à la révision (art. 17 LPGA), à la notion d'invalidité (art. 8 al. 1 LPGA et 4 al. 1 LAI), à l'appréciation des preuves et à la valeur probante des rapports médicaux (ATF 134 V 231 consid. 5.1; 125 V 351 consid. 3). Il suffit d'y renvoyer.
2.2. On ajoutera aux considérations cantonales que lorsque les faits déterminants pour le droit à la rente se sont modifiés au point de faire apparaître un changement important des circonstances économiques motivant une révision, le degré d'invalidité doit être fixé à nouveau sur la base d'un état de fait établi de manière correcte et complète, sans référence à des évaluations antérieures de l'invalidité (ATF 145 V 141 consid. 5.4; 141 V 9 consid. 2.3).
3.
3.1. Invoquant les art. 17 et 61 let. c LPGA, en lien avec une violation de son droit d'être entendu et une constatation incomplète des faits, le recourant reproche à la juridiction cantonale de n'avoir pas ordonné la réalisation d'une nouvelle expertise médicale pluridisciplinaire, comprenant notamment une évaluation de ses capacités fonctionnelles, pour déterminer si les atteintes à sa santé avaient effectivement évolué favorablement depuis 2018. Il fait valoir qu'il cherche en particulier en vain, notamment dans l'avis du médecin du SMR et dans le rapport d'expertise du 25 février 2019, les fondements de l'amélioration de son état de santé. Il soutient que l'avis de la doctoresse D._ du 28 novembre 2019 confirmait par ailleurs la nécessité de mettre en oeuvre une telle expertise pluridisciplinaire, en particulier en ce qui concerne l'impact de sa boiterie sur le reste de son corps.
3.2. Tel qu'invoqué, le grief de violation du droit d'être entendu n'a pas de portée propre par rapport à celui tiré de l'arbitraire dans l'appréciation des preuves (ATF 136 I 229 consid. 5.3 et les références; voir aussi ULRICH MEYER, Tatfrage - Rechtsfrage, in Grenzfälle in der Sozialversicherung, 2015, p. 102). Il sera donc examiné sous cet angle.
4.
4.1. En l'occurrence, l'argumentation du recourant consiste à opposer son appréciation des avis médicaux à celle des premiers juges et à affirmer que des examens complémentaires conduiraient à d'autres résultats. Il n'expose cependant pas en quoi il ne serait pas uniquement discutable ou critiquable, mais insoutenable (sur l'arbitraire, voir ATF 145 IV 154 consid. 1.1 et la référence), de retenir, comme l'a fait la juridiction cantonale, qu'il avait récupéré, en février 2019, la capacité de travail de 60 % dans une activité adaptée dont il disposait avant la rechute annoncée en septembre 2016 (arthroscopie du 25 octobre 2017).
4.2. En tant que le recourant soutient tout d'abord que rien ne permet de retenir une évolution favorable de son état de santé depuis les décisions des 21 septembre 2018 et 5 novembre 2018, il ne saurait être suivi. Dans ces décisions, l'office intimé a annoncé au recourant qu'il allait entreprendre une révision quelques semaines plus tard, compte tenu de l'évolution favorable de sa situation. Il résultait des arrêts de travail délivrés à l'époque par le docteur F._ que le recourant avait en effet repris, après l'opération du 25 octobre 2017, son activité à 40 % de son taux d'occupation dès le 1 er février 2018 (avis des 18 janvier et 22 février 2018). Dans le cadre de la révision, le docteur F._ a ensuite indiqué que le recourant avait présenté une incapacité de travail de 20 % dans son activité de postier du 1 er août au 31 novembre 2018, puis qu'il avait réduit son taux d'occupation à 25 % depuis le 1 er décembre 2018 (avis du 18 mars 2019). L'arrêt de travail consécutif à l'intervention du 25 octobre 2017 a donc pris fin le 1 er décembre 2018. En tenant compte de la seule atteinte au genou gauche, le docteur E._ a pour le surplus confirmé le 1 er février 2019 que l'assuré pouvait travailler dans une activité adaptée à un taux d'occupation de l'ordre de 80 %. Il résulte donc des avis des docteurs F._ et E._ que l'aggravation de l'état du genou gauche du recourant n'a été que passagère, ensuite notamment de l'intervention du 25 octobre 2017 (arthroscopie, arthrolyse et ablation du matériel d'ostéosynthèse).
4.3. En ce qui concerne ensuite les cervicalgies et rachialgies chroniques invoquées par le recourant, la juridiction cantonale a indiqué que les conclusions du docteur E._ - qui avait nié le lien entre la boiterie, très modérée (inégalité de hauteur des membres de l'ordre du centimètre) et les rachialgies - ne pouvaient pas suffire pour établir l'évolution de son état de santé dans sa globalité. Puis, en se fondant sur les conclusions du médecin du SMR du 30 septembre 2019, les premiers juges ont constaté que les douleurs de la colonne vertébrale du recourant étaient peu corrélées par des éléments objectifs et que les troubles dégénératifs débutants à modérés de la colonne cervicale, dorsale et lombaire du recourant étaient communément observés dans la population générale de l'âge du recourant.
Or on cherche en vain dans l'argumentation du recourant en quoi il serait arbitraire de retenir que les cervicalgies sur arthrose/discarthrose, céphalées d'origine cervicogène et tensionnelle (déjà relevées en avril 2016), ainsi que l'arthrose dorsale haute débutante (annoncée pour la première fois en 2019) ne constituaient pas une aggravation spécifique par rapport à la situation déjà connue et investiguée depuis 2014. En tant que le recourant fait valoir que la doctoresse D._ aurait considéré qu'il serait logique qu'une boiterie prolongée puisse avoir un impact sur le dos, il ne reprend que de manière incomplète les indications du médecin, selon lesquelles ni l'influence de la boiterie prolongée sur l'arthrose de la colonne vertébrale ni l'importance de cet impact ne pouvaient être démontrées d'un point de vue médical (rapport du 28 novembre 2011). L'argumentation du recourant ne suffit donc pas pour remettre en cause l'appréciation des premiers juges et ordonner des examens complémentaires ou une expertise sur ce point. Les constatations de la juridiction cantonale ne prêtent par conséquent pas le flanc à la critique, en particulier sous l'angle de l'arbitraire.
4.4. Ensuite des éléments qui précèdent, la juridiction cantonale n'a pas apprécié les moyens de preuve de manière arbitraire en considérant que les avis médicaux versés au dossier étaient suffisants pour retenir - au degré de la vraisemblance prépondérante applicable en matière d'assurances sociales - que le recourant avait récupéré en février 2019 la capacité de travail qui était la sienne avant l'intervention chirurgicale du 25 octobre 2017 (60 % dans une activité adaptée). Dans ces conditions, elle n'a pas violé le droit d'être entendu du recourant en renonçant à ordonner des mesures d'instruction complémentaires.
5.
Mal fondé, le recours est rejeté. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, à l'Office fédéral des assurances sociales et à la Caisse de pensions B._.
Lucerne, le 3 janvier 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker