Faits :
A.
A.a. A._, né en 1971, a travaillé en dernier lieu comme aide-mécanicien et dépanneur jusqu'en automne 2005. Il a été opéré d'une hernie discale L4-L5 en raison d'un syndrome radiculaire L5 gauche le 6 février 2006, puis a déposé une demande de prestations de l'assurance-invalidité le 23 mars 2006. Il a subi une nouvelle intervention chirurgicale le 12 octobre 2007 (fixation transpédiculaire bilatérale L4 à S1, avec cages intersomatiques L4-L5 et L5-S1).
Le 29 novembre 2007, l'Office cantonal AI du Valais (ci-après: l'office AI) a octroyé à A._ une rente entière de l'assurance-invalidité dès le 1 er juillet 2006. En se fondant sur le rapport d'enquête à domicile du 12 septembre 2008, l'office AI a également alloué à l'assuré une allocation pour impotent de degré faible dès le 1 er octobre 2008 (décision du 4 décembre 2008). Par communications des 24 juin 2008 et 10 juin 2011, l'administration a maintenu le droit de l'intéressé à une rente entière de l'assurance-invalidité.
A.b. Initiant une révision, l'office AI a réalisé deux enquêtes à domicile (rapports du 11 mars 2011 et du 30 mai 2012), puis soumis l'assuré à un examen clinique neurochirurgical auprès de son Service médical régional (SMR). Dans un rapport du 17 mars 2014, la doctoresse B._, spécialiste en neurochirugie et médecin SMR, a diagnostiqué - avec répercussion sur la capacité de travail - des lombosciatalgies droites persistantes postopératoires non-déficitaires; l'assuré disposait d'une capacité de travail nulle dans son activité habituelle, mais entière dans une activité adaptée dès le 13 février 2014 (date de l'examen clinique). Le 1 er octobre 2014, l'office AI a supprimé le droit de l'assuré à une rente de l'assurance-invalidité et à une allocation pour impotent dès le 1 er décembre 2014. L'administration a de plus retiré l'effet suspensif à un recours. Par jugement du 26 mai 2015, le Tribunal cantonal du Valais, Cour des assurances sociales (ci-après: le Tribunal cantonal), a partiellement admis les recours formés par l'assuré, annulé les décisions du 1 er octobre 2014 et renvoyé la cause à l'office AI pour complément d'instruction et nouvelle décision.
Déférant à ce jugement, l'office AI a mis en oeuvre une expertise médicale. Dans un rapport du 12 février 2016, les docteurs C._, spécialiste en neurologie, et D._, spécialiste en médecine interne générale et en rhumatologie, ont diagnostiqué - avec effet sur la capacité de travail - des lombalgies chroniques, des micro-discectomie L4-L5 gauche (6 février 2006) pour hernie discale L4-L5 gauche et une spondylodèse avec fixation postérieure de type PLIF L4-S1 (12 octobre 2007); ils ont retenu que l'activité habituelle n'était plus exigible, mais que l'assuré disposait d'une capacité de travail de 100 % dans une activité légère et adaptée, avec une diminution de rendement de 40 %.
Le 11 octobre 2016, l'office AI a annoncé à l'assuré qu'il entendait mettre en oeuvre une expertise psychiatrique, rejetant implicitement la requête de A._ tendant à la réalisation d'une expertise orthopédique. Saisi d'un recours formé par l'assuré contre cette décision, le Tribunal cantonal l'a admis et a chargé l'office AI de mettre en oeuvre une expertise orthopédique et psychiatrique (jugement du 22 mai 2018). Dans un rapport du 24 octobre 2018, le docteur E._, spécialiste en chirurgie orthopédique et traumatologie, a diagnostiqué - avec répercussion sur la capacité de travail - des lombalgies chroniques avec des sciatalgies à droite (non-déficitaires), des cervicalgies chroniques avec des brachialgies à droite (non-déficitaires), une épicondylite du coude droit (main faible) et un syndrome rotulien du genou droit; sur le plan orthopédique, l'assuré disposait d'une pleine capacité de travail dans une activité adaptée. Le 31 octobre 2018, le docteur F._, spécialiste en psychiatrie et psychothérapie, a diagnostiqué - sans effet sur la capacité de travail - un trouble dysthymique et une majoration de symptômes physiques pour des raisons psychologiques. Par décisions séparées du 8 octobre 2019, l'office AI a supprimé le droit de l'assuré à une rente d'invalidité et à une allocation pour impotent avec effet au 1 er décembre 2014.
B.
Statuant le 7 juillet 2021, après avoir joint les causes, le Tribunal cantonal a rejeté les recours formés par l'assuré contre les décisions du 8 octobre 2019.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à ce qu'il "reste" au bénéfice d'une rente entière d'invalidité ainsi que d'une allocation pour impotent de degré faible. Subsidiairement, il demande le renvoi de la cause à l'office AI pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
2.1. Compte tenu des conclusions et motifs du recours, le litige porte sur la suppression par la voie de la révision du droit du recourant à une rente entière de l'assurance-invalidité et à une allocation pour impotent de degré faible à compter du 1 er décembre 2014. A cet égard, le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels applicables aux notions d'invalidité (<ref-law> et 4 LAI) et d'impotence (<ref-law> et 42 LAI), à leur évaluation et aux conditions pour procéder à la révision du droit à des prestations de l'assurance-invalidité (<ref-law>). Il suffit d'y renvoyer.
2.2. A la suite des premiers juges, on rappellera que le point de savoir si le taux d'invalidité du bénéficiaire d'une rente de l'assurance-invalidité subit une modification notable (au sens de l'<ref-law>) doit être tranché en comparant les faits tels qu'ils se présentaient au moment où la dernière décision reposant sur un examen matériel du droit à la rente a été rendue avec les circonstances au moment de la décision de révision (<ref-ruling> consid. 4.1 et la référence).
3.
3.1. La juridiction cantonale a comparé la situation qui prévalait au moment de la décision de l'office AI le 29 novembre 2007, avec celle qui existait lorsque la procédure de révision en cours a été initiée en 2013. Elle a constaté que le droit du recourant à une rente entière de l'assurance-invalidité reposait principalement sur le diagnostic de syndrome lombovertébral sur discopathie avec lyse isthmique L5 droite en novembre 2007. En se fondant sur les conclusions des experts et de la doctoresse B._, la juridiction cantonale a considéré que le recourant avait ensuite récupéré une capacité de travail de 100 % dans une activité adaptée aux limitations fonctionnelles décrites dès 2014, avec une baisse de rendement de 40 %.
En ce qui concerne l'impotence, la juridiction cantonale a constaté qu'il résultait des enquêtes des 11 mars 2011 et du 30 mai 2012 que le recourant avait besoin de l'aide de son épouse pour se vêtir/dévêtir et occasionnellement (lors de blocages de dos) pour se lever du lit le matin. Les docteurs C._ et D._ ont noté qu'il pouvait cependant s'asseoir, se coucher et se lever tout seul. Les premiers juges ont constaté que le recourant avait en outre indiqué, à trois reprises, qu'il n'avait pas besoin d'aide pour se vêtir/dévêtir (questionnaires de révision de rente des 16 janvier 2008, 16 juin 2010 et 5 mars 2013). Le recourant se rendait enfin chaque année à l'étranger en voiture pour voir sa famille pendant deux semaines. Bien qu'il ne ressortait pas clairement du dossier s'il conduisait lui-même la voiture, il était selon la juridiction cantonale singulier que le recourant pût voyager en voiture jusqu'à l'étranger, que ce soit en tant que conducteur ou passager. Aussi, la juridiction cantonale a considéré que l'office AI avait retenu à juste titre que le recourant n'avait plus besoin de l'aide d'autrui pour accomplir les différents actes ordinaires de la vie.
3.2. Invoquant un établissement arbitraire des faits, en lien avec une violation du droit fédéral, le recourant reproche pour l'essentiel à la juridiction cantonale d'avoir suivi les conclusions des expertises médicales et de l'évaluation du médecin du SMR du 17 mars 2014. Il soutient qu'il résulte de l'avis de ses médecins traitants que l'évolution de son état de santé est défavorable et sombre, avec l'apparition ces dernières années de cervicoscapulalgies, de douleurs au coude et d'un syndrome rotulien au genou gauche. Aussi, il apparaîtrait peu probable qu'il puisse exercer une quelconque activité professionnelle alors qu'il est limité dans toutes les activités de la vie quotidienne et qu'il ne peut pas enfiler seul ses chaussettes. Il affirme enfin que la juridiction cantonale a procédé à une comparaison impossible entre l'état de fait existant en 2007, et celui existant en 2014, alors même que le dernier état médical connu remontait à l'avis du 15 juin 2012 du docteur G._, médecin auprès du SMR de l'assurance-invalidité.
4.
4.1. A l'inverse de ce que soutient le recourant, qui se réfère à la situation existant au moment de l'avis du docteur G._ du 15 juin 2012, la base de comparaison déterminante dans le temps pour l'examen d'une modification du degré d'invalidité lors d'une révision de la rente est constituée par la dernière décision entrée en force qui repose sur un examen matériel du droit à la rente (supra consid. 2.2). Les communications de l'office intimé des 24 juin 2008 et 10 juin 2011 ne peuvent pas être prises comme base de comparaison puisqu'elles ne contiennent pas de constatation des faits pertinents, pas d'appréciation des preuves et pas de comparaison des revenus. La juridiction cantonale s'est par conséquent fondée à juste titre sur la situation prévalant au moment de la décision de l'office AI du 29 novembre 2007 pour déterminer la situation initiale.
A cet égard, le recourant rappelle à juste titre que la juridiction cantonale a retenu dans le jugement du 26 mai 2015 que les diagnostics médicaux ayant conduit à la décision de l'office AI du 29 novembre 2007 ne s'imposaient pas de manière claire et indiscutable à la lecture du dossier. Depuis lors, déférant au jugement du 26 mai 2015, l'office intimé a mis en oeuvre plusieurs expertises médicales. Au terme de l'expertise du CEMed du 12 février 2016, la doctoresse D._ a ainsi constaté que l'office AI avait accordé, le 29 novembre 2007, une rente entière de l'assurance-invalidité au recourant en raison d'une volumineuse hernie discale L4-L5 médio-latérale gauche comprimant la racine L5 et au niveau L5-S1 (traitée par microdiscectomie le 6 février 2006) et d'un conflit discoradiculaire au niveau du foramen L4-L5 gauche (d'origine disco-ostéophytaire), sans récidive de hernie discale ni d'autre pathologie intrarachidienne majeure (avec stabilisation postérieure de type PLIF de L4 à S1 le 12 octobre 2017). C'est dès lors sans arbitraire que la juridiction cantonale a retenu qu'en novembre 2007, le recourant présentait une incapacité de travail totale dans toute activité professionnelle en raison de dorsolombalgies, associées à des irradiations des membres inférieurs, et que la situation médicale du recourant, qui venait de subir une intervention chirurgicale, n'était en outre pas encore stabilisée.
4.2. Les premiers juges ont constaté ensuite, de manière à lier le Tribunal fédéral (supra consid. 1), que la situation médicale du recourant s'était améliorée dès 2014 (rapport de la doctoresse B._ du 17 mars 2014). Contrairement à ce que soutient le recourant de manière appellatoire, le docteur E._ a par ailleurs confirmé explicitement les conclusions de la doctoresse B._, relevant que l'on ne pouvait pas justifier une diminution de la capacité de travail dans une activité adaptée aux limitations fonctionnelles sur les plans somatique et structurel, comme le médecin du SMR l'avait expliqué dans son rapport de mars 2014 (rapport d'expertise orthopédique du 24 octobre 2018, p. 10). Quant aux docteurs C._ et D._, ils ont dûment tenu compte dans leur appréciation de la capacité de travail du recourant des lombalgies chroniques suite à deux interventions chirurgicales dont une spondylodèse en 2007, rentrant probablement dans le cadre d'un "failed back surgery syndrome" (expertise du CEMed du 12 février 2016, p. 16). S'ils ont certes précisé que le recourant présentait un important syndrome vertébral lombaire à l'examen clinique qui n'était pas présent lors de l'examen clinique mené par la doctoresse B._ (expertise du CEMed du 12 février 2016, p. 19), ils ont néanmoins confirmé que le recourant pouvait travailler à 100 % dans une activité adaptée, avec une diminution de rendement de l'ordre de 40 % en raison des limitations fonctionnelles ("étant donné le status post-opératoire et les troubles dégénératifs persistants"). Aussi, en retenant une diminution de rendement de 40 % dès 2014, alors que l'important syndrome vertébral lombaire n'est apparu selon les experts du CEMed que plus tard, les premiers juges n'ont manifestement pas apprécié les faits de manière arbitraire.
Pour le surplus, en ce qui concerne les actes ordinaires de la vie, les experts du CEMed ont expressément constaté que le recourant, même s'il avait des difficultés à se pencher en avant, pouvait mettre et enlever ses chaussures tout seul, se laver et s'habiller tout seul, avec lenteur et en protection du dos (expertise du CEMed du 12 février 2016, p. 22). En se limitant à affirmer qu'il ne peut pas mettre ses chaussettes seul ou à renvoyer à l'avis du docteur G._ du 15 juin 2012, qui a noté qu'il n'y avait à l'époque pas d'élément médical objectif pour attester un changement de l'état de santé, le recourant n'établit pas en quoi la juridiction cantonale a suivi de manière arbitraire les conclusions des experts du CEMed. Les premiers juges n'ont enfin pas retenu que le recourant conduisait sa voiture jusqu'à l'étranger, puisqu'ils ont laissé cette hypothèse ouverte. Ils ont en effet simplement relevé que le recourant ne pouvait pas se plaindre de ne pas pouvoir rester assis plus de 10 minutes sur une chaise (expertise du CEMed du 12 février 2016, p. 19) alors qu'il pouvait voyager en voiture jusqu'à l'étranger, que ce soit en tant que conducteur ou passager.
4.3. Ensuite des éléments qui précèdent, mise à part la référence à la divergence d'opinions entre les médecins consultés par le recourant, d'une part, et les nombreux experts qui se sont succédé, d'autre part, le recourant ne fait état d'aucun élément clinique, radiologique ou diagnostique concret et objectif susceptible de mettre en cause les conclusions médicales suivies par les premiers juges, ni de motifs susceptibles d'établir le caractère arbitraire de leur appréciation. Les premiers juges pouvaient en particulier donner sans arbitraire la préférence aux conclusions des experts qui établissaient la mesure de ce qui était raisonnablement exigible de la part du recourant le plus objectivement possible (sur ce point, cf. <ref-ruling> consid. 2.2.2 et la référence). Il n'y a dès lors pas lieu de s'écarter de l'appréciation des premiers juges.
5.
C'est finalement en vain que le recourant reproche à la juridiction cantonale de n'avoir pas opéré un abattement sur son revenu d'invalide. Outre qu'un tel abattement n'est pas automatique, les premiers juges ont considéré, sans excéder leur pouvoir d'appréciation, que les experts avaient déjà tenu compte des limitations fonctionnelles du recourant, en concluant à une diminution de rendement de 40 %, de sorte qu'il n'y avait pas lieu, en sus, d'effectuer un abattement à ce titre (à ce sujet, voir arrêt 8C_93/2013 du 16 avril 2013 consid. 5.4 et les références). Même en tenant compte d'une diminution de rendement de 40 % pour le salaire après invalidité, il résulte une perte de gain de 33 %, taux insuffisant pour avoir droit à une rente d'invalidité. Les premiers juges ont de plus constaté de manière convaincante que le recourant conservait une capacité de travail de 100 % - sous réserve de la diminution de rendement de 40 % - dans des activités simples et répétitives, qui ne requièrent pas d'expérience professionnelle spécifique ou de formation préalable particulière. La simple phase initiale d'adaptation à une nouvelle activité professionnelle ne justifie par conséquent pas la prise en compte d'un abattement. Pour le reste, en tant que les griefs sont suffisamment motivés, l'absence du recourant du marché du travail pendant de nombreuses années ne constitue pas un facteur d'abattement (<ref-ruling> consid. 5b/bb).
6.
Mal fondé, le recours doit être rejeté. Les frais de procédure sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, à l'Office fédéral des assurances sociales et à la Fondation de Prévoyance H._.
Lucerne, le 10 décembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker