Faits :
A.
A._, né en 1966, a été victime d'un accident de la circulation, à l'âge de 4 1/2 ans, qui a provoqué un traumatisme crânio-cérébral avec coma, un hémisyndrome moteur gauche, une paralysie totale du plexus brachial gauche avec luxation sternoclaviculaire gauche et une fracture de la 1ère côte gauche. En raison des séquelles de cet accident, il a bénéficié d'une rente entière de l'assurance-invalidité depuis le 1er novembre 1992, ainsi que d'une allocation pour impotent de degré faible dès le 1er décembre 1987, puis de degré moyen depuis le 1er juillet 1992. Par décision du 9 mars 2000, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) lui a reconnu le droit à une allocation pour impotence grave depuis le 1er mars 1998.
Le 7 décembre 2016, l'assuré a déposé une demande de contribution d'assistance. L'office AI a mis en oeuvre une enquête à domicile (rapport de l'enquêteur B._ du 12 décembre 2017) ainsi qu'un examen neuropsychologique auprès du Centre C._ (rapport de la neuropsychologue D._ du 5 janvier 2019).
Par décision du 29 mars 2019, l'office AI a supprimé l'allocation pour impotent dès la fin du mois suivant la notification de la décision. Par une autre décision du même jour, l'administration a refusé l'octroi d'une contribution d'assistance.
B.
A._ a déféré ces décisions au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, qui l'a débouté par arrêt du 9 septembre 2020.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont il demande l'annulation. Il conclut en substance au renvoi de la cause à l'office AI pour qu'il complète l'instruction par "des expertises adéquates et une visite domiciliaire consciencieuse". Subsidiairement, il requiert que l'allocation pour impotence grave continue de lui être versée jusqu'à ce que les expertises et visites domiciliaires dont il requiert la mise en oeuvre soient réalisées.
Par ordonnance du 19 janvier 2021, la IIe Cour de droit social du Tribunal fédéral a rejeté la requête de mesures provisionnelles.
Par écriture du 16 février 2021, A._ s'exprime à nouveau. Il renonce à demander une contribution d'assistance.
Considérant en droit :
1.
Déposée après le délai de recours, l'écriture du 16 février 2021 par laquelle l'assuré complète son recours ne peut pas être prise en considération. La possibilité de déposer un mémoire complémentaire - en dehors du cadre de la réplique - n'est en effet prévue qu'en matière d'entraide pénale internationale (art. 43 LTF).
En revanche, la réduction des conclusions est admissible à tout stade de la procédure devant le Tribunal fédéral (arrêt 4A_613/2018 du 17 janvier 2020 consid. 1.1 et les références), de sorte qu'il y a lieu de prendre acte que le recourant renonce à contester le refus de la contribution d'assistance de l'assurance-invalidité.
Enfin, le recourant a déposé avec son recours des pièces nouvelles qui n'ont pas à être prises en considération, des moyens de preuve nouveaux ne pouvant être présentés qu'aux conditions de l'art. 99 al. 1 LTF.
2.
Le recours en matière de droit public (au sens des art. 82 ss LTF) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité judiciaire précédente. Il statue sur la base des faits établis par celle-ci (art. 105 al. 1 LTF) mais peut rectifier ou compléter d'office les lacunes ou les erreurs manifestes (art. 105 al. 2 LTF). Il n'examine en principe que les griefs motivés (art. 42 al. 2 LTF), en particulier s'ils concernent la violation des droits fondamentaux (art. 106 al. 2 LTF), et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant peut critiquer la constatation des faits, qui peuvent exercer une influence sur le sort du litige, uniquement s'ils ont été établis en violation du droit ou d'une façon manifestement inexacte (art. 97 al. 1 LTF), notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 145 V 188 consid. 2).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (ATF 137 I 58 consid. 4.1.2).
3.
Compte tenu des motifs et des conclusions du recours, le litige porte sur le maintien du droit à l'allocation pour impotent (art. 42 LAI, art. 37 RAI), laquelle a été supprimée par l'intimé, par la voie de la révision au sens de l'art. 17 al. 2 LPGA, cette suppression ayant été confirmée par la juridiction cantonale.
Les premiers juges ont exposé de manière complète les règles applicables en l'espèce, notamment celles sur le droit à une allocation pour impotent (art. 42 LAI, 37 et 38 RAI), celles en matière de révision du droit à des prestations durables, à l'instar d'une allocation pour impotent (art. 17 al. 2 LPGA), ainsi que la jurisprudence sur la valeur probante d'un rapport d'enquête domiciliaire (ATF 140 V 543 consid. 3.2.1 et les références).
4.
Les premiers juges ont comparé la situation qui prévalait au moment de la décision d'octroi de l'allocation pour impotent de degré grave, le 9 mars 2000, avec celle qui se présentait au moment de la décision de suppression du 29 mars 2019. Ils ont mis en évidence que les constatations faites lors de la visite domiciliaire (cf. rapport du 12 décembre 2017) étaient corroborées par les conclusions de l'expertise neuropsychologique (cf. rapport du 5 janvier 2019), selon lesquelles le recourant parvient désormais à effectuer seul et sans surveillance les actes ordinaires de la vie quotidienne, au prix d'une certaine lenteur. Ils ont constaté que nonobstant l'apparition de problèmes respiratoires, le recourant avait, par la force des choses, réussi à se passer de l'aide quotidienne de ses proches, puisqu'il vivait seul depuis le décès de son père en février 2016. Ils ont retenu que les problèmes et difficultés rencontrés par le recourant notamment dans la gestion de ses affaires administratives ou de son ménage constituaient des éléments qui ne faisaient pas partie des actes ordinaires de la vie susceptibles de justifier une allocation pour impotent.
Quant au besoin d'un accompagnement pour faire face aux nécessités de la vie (art. 38 RAI), les juges cantonaux l'ont exclu compte tenu des constatations figurant dans le rapport d'enquête domiciliaire. En particulier, ils ont relevé que le recourant pouvait communiquer sans aide, qu'il disposait d'une vie sociale et était en mesure de se déplacer aisément, alors que le risque d'isolement n'était pas avéré. Dès lors, les conditions d'une allocation pour impotent n'étaient plus justifiées.
5.
5.1. Le recourant reproche d'abord à son précédent mandataire de lui avoir communiqué tardivement l'arrêt du 9 septembre 2020, soit seulement 12 jours avant l'échéance du délai de recours, ce qui constituerait un vice de procédure justifiant "si besoin est" que lui soit accordé un nouveau délai de recours.
L'irrégularité invoquée - dût-elle être avérée - n'a pas eu d'incidence sur la possibilité d'agir du recourant, puisqu'il a été en mesure de rédiger et déposer en temps utile un recours qui satisfait aux exigences légales (art. 42 al. 1 et 2 LTF).
5.2. Le recourant se plaint ensuite du déroulement de l'enquête à domicile. Il soutient que l'intimé aurait dû demander à sa soeur, propriétaire de la maison familiale dans laquelle il habite, d'être présente lors de la visite des enquêteurs. A défaut, il s'est retrouvé seul face à deux fonctionnaires masculins de l'office intimé, dont il présume qu'ils ne connaissaient rien à la gestion des tâches ménagères.
Cette argumentation n'est pas pertinente. D'une part, le recourant invoque en vain une violation de la protection de la sphère privée de sa soeur (art. 13 al. 1 Cst.), dès lors que c'est lui seul qui est domicilié dans la maison familiale. D'autre part, le grief relatif aux compétences professionnelles de l'enquêteur et du collaborateur de l'office AI qui l'avait accompagné relève d'un simple parti pris à leur encontre, mais ne porte aucunement sur les critères objectifs posés par la jurisprudence (cf. ATF 140 V 543 consid. 3.2.1) qui ne sont pas abordés. Les premiers juges pouvaient donc se fonder sur les conclusions retenues dans le rapport d'enquête du 12 décembre 2017, aucun élément concret ne permettant de remettre en cause sa validité.
5.3. Le recourant reproche ensuite à l'intimé d'avoir violé les règles de la bonne foi à son égard, car la qualité d'impotent qui lui avait été reconnue durant de très nombreuses années ne l'a subitement plus été, quand bien même son état de santé s'était aggravé.
Par ce grief, le recourant semble plutôt invoquer une violation de l'art. 17 al. 2 LGPA. L'argumentation qu'il développe à ce sujet en énumérant les atteintes à la santé dont il souffre ne lui est toutefois d'aucun secours. En effet, en ce qui concerne le besoin d'aide de la part de tiers pour accomplir les actes ordinaires de la vie, le besoin d'un accompagnement pour faire face aux nécessités de la vie, le besoin d'une surveillance personnelle et de soins continus (cf. art. 37 et 38 RAI), le recourant oppose sa propre appréciation de la situation pour évaluer l'impotence à celle des premiers juges, sans dire en quoi ceux-ci auraient administré et apprécié les preuves, puis établi les faits déterminants de manière arbitraire (cf. art. 97 al. 1 LTF). En particulier, il n'expose pas en quoi les constatations de l'instance précédente seraient manifestement erronées, en tant qu'elle a admis qu'il avait réussi à se passer de l'aide quotidienne de ses proches, vivant seul depuis février 2016. Du rapport d'enquête domiciliaire du 12 décembre 2017, il ressort en effet que le recourant est en mesure d'accomplir seul les actes ordinaires de la vie, certes parfois avec lenteur, mais en tout cas dans une mesure qui ne justifie plus le maintien de l'allocation pour impotent. Ces conclusions été corroborées par le rapport d'expertise neuropsychologique du 5 janvier 2019, selon lequel le recourant nécessitait seulement l'aide ponctuelle de sa soeur pour certains soins du corps et la préparation de repas élaborés. Quant aux difficultés observées dans la tenue du ménage, elles n'entrent pas en considération au titre des actes ordinaires de la vie dont il faut tenir compte pour évaluer l'impotence. De plus, en tant qu'il se limite à invoquer le "chaos total" régnant dans son habitat, le recourant ne remet pas sérieusement en cause les constatations de la juridiction cantonale sur l'absence de besoin d'un accompagnement pour faire face aux nécessités de la vie.
5.4. Le recourant évoque aussi la question du règlement des suites civiles de l'accident dont il a été victime en 1971.
Ce point n'a toutefois pas de lien avec le présent litige, qui porte exclusivement sur le droit à une allocation pour impotent, et n'a donc pas d'incidence sur le règlement de celui-ci.
5.5. Ensuite de ce qui précède et au regard des pièces du dossier qui ont permis aux premiers juges de statuer sans arbitraire sur la prétention du recourant, les conclusions tendant à un complément d'instruction ne sont pas fondées.
6.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud