Faits :
A.
Par décisions des 9 novembre et 4 décembre 2015, l'Office cantonal AI du Valais (ci-après: l'office AI) a mis A._ au bénéfice d'une demi-rente d'invalidité du 1 er novembre 2012 au 28 février 2013, puis d'une rente entière dès le 1 er mars 2013.
Au cours d'une procédure de révision, l'office AI a pris les renseignements notamment auprès de la doctoresse B._, spécialiste en cardiologie, en médecine interne et médecin traitant. Par décision du 17 avril 2018, il a supprimé la rente entière avec effet au 31 mai 2018.
B.
A._ a déféré cette décision au Tribunal cantonal du canton du Valais, Cour des assurances sociales, qui l'a débouté par jugement du 9 mars 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il conclut à l'annulation de la décision de l'office AI du 17 avril 2018 et à l'octroi d'une rente entière depuis le 17 janvier 2018. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente ou à l'administration pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le 8 mai 2020, le recourant a déposé en temps utile auprès de la Poste un recours contre le jugement du 9 mars 2020. Son pli lui a été retourné car l'adresse indiquée était erronée. Le 14 mai suivant, il a présenté une demande de restitution du délai de recours et renvoyé son mémoire au Tribunal fédéral. Dès lors que les conditions de l'<ref-law> sont réalisées, il est fait droit à sa requête.
2.
Le recours en matière de droit public (au sens des <ref-law>) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité judiciaire précédente. Il statue sur la base des faits établis par celle-ci (<ref-law>) mais peut rectifier ou compléter d'office les lacunes ou les erreurs manifestes (<ref-law>). Il n'examine en principe que les griefs motivés (<ref-law>), en particulier s'ils concernent la violation des droits fondamentaux (<ref-law>), et ne peut aller au-delà des conclusions des parties (<ref-law>). Le recourant peut critiquer la constatation des faits, qui peuvent exercer une influence sur le sort du litige, uniquement s'ils ont été établis en violation du droit ou d'une façon manifestement inexacte (<ref-law>), notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 190).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 4.1.2 p. 62).
3.
Compte tenu des motifs et des conclusions du recours, le litige porte sur le maintien du droit à la rente entière d'invalidité au-delà du 31 mai 2018, laquelle a été supprimée par voie de révision au sens de l'<ref-law>.
Les premiers juges ont exposé de manière complète les règles applicables en matière de révision du droit à la rente (<ref-law>; <ref-ruling> consid. 5 p. 110). On renverra au surplus à la loi et à la jurisprudence en ce qui concerne le rôle des médecins (<ref-ruling> consid. 4 p. 99 s.), le principe de la libre appréciation des preuves (art. 61 let. c LPGA), la valeur probante des rapports médicaux (<ref-ruling> consid. 2.2.2 p. 126 s.; <ref-ruling> consid. 3 p. 352 ss) et l'appréciation anticipée des preuves (<ref-ruling> consid. 6.3.1 p. 298).
4.
Les juges cantonaux ont comparé la situation qui prévalait en décembre 2015 (époque de la dernière décision reposant sur un examen matériel du droit à la rente et une comparaison des revenus) avec celle qui existait en avril 2018. A la lumière du rapport de la doctoresse B._ du 29 janvier 2018, ils ont constaté que les cervico-brachialgies et les pathologies arthrosiques au niveau des épaules restreignaient toujours le recourant dans les activités lourdes, avec les bras au-dessus de l'horizontale ou encore avec des mouvements répétitifs des bras. Une éventuelle coronaropathie n'entraînait toutefois pas de limitations fonctionnelles supplémentaires.
En revanche, la juridiction cantonale a retenu que l'état de santé psychique, qui avait conduit le Service médical régional (SMR) à retenir une incapacité totale de travail en 2015, avait connu une évolution favorable depuis cette époque, ce qui justifiait de procéder à une nouvelle évaluation de la capacité de travail médico-théorique. En effet, la doctoresse B._ n'avait mentionné aucun problème psychique dans son rapport du 29 janvier 2018, et le Centre de compétences en psychiatrie et psychothérapie à U._ (ci-après: CCPP) avait indiqué que le recourant avait mis un terme à son suivi en juin 2015 (cf. courrier du 26 juillet 2017). A défaut de diagnostic psychiatrique évoqué par le médecin traitant et en l'absence de suivi psychiatrique, la juridiction cantonale a considéré que l'intimé n'avait aucune raison de mettre en oeuvre une expertise psychiatrique pour faire préciser un diagnostic inexistant par de plus amples mesures d'instructions.
5.
5.1. Le recourant reproche aussi bien à l'intimé qu'aux premiers juges d'avoir retenu une amélioration de son état de santé psychique en se fondant uniquement sur les indications de la doctoresse B._. Comme cette dernière n'est pas spécialiste en psychiatrie, il en déduit qu'elle n'était pas compétente pour poser un diagnostic sur la présence ou l'absence d'un état dépressif. A son avis, son droit d'être entendu a été violé, car aucune expertise psychiatrique n'a été mise en oeuvre. Il n'y avait dès lors pas lieu de réviser d'office la rente puisque les conditions de l'<ref-law> n'étaient pas réalisées.
5.2. Tel qu'invoqué par le recourant, le grief de violation du droit d'être entendu n'a pas de portée propre par rapport à celui tiré de l'arbitraire dans l'appréciation des preuves (cf. arrêt 9C_274/2015 du 4 janvier 2016 consid. 4.2.2; voir aussi ULRICH MEYER, Tatfrage - Rechtsfrage, in: Grenzfälle in der Sozialversicherung, 2015, p. 102). Dans son argumentation qu'il y a donc lieu d'examiner sous cet angle, le recourant ne met pas en évidence le caractère arbitraire de l'appréciation anticipée des preuves de la juridiction cantonale. A cet égard, il faut relever à la suite des premiers juges que l'intimé s'était renseigné auprès du CCPP qui avait précisé que le recourant avait cessé son suivi en juin 2015 et consultait la doctoresse B._ (cf. courrier du 26 juillet 2017). D'autre part, le recourant n'avait pas mentionné de problèmes psychiques dans le questionnaire pour la révision de la rente du 20 mars 2017, ni au cours de la procédure administrative, en particulier dans ses observations du 13 mars 2018 consécutives au projet de suppression de la rente du 19 février 2018. Il s'y était uniquement plaint de douleurs dans les bras et la nuque l'empêchant de travailler. Enfin, l'intimé a spécifiquement interpellé la doctoresse B._ sur la question d'une éventuelle atteinte psychiatrique, dont le pronostic avait du reste était qualifié de bon par le docteur C._, psychiatre au SMR en avril 2015. En réponse, le médecin traitant n'a fait état d'aucun diagnostic psychiatrique dans son rapport du 29 janvier 2018; elle n'a décrit que des symptômes physiques et des limitations sur le plan locomoteur.
Il s'ensuit que l'office AI puis les premiers juges étaient en droit de retenir que seule une symptomatologie était déterminante en 2018, de sorte qu'aucune mesure d'instruction n'était nécessaire sur le plan psychiatrique.
Vu ce qui précède, le recours est infondé.
6.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
La demande de restitution du délai de recours est admise.
2.
Le recours est rejeté.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 28 janvier 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud