Faits :
A.
A._ a travaillé en dernier lieu en qualité de peintre industriel. En raison des séquelles somatiques de plusieurs accidents, il a bénéficié d'une rente entière de l'assurance-invalidité à partir du 1 er juin 1995, puis d'une demi-rente dès le 1 er décembre 1997. A compter du 1 er août 1999, l'Office cantonal AI du Valais (l'office AI) lui a alloué une rente entière d'invalidité, par décision du 3 novembre 2000, compte tenu d'affections psychiques. Le droit à la rente entière a été maintenu à l'issue de deux procédures de révision (communications des 25 mars 2003 et 27 juillet 2006). A cette dernière occasion, le docteur B._, rhumatologue, a attesté que son patient était totalement incapable de travailler (rapport du 19 avril 2006).
Dans le cadre d'une nouvelle procédure de révision initiée en 2010, l'office AI a appris que l'assuré présidait un club de C._ depuis octobre 2007; lors de son audition du 22 mars 2011, A._ a donné des précisions quant à cette activité. Dans un rapport du 29 avril 2011, le docteur D._, médecin au SMR, a estimé que l'état de santé psychique et somatique de l'assuré s'était amélioré depuis la situation qui prévalait en 2006. Il a préconisé la mise en oeuvre d'un examen psychiatrique et rhumatologique pour définir l'état de santé actuel de l'assuré et fixer l'exigibilité.
Par décision du 26 mai 2011, confirmée par un jugement du 24 octobre 2011, l'office AI a suspendu le versement de la rente avec effet au 1 er juin 2011 dans l'attente d'une expertise pluridisciplinaire. Le docteur E._, psychiatre, ainsi que le docteur F._, chirurgien orthopédique, ont été mandatés afin de fixer le taux de la capacité de travail de l'assuré. Dans son rapport du 25 juillet 2011, le docteur E._ a attesté que l'assuré présentait un trouble anxieux et dépressif mixte, lequel ne limitait en rien sa capacité de travail. D'un point de vue psychiatrique, l'assuré avait été à même de reprendre une activité professionnelle à plein temps depuis le mois d'avril 2006. De son côté, le docteur F._ a retenu, dans son rapport du 25 juillet 2011, une impotence fonctionnelle partielle du membre supérieur droit, d'origine multifactorielle. Il a confirmé que si l'activité de peintre n'était plus exigible, la capacité de travail était entière dans toute activité adaptée, sans travaux lourds et/ou répétitifs au niveau du membre supérieur droit, sans port de charges de plus de 10 kg et en position alternée; il n'a pas précisé la date à partir de laquelle cette capacité de travail était exigible.
Par décision du 31 janvier 2013, qui a fait suite à un projet du 12 juillet 2012, l'office AI a fixé le taux d'invalidité à 15 % et supprimé la rente avec effet rétroactif au 1 er août 2006. L'office AI a retenu que l'assuré ne l'avait pas informé de l'amélioration de son état de santé à compter du mois d'avril 2006. Il a réclamé le remboursement des prestations versées entre le 1 er août 2006 et le 31 mars 2011, soit 76'064 fr.
B.
A._ a déféré la décision du 31 janvier 2013 au Tribunal cantonal du Valais, Cour des assurances sociales, en concluant à son annulation. L'assuré a requis la suspension de la procédure afin de déposer une expertise somatique ainsi qu'une expertise psychiatrique qu'il entendait diligenter lui-même, lesquelles étaient destinées à prouver ses allégués.
Par décision du 22 mai 2013, la juridiction cantonale a suspendu la procédure. Elle a imparti plusieurs délais à l'assuré afin de produire ses expertises, le dernier délai échéant le 6 février 2014. L'échange d'écritures a été clôturé le 2 avril 2014.
Par jugement du 2 mai 2014, le Tribunal cantonal a partiellement admis le recours. Il a modifié la décision administrative du 31 janvier 2013 en ce sens que l'assuré a été condamné à rembourser les prestations reçues indûment du 1 er novembre 2007 au 31 mars 2011, soit 56'149 fr.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant à ce que le droit à la rente entière soit maintenu et qu'il ne soit pas tenu de restituer la somme de 56'149 fr. Il produit une expertise de l'Hôpital J._ datée du 20 mai 2014.
L'office AI a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte d'une part sur la suppression, par voie de révision (<ref-law>), de la rente d'invalidité à partir du 1 er novembre 2007, d'autre part sur la restitution des prestations à partir de cette date jusqu'au 31 mars 2011.
La décision administrative et le jugement attaqué ont limité la restitution des prestations au 31 mars 2011 au lieu du 31 mai 2011, sans demander la restitution des rentes versées en avril et mai 2011. L'intimé a justifié cette limitation temporelle, dans sa décision du 31 janvier 2013 (p. 8), par le fait que le recourant avait été entendu le 22 mars 2011 afin de clarifier sa situation au sein du club de C._, si bien qu'à partir du mois d'avril 2011, la suppression rétroactive des rentes d'invalidité ne pouvait plus être prononcée en raison d'une violation de l'obligation de renseigner.
2.
Le recourant se prévaut d'une appréciation arbitraire des faits et des preuves (art. 97 al. 1 et 105 al. 2 LTF; art. 9 Cst.). Il reproche à la juridiction cantonale d'être tombée dans l'arbitraire en ayant admis que les avis des docteurs E._ et F._ (cf. rapports du 25 juillet 2011, recueillis dans le cadre de la demande d'expertise de l'office intimé du 1 er juin 2011 destinée à fixer l'étendue de la capacité de travail) revêtaient davantage de valeur probante que ceux du docteur B._ (rapport du 19 avril 2006 établi lors de la révision de rente initiée en 2006) et ceux de M. G._, psychologue au Service psychologique de la Clinique H._ (rapports des 28 mars 2006, 22 avril 2012 et 24 septembre 2013).
En ce qui concerne le volet psychiatrique, le recourant rappelle que le docteur E._ avait estimé, dans son expertise du 25 juillet 2011, qu'il fallait prendre comme point de repère le rapport du docteur B._ du 19 avril 2006. Le recourant soutient que l'intimé ne pouvait se fonder sur ce rapport du docteur B._ ni sur celui de la doctoresse I._, psychiatre et psychothérapeute et médecin-conseil de l'AI, du 22 juin 2006, afin de confirmer le maintien de la rente entière d'invalidité en 2006, puis pour supprimer cette prestation en 2011 avec effet rétroactif à la lumière de l'appréciation divergente du docteur E._. Ce procédé relèverait d'une application arbitraire de l'<ref-law>, puisqu'un avis médical ultérieur divergent serait ainsi pris en compte. Le recourant observe qu'une dépression sévère avait été constatée lors de la première révision de la rente.
A propos du volet somatique, le recourant observe que si le docteur F._ avait attesté une capacité de travail entière dans toute activité adaptée, il n'avait en revanche pas indiqué le moment à partir duquel cette capacité était exigible. Il en déduit que les premiers juges ne pouvaient retenir une pleine capacité dans une activité adaptée à partir de l'année 2006. Aux yeux du recourant, le seul avis probant est celui du docteur B._, qui attestait (en 2006) une totale incapacité de travail. A cet égard, le recourant soutient que la présidence bénévole d'un club de C._ ne saurait être comparée à une activité lucrative légère et adaptée, d'autant que cette activité l'empêchait d'aggraver sa dépression et lui permettait de conserver un certain contact social.
Par ailleurs, le recourant invoque une violation de la maxime d'office (art. 61 let. c LPGA) et une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il fait grief à la juridiction cantonale d'avoir jugé l'affaire sans attendre le dépôt des expertises qu'il avait annoncées, soit celle de l'Hôpital J._ concernant ses troubles somatiques (établie entre-temps le 20 mai 2014 et produite devant le Tribunal fédéral), ainsi que celle du docteur K._ relative à ses troubles psychiques (non encore rédigée).
Le recourant se plaint ensuite d'une violation des art. 16 et 17 LPGA et de la jurisprudence (arrêt 9C_152/2013 du 3 septembre 2013 consid. 3.2.3) concernant la réduction ou la suppression, par voie de révision ou de reconsidération, de rentes versées à des assurés âgés de plus de 55 ans ou qui avaient bénéficié d'une rente depuis plus de quinze ans. Dans son cas, le recourant soutient que des mesures professionnelles auraient préalablement dû être mises en oeuvre.
En dernier lieu, le recourant estime que les conditions d'une restitution de prestations prévues à l'art. 25 LGPA ne sont pas réunies, en l'absence de violation du principe de la bonne foi.
3.
3.1. Lors de son audition du 22 mars 2011, le recourant a reconnu qu'il occupait le poste de président du Club de C._ depuis octobre 2007. Il a précisé que le club n'avait pas de personnel et qu'il gérait la buvette depuis 2007 où il était présent quasiment tous les jours. Le recourant a indiqué qu'il consacrait plus de 40 heures par semaine à cette activité et qu'il n'avait guère de temps pour s'occuper ailleurs. En outre, le recourant a ajouté qu'il ne souhaitait pas renouveler son mandat de président, où à tout le moins ne plus s'occuper de la buvette, car cette activité était stressante et parce qu'il fallait en même temps servir, débarrasser les tables, veiller à ce que les locaux fussent en ordre et propres; il effectuait aussi les paiements des fournisseurs et des locations. De plus, il fallait toujours faire quelque chose ou donner des ordres aux membres.
Dès lors que l'existence d'une activité est admise depuis octobre 2007, il reste à déterminer si les travaux accomplis (voir les indications détaillées du recourant figurant dans le procès-verbal du 22 mars 2011) sont ou non médicalement exigibles (arrêt 9C_58/2013 consid. 3.1). A ce sujet, contrairement à ce que le recourant soutient, il est sans incidence pour le sort du litige que l'activité en cause ait été exercée bénévolement ou qu'elle ait été rémunérée. Pour instruire la question de l'exigibilité (cf. <ref-law>), l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4 p. 261).
3.2. L'activité que le recourant a déployée auprès du club de C._, depuis le mois d'octobre 2007, était tout à fait compatible avec les conclusions qui ressortent des rapports d'expertise des docteurs E._ et F._ du 25 juillet 2011, dans la mesure des limitations fonctionnelles mises en exergue. A cet égard, lors de son audition du 22 mars 2011, le recourant n'a d'ailleurs pas fait état d'un quelconque empêchement dans l'accomplissement de ses travaux habituels au sein du club en raison de son état de santé; il a reconnu qu'il y consacrait au moins 40 heures par semaine, ce qui correspond à un horaire de travail à temps complet. Dans ces conditions, on ne saurait se fonder sur le rapport que le docteur B._ avait rédigé le 19 avril 2006, puisque le recourant a lui-même démontré, par la prise d'une activité exigible à plein temps, que cet avis médical était dépassé en octobre 2007.
Les premiers juges pouvaient ainsi statuer en l'état du dossier sans attendre le dépôt des expertises annoncées par le recourant ou procéder à d'autres investigations, car aucun élément ne permettait de jeter le doute sur les conclusions des docteurs E._ et F._. A propos de l'expertise de l'Hôpital J._ du 20 mai 2014, le recourant allègue uniquement, sans apporter de précision, qu'elle ne concorde pas "sur de nombreux points" avec celle du docteur F._. Ce simple grief, dépourvu de substance, n'est pas de nature à remettre en cause les constatations de fait de l'autorité précédente (<ref-law>).
En procédure fédérale, il incombait au recourant d'exposer en quoi l'appréciation et l'administration des preuves à laquelle la juridiction cantonale a procédé résulteraient d'une violation du droit fédéral (art. 61 let. c LPGA, <ref-law>); il devait aussi établir que les constats de faits (une amélioration notable de la capacité de travail et l'exigibilité d'un travail adapté à ses limitations fonctionnelles) étaient manifestement inexacts (<ref-law>). Il n'y est pas parvenu.
Comme le recourant s'est réadapté par lui-même et qu'il a pu exercer une activité adaptée durant plusieurs années à plein temps, l'arrêt 9C_152/2013 (consid. 3.2.3) qu'il invoque ne lui est d'aucun secours. C'est ainsi à bon droit que l'intimé a révisé la rente d'invalidité, conformément à l'<ref-law>.
3.3. L'évaluation de l'invalidité et le degré d'invalidité retenu (15 %) ne sont ni contestés en tant que tels ni sujets à discussion.
Dès lors que le recourant n'a pas respecté son obligation d'annoncer (cf. <ref-law> et 77 RAI), s'agissant en particulier de l'activité qu'il a reconnu avoir déployée à plein temps depuis octobre 2007 auprès du Club de C._ (cf. déclarations du 22 mars 2011), le moment auquel la suppression de la rente prend effet est régi par l'art. 88 bis al. 2 let. b RAI, à savoir le 1 er novembre 2007 au plus tard. La question de savoir si le droit à la rente pouvait être supprimé avant cette date peut rester ouverte car, comme on le verra ci-après, le droit de demander la restitution des prestations déjà versées est de toute façon périmé.
4.
4.1. Le droit de demander la restitution s'éteint un an après le moment où l'institution d'assurance a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation (art. 25 al. 2, première phrase, LPGA). Il s'agit de délais (relatif et absolu) de péremption qui doivent être examinés d'office (<ref-ruling> consid. 4.1 p. 582; <ref-ruling> consid. 3a p. 433), d'autant plus lorsque ces questions de droit matériel jouent en faveur de l'assuré (cf. arrêt 2C_180/2013 du 5 novembre 2013 consid. 5.2, citant <ref-ruling> consid. 3.2 p. 171).
Selon la jurisprudence, le délai de péremption relatif d'une année commence à courir dès le moment où l'administration aurait dû connaître les faits fondant l'obligation de restituer, en faisant preuve de l'attention que l'on pouvait raisonnablement exiger d'elle (<ref-ruling> consid. 5a p. 274 s.). L'administration doit disposer de tous les éléments qui sont décisifs dans le cas concret et dont la connaissance fonde - quant à son principe et à son étendue - la créance en restitution à l'encontre de la personne tenue à restitution (<ref-ruling> consid. 3 p. 17). Si l'administration dispose d'indices laissant supposer l'existence d'une créance en restitution, mais que les éléments disponibles ne suffisent pas encore à en établir le bien-fondé, elle doit procéder, dans un délai raisonnable, aux investigations nécessaires. A défaut, le début du délai de péremption doit être fixé au moment où elle aurait été en mesure de rendre une décision de restitution si elle avait fait preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. Dans tous les cas, le délai de péremption commence à courir immédiatement s'il s'avère que les prestations en question étaient clairement indues (arrêt 8C_695/2013 du 17 juin 2014 consid. 2.2 et les références).
4.2. Lors de l'audition du 22 mars 2011, l'intimé a appris que le recourant avait repris une activité. Il a d'ailleurs suspendu le versement de la rente le 26 mai 2011 pour ce motif.
En ne rendant formellement sa décision de restitution que le 31 janvier 2013, l'intimé a agi tardivement, alors que son droit était périmé (<ref-law>, première phrase), ce qu'il sied de constater d'office. Il est dès lors superflu d'examiner les autres conditions de la restitution, puisque le droit de la demander était périmé.
5.
Vu ce qui précède, la rente doit être supprimée avec effet rétroactif au 1 er novembre 2007 au plus tard (cf. consid. 3.3 ci-dessus). Le droit de demander la restitution des prestations indûment versées après cette date est néanmoins périmé à compter du 1 er juin 2011. Le paiement des prestations AI ayant été de toute façon suspendu avec effet au 1 er juin 2011, l'office intimé n'avait pas à demander leur restitution. Le recours doit donc être partiellement admis et le chiffre 1 du dispositif du jugement attaqué du 2 mai 2014 réformé en ce sens que la rente d'invalidité du recourant est supprimée à compter du 1 er novembre 2007 et que le droit à la restitution est périmé.
6.
Les frais de la procédure seront répartis par moitié entre les parties (<ref-law>).
L'intimé versera une indemnité réduite de dépens au recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis et le chiffre 1 du dispositif du jugement du Tribunal cantonal du Valais, Cour des assurances sociales, du 2 mai 2014, est réformé comme suit: "1. Le recours est partiellement admis et la décision du 31 janvier 2013 de l'Office cantonal AI du Valais est modifiée en ce sens que la rente AI est supprimée avec effet rétroactif au 1 er novembre 2007 et que le droit à la restitution des prestations versées avant le 1 er juin 2011 est périmé".
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge des parties, à parts égales.
3.
L'intimé versera une indemnité de dépens de 1'000 fr. au recourant pour la procédure fédérale.
4.
Le Tribunal cantonal valaisan, Cour des assurances sociales, statuera à nouveau sur les frais et dépens de la procédure de recours de première instance, vu l'issue du litige.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 17 novembre 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Kernen
Le Greffier : Berthoud