Faits : A. A._ a travaillé en dernier lieu en qualité de peintre industriel. En raison des séquelles somatiques de plusieurs accidents, il a bénéficié d'une rente entière de l'assurance-invalidité à partir du 1 er juin 1995, puis d'une demi-rente dès le 1 er décembre 1997. A compter du 1 er août 1999, l'Office cantonal AI du Valais (l'office AI) lui a alloué une rente entière d'invalidité, par décision du 3 novembre 2000, compte tenu d'affections psychiques. Le droit à la rente entière a été maintenu à l'issue de deux procédures de révision (communications des 25 mars 2003 et 27 juillet 2006). A cette dernière occasion, le docteur B._, rhumatologue, a attesté que son patient était totalement incapable de travailler (rapport du 19 avril 2006). Dans le cadre d'une nouvelle procédure de révision initiée en 2010, l'office AI a appris que l'assuré présidait un club de C._ depuis octobre 2007; lors de son audition du 22 mars 2011, A._ a donné des précisions quant à cette activité. Dans un rapport du 29 avril 2011, le docteur D._, médecin au SMR, a estimé que l'état de santé psychique et somatique de l'assuré s'était amélioré depuis la situation qui prévalait en 2006. Il a préconisé la mise en oeuvre d'un examen psychiatrique et rhumatologique pour définir l'état de santé actuel de l'assuré et fixer l'exigibilité. Par décision du 26 mai 2011, confirmée par un jugement du 24 octobre 2011, l'office AI a suspendu le versement de la rente avec effet au 1 er juin 2011 dans l'attente d'une expertise pluridisciplinaire. Le docteur E._, psychiatre, ainsi que le docteur F._, chirurgien orthopédique, ont été mandatés afin de fixer le taux de la capacité de travail de l'assuré. Dans son rapport du 25 juillet 2011, le docteur E._ a attesté que l'assuré présentait un trouble anxieux et dépressif mixte, lequel ne limitait en rien sa capacité de travail. D'un point de vue psychiatrique, l'assuré avait été à même de reprendre une activité professionnelle à plein temps depuis le mois d'avril 2006. De son côté, le docteur F._ a retenu, dans son rapport du 25 juillet 2011, une impotence fonctionnelle partielle du membre supérieur droit, d'origine multifactorielle. Il a confirmé que si l'activité de peintre n'était plus exigible, la capacité de travail était entière dans toute activité adaptée, sans travaux lourds et/ou répétitifs au niveau du membre supérieur droit, sans port de charges de plus de 10 kg et en position alternée; il n'a pas précisé la date à partir de laquelle cette capacité de travail était exigible. Par décision du 31 janvier 2013, qui a fait suite à un projet du 12 juillet 2012, l'office AI a fixé le taux d'invalidité à 15 % et supprimé la rente avec effet rétroactif au 1 er août 2006. L'office AI a retenu que l'assuré ne l'avait pas informé de l'amélioration de son état de santé à compter du mois d'avril 2006. Il a réclamé le remboursement des prestations versées entre le 1 er août 2006 et le 31 mars 2011, soit 76'064 fr. B. A._ a déféré la décision du 31 janvier 2013 au Tribunal cantonal du Valais, Cour des assurances sociales, en concluant à son annulation. L'assuré a requis la suspension de la procédure afin de déposer une expertise somatique ainsi qu'une expertise psychiatrique qu'il entendait diligenter lui-même, lesquelles étaient destinées à prouver ses allégués. Par décision du 22 mai 2013, la juridiction cantonale a suspendu la procédure. Elle a imparti plusieurs délais à l'assuré afin de produire ses expertises, le dernier délai échéant le 6 février 2014. L'échange d'écritures a été clôturé le 2 avril 2014. Par jugement du 2 mai 2014, le Tribunal cantonal a partiellement admis le recours. Il a modifié la décision administrative du 31 janvier 2013 en ce sens que l'assuré a été condamné à rembourser les prestations reçues indûment du 1 er novembre 2007 au 31 mars 2011, soit 56'149 fr. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant à ce que le droit à la rente entière soit maintenu et qu'il ne soit pas tenu de restituer la somme de 56'149 fr. Il produit une expertise de l'Hôpital J._ datée du 20 mai 2014. L'office AI a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.