Faits :
A.
A._, né le 21 septembre 1948, a travaillé en tant qu'employé de magasin auprès de B._ à V._. A ce titre, il a été admis à la Caisse fédérale d'assurance (CFA), puis affilié pour la prévoyance professionnelle obligatoire auprès de la Caisse fédérale de pensions (CFP).
Le 5 février 2001, A._ a conclu avec la Confédération suisse, représentée par la CFA, un contrat de versement anticipé pour l'encouragement à la propriété du logement au moyen de la prévoyance professionnelle, portant sur un montant de 100'000 fr.; le versement est intervenu le 24 février 2001. La réduction des prestations de prévoyance résultant de ce versement figurait dans le contrat.
Conformément à une convention du 19 mai 2010 relative à la retraite anticipée selon le plan social de la Confédération, approuvée le 7 juin 2010, A._ a été mis au bénéfice d'une retraite anticipée au 31 décembre 2010. La Caisse fédérale de pensions Publica (ci-après: Publica), qui avait entre-temps succédé à la CFP, lui a alloué mensuellement une rente de vieillesse selon le plan social de 2'795 fr. 60 dès le 1 er janvier 2011, ainsi que deux rentes pour enfant de 465 fr. 95 chacune et une rente transitoire de 2'320 fr., soit 6'047 fr. 50. En raison de la suppression de la rente transitoire, les prestations se montaient à 3'727 fr. 50 depuis le 1 er octobre 2013.
Le 28 janvier 2015, en raison de son divorce, A._ a demandé à Publica de lui indiquer le montant de la prestation acquise avant son mariage célébré le 20 décembre 2001. Dans ce cadre, Publica lui a fait savoir, le 26 mai 2015, qu'elle avait constaté une erreur dans la prestation de sortie comptabilisée au moment du départ à la retraite, laquelle était de 300'607 fr. 40 au lieu de 443'978 fr. 60, découlant du fait que le versement anticipé de 100'000 fr. n'avait pas été porté correctement au débit du compte de prévoyance. Cette erreur s'était répercutée sur les prestations de vieillesse qui, adaptées dès le 1 er juillet 2015, se montaient à 2'626 fr. 70 par mois, soit une rente de vieillesse de 1'970 fr. et deux rentes pour enfant de 328 fr. 35 chacune. Le trop-perçu entre le 1 er janvier 2011 et le 30 juin 2015, au total 59'443 fr. 20, devait lui être remboursé. L'assuré a invoqué sa bonne foi et contesté son obligation de rembourser.
B.
Le 17 décembre 2015, Publica a saisi le Tribunal cantonal des assurances du canton du Valais d'une demande de remboursement des prestations de vieillesse indûment perçues dirigée contre A._, en concluant à ce que le défendeur fût condamné à lui payer la somme de 59'443 fr. 20 avec intérêts à 2,75 % dès le 17 décembre 2015. A._ a conclu à l'irrecevabilité de la demande, subsidiairement à son rejet.
Par jugement du 18 juillet 2017, la juridiction cantonale a admis la demande et reconnu A._ débiteur de Publica de la somme de 59'443 fr. 20, avec intérêts moratoires au taux de 2,75 % du 17 au 31 décembre 2015, 2,25 % du 1 er janvier au 31 décembre 2016, et 2 % au minimum dès le 1 er janvier 2017.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant au rejet de la demande de Publica du 17 décembre 2015.
Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il fonde par ailleurs son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Le litige porte sur l'obligation du recourant de rembourser à l'intimée un montant de 59'443 fr. 20, augmenté d'intérêts, à titre de rentes indûment perçues entre le 1 er janvier 2011 et le 30 juin 2015.
3.
3.1. Dans un premier grief, le recourant soutient que les prestations de retraite qu'il a perçues résultent de la convention passée en mai 2010 avec la Confédération suisse dans le cadre d'un plan social, et non pas d'un rapport de prévoyance qui le lie à Publica. A son avis, la solution du litige ressortit aux art. 10 et 31 al. 4 et 5 de la loi fédérale du 24 mars 2000 sur le personnel de la Confédération (LPers; RS 172.220.1), à l'art. 105 al. 1 et 2 de l'ordonnance du 3 juillet 2001 sur le personnel de la Confédération (OPers; RS 172.220.111), ainsi qu'aux art. 57 et 64 du règlement, du 3 décembre 2007, de prévoyance pour les personnes employées et les bénéficiaires de rentes de la Caisse de prévoyance de la Confédération (RPEC; RS 172.220.141.1). L'art. 35a LPP ne serait donc pas applicable dans le cas d'espèce, contrairement à l'opinion de la juridiction cantonale qui a admis l'obligation de restituer sur la base de cette disposition légale. Pour le recourant, la convention passée avec la Confédération qui renvoyait aux montants des rentes fixées selon les calculs de Publica à ce moment-là est toujours en force et n'a jamais été invalidée; Publica ne pouvait s'en écarter après coup et l'action en remboursement serait donc infondée.
3.2. Dans un deuxième moyen, pour le cas où l'art. 35a LPP serait néanmoins applicable, le recourant soutient qu'il faudrait admettre que les prestations versées par Publica n'ont pas été indûment touchées. Il rappelle que lors de l'entrée en activité opérationnelle de Publica, le 1 er juin 2003, la Confédération avait pris en charge le découvert technique au 31 mai 2003. L'intégralité de la valeur actualisée de ses prestations acquises auprès de la CFP au 31 mai 2003 avait été transférée sous forme de prestation de libre passage; lors de ce transfert, il n'avait pas été tenu compte de l'erreur alléguée en relation avec le retrait pour l'accession à la propriété. Pour le recourant, la seule prestation qui aurait éventuellement été indûment touchée est la prestation de libre passage versée par l'ancienne CFP le 31 mai 2003 à Publica et c'est elle seule, c'est-à-dire la Confédération, qui pourrait en réclamer le remboursement.
3.3. Le recourant se prévaut aussi de sa bonne foi, singulièrement d'un renseignement erroné qui l'a conduit à prendre des dispositions sur lesquelles il ne peut plus revenir (un départ anticipé à la retraite). A son avis, l'entrée en vigueur de l'art. 35a LPP n'a pas modifié la portée de ce principe général qui reste actuel en prévoyance professionnelle; il se réfère en particulier à l'arrêt 9C_568/2013 du 9 janvier 2014.
3.4. Enfin, le recourant invoque la prescription des prétentions en remboursement (art. 35a al. 2 LPP), car la CFP avait transféré sa prestation de libre passage à Publica en 2003.
4.
4.1. Les rentes qui font l'objet de la demande en restitution n'ont pas été versées par la Confédération, ancien employeur du recourant, mais par la caisse de pensions intimée, cela dans le cadre de la prévoyance professionnelle régie par la LPP et les dispositions réglementaires concernant l'intimée. Contrairement à l'opinion du recourant, le montant de la rente n'a pas été déterminé de manière définitive par la convention du 19 mai 2010, celle-ci précisant que "[p]our les montants définitifs des rentes, seules les directives édictées par les assurances sociales sont applicables en cas de rentes". Aussi, la caisse de pensions intimée était-elle tenue de calculer le montant des rentes selon les dispositions de la LPP et ses règlements, les montants indiqués dans la convention n'étant pas définitifs en ce sens qu'elle ne pouvait pas les modifier en cas d'erreur. Dans la mesure où la caisse de pensions a versé des rentes trop élevées, elle est ainsi fondée à les réclamer, conformément aux règles instaurées par la LPP.
A cet égard, selon l'art. 35a al. 1 LPP, les prestations touchées indûment doivent être restituées. La restitution peut ne pas être demandée lorsque le bénéficiaire était de bonne foi et serait mis dans une situation difficile. D'après l'art. 72 al. 1 RPEC, la personne qui accepte une prestation de Publica à laquelle elle n'a pas droit doit la rembourser avec les intérêts (annexe 1, ch. 4). A teneur de l'art. 72 al. 2 RPEC, Publica peut renoncer partiellement ou totalement au remboursement des prestations en présence de cas de rigueur ou pour des raisons d'économie administrative. La Commission de la caisse définit les modalités dans un règlement sur les cas de rigueur.
4.2. Avec les premiers juges (cf. consid. 3.2 du jugement attaqué), on doit admettre qu'une partie des rentes ont été indûment perçues, c'est-à-dire sans cause juridique valable. En effet, les montants des rentes ont été établis sur des bases erronées, dès lors que le versement anticipé de 100'000 fr. opéré en 2001 dans le cadre de l'acquisition d'un logement, qui aurait dû conduire à une réduction des prestations (cf. art. 30c al. 4 LPP), n'a pas été pris en considération dans le calcul des rentes. Il s'ensuit que la demande en remboursement du 17 décembre 2015 est fondée à juste titre sur les art. 35a al. 1 LPP, première phrase, et 72 al. 1 RPEC, étant précisé qu'il s'agit ici de rétablir une situation conforme au droit, indépendamment de toute faute de l'assuré ou de l'existence d'un éventuel dommage que la caisse de pensions aurait pu subir par l'erreur de comptabilisation des avoirs de libre passage lors de leur transfert en 2003. Dans ce contexte, le financement du plan social dont le recourant avait jadis bénéficié de la part de l'employeur, de même que la capitalisation de Publica au début de son activité opérationnelle en 2003, n'ont aucune incidence sur l'issue du litige. Seul compte le fait - non contesté en tant que tel par le recourant - que le bénéficiaire a reçu des rentes plus élevées auxquelles il avait droit si elles avaient été d'emblée fixées selon un état de fait établi correctement et une application correcte du droit.
Quant au montant fixé au ch. 2 du dispositif du jugement attaqué et aux intérêts moratoires qui s'y rapportent, ils ne sont pas contestés en tant que tels et ne seront donc pas revus par le Tribunal fédéral (cf. consid. 1 supra, en relation avec l'art. 42 al. 2 LTF).
4.3. Le grief tiré de la bonne foi du recourant ne lui est d'aucun secours, dans la mesure où dans le cadre de la restitution de prestations des assurances versées à tort, elle ne joue un rôle que dans une seconde phase, en relation avec la remise de l'obligation de restituer. Selon la jurisprudence rendue sur l'art. 25 LPGA, ou l'art. 47 al. 1 aLAVS, la bonne foi cède le pas sur le principe de la légalité: la restitution intervient dès qu'un versement a été fait sans cause juridique (ATF 122 V 134 consid. 2e p. 139; arrêt 9C_496/2009 du 10 juillet 2009 consid. 3; cf. ULRICH MEYER, Die Rückerstattung von Sozialversicherungsleistungen, in: Ausgewählte Schriften, Thomas Gächter (éd.), 2013, p. 145).
En tout état de cause, l'intimée devra examiner, conformément au consid. 4 du jugement attaqué (p. 15), s'il peut être renoncé à la restitution de tout ou partie du montant de 59'443 fr. 20 perçu à tort du 1 er janvier 2011 au 30 juin 2015, cela aux conditions de l'art. 72 al. 2 RPEC, ainsi que du règlement de Publica concernant les cas de rigueur, en relation avec l'art. 35a al. 1 LPP, seconde phrase.
4.4. Quant au moyen tiré de la prescription quinquennale (art. 35a al. 2 LPP), il est aussi dépourvu de fondement, car le litige porte sur le remboursement de prestations de rentes versées à compter du 1 er janvier 2011. De surcroît, il n'est pas contesté que l'intimée a agi dans l'année où elle a eu connaissance des faits donnant lieu à restitution.
4.5. Il résulte de ce qui précède que le recours est mal fondé en tous points.
5.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 26 janvier 2018
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Berthoud