Faits :
A.
A.a. A._ travaillait en qualité de charpentier. Souffrant de discopathies L3-L4 et L4-L5 de degré V, il s'est annoncé à l'assurance-invalidité le 3 janvier 2012.
Le docteur B._ a attesté que ces discopathies avaient induit une incapacité de travail de 75 % du 1er septembre 2011 au 30 avril 2012, puis de 50 % dès le 1er mai 2012 (rapport du 28 septembre 2012). L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a aussi recueilli les avis des docteurs C._, neurochirurgien (rapport du 27 novembre 2012) et D._, spécialiste en neurologie (rapport d'expertise du 20 décembre 2012), ainsi que celui du docteur E._, médecin au Service médical régional SMR BE/FR/SO (rapport du 9 avril 2013). Pour ces médecins, la situation s'était améliorée et l'assuré pouvait reprendre son activité professionnelle à plein temps dès la fin de l'année 2012.
Dans un projet de décision du 25 septembre 2013, l'office AI a annoncé à l'assuré qu'il envisageait de lui allouer une "rente d'invalidité limitée", singulièrement une demi-rente d'invalidité pour la période s'étendant du 1er septembre au 31 décembre 2012, fondée sur un degré d'invalidité de 54 %. L'office AI a précisé que le droit à la rente était éteint dès le 1er janvier 2013 (p. 3), car l'assuré avait recouvré une pleine capacité de travail à ce moment-là.
Par décision du 19 novembre 2013, reprenant une motivation identique à celle du projet du 25 septembre 2013, l'office AI a reconnu le droit de l'assuré à une demi-rente d'invalidité ainsi qu'à des rentes complémentaires correspondantes pour enfants. Selon le dispositif de la décision, le droit aux rentes était toutefois constaté non seulement pour la période s'étendant du 1er septembre au 31 décembre 2012, mais également à partir du 1er janvier 2013, les montants des rentes étant spécifiés.
A.b. Par décision du 2 septembre 2014 intitulée "demande de restitution", l'office AI a fait savoir à l'assuré qu'il avait constaté, lors d'un contrôle du dossier, qu'il n'avait plus droit à la rente dès le 31 décembre 2012 selon sa décision du 19 novembre 2013. Comme les rentes avaient été versées à tort du 1 er janvier 2013 au 30 septembre 2014, l'office AI en a demandé la restitution à concurrence de 44'205 fr.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à son annulation.
Par jugement du 19 avril 2016, la juridiction cantonale a partiellement admis le recours dans la mesure de sa recevabilité et réformé la décision du 2 septembre 2014 en ce sens que l'assuré est tenu de restituer les rentes perçues de mars 2013 à septembre 2014, soit au total 39'995 fr.
C.
A._ interjette un recours en matière de droit public contre ce jugement. En substance, il en demande l'annulation ainsi que celle de la décision du 2 septembre 2014. A titre principal, il invite le Tribunal fédéral à dire qu'il ne doit restituer aucun montant à l'office AI. A titre subsidiaire, il conclut au renvoi du dossier à la juridiction cantonale pour nouvelle décision au sens des considérants.

Considérant en droit :
1.
Le recours peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (art. 95 let. a LTF) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF).
2.
Le litige porte sur la restitution des prestations que le recourant a perçues de mars 2013 à septembre 2014. A cet égard, le jugement entrepris expose de manière complète les règles applicables; il suffit d'y renvoyer.
3.
3.1. Selon les premiers juges, l'intimé avait à juste titre procédé à une reconsidération de sa décision initiale du 19 novembre 2013, au sens de l'art. 53 al. 2 LPGA. Ils ont confirmé la décision du 2 septembre 2014 pour l'essentiel (à l'exception de la restitution des prestations afférentes aux mois de janvier et février 2013, car les rentes étaient acquises au recourant en vertu de l'art. 88a RAI). Ils ont considéré qu'au moment où la décision du 19 novembre 2013 avait été rendue, la situation médicale était claire et que la capacité de travail du recourant était reconnue comme entière dans son ancienne activité dès décembre 2012 au plus tard. Pour la juridiction cantonale qui s'est fondée sur les conclusions des docteurs C._ (rapport du 27 novembre 2012) et D._ (rapport d'expertise du 20 décembre 2012), ainsi que sur l'avis du docteur E._ (rapport du 9 avril 2013), il n'était pas litigieux que le recourant possédait une capacité de travail restreinte, totalement ou partiellement, entre septembre 2011 et novembre 2012, mais que par la suite son état de santé n'engendrait plus d'incapacité de travail dans le cadre de l'exercice de l'activité de charpentier. A cet égard, elle a constaté que le recourant avait repris son activité lucrative à plein temps en janvier 2013.
Le tribunal cantonal a encore constaté que le projet de décision 25 septembre 2013, à teneur duquel l'intimé reconnaissait le droit du recourant à une demi-rente jusqu'à fin décembre 2012 n'avait fait l'objet d'aucune critique de la part de l'intéressé. Comme la situation juridique qui prévalait en décembre 2012 ne justifiait en aucun cas le dispositif de la décision du 19 novembre 2013, c'est-à-dire la poursuite du versement de la rente pour une durée indéterminée, cette décision était manifestement erronée. Sa rectification revêtait indiscutablement une importance notable.
3.2. Le recourant se prévaut d'une violation de l'interdiction de l'appréciation arbitraire des faits (art. 9 Cst.) et d'une violation de l'art. 53 al. 2 LGPA. En se référant aux salaires perçus au cours de l'année 2013 et durant le mois d'août 2014, il soutient que son "état de santé continuait à déployer des effets pernicieux sur sa capacité de gain au moins durant toute l'année 2013". Le recourant allègue que la juridiction cantonale s'est fondée sur des données médicales qui n'étaient plus tout à fait actuelles. Il précise qu'il n'était pas obligé de faire valoir ses droits dans la procédure de préavis (cf. art. 73ter al. 1 RAI), mais qu'il en avait uniquement la faculté. De plus, en l'absence d'une irrégularité manifeste, il est d'avis que les conditions d'une reconsidération n'étaient pas réalisées; une analyse correcte du dossier devrait aboutir au maintien du droit à la demi-rente, à tout le moins durant l'année 2013.
4.
4.1. Ainsi que le recourant le fait observer à juste titre, il n'avait aucune obligation, à compter de la réception du préavis du 25 septembre 2013, de contester la manière dont l'intimée entendait statuer sur sa demande de prestations du 3 janvier 2012. L'art. 73ter al. 1 RAI consacre une faculté dont l'assuré est libre d'user, étant précisé qu'une absence de réaction ne saurait valoir acquiescement de sa part au mode de règlement proposé par l'administration (cf. <ref-ruling> consid. 3.4.1 p. 120).
Le recourant ne saurait cependant rien en tirer pour contester utilement l'appréciation du Tribunal cantonal quant au caractère manifestement erroné de la décision du 19 novembre 2013, car cette autorité s'est fondée sur d'autres éléments pour examiner les conditions de l'art. 53 al. 2 LPGA. En effet, les premiers juges se sont référés aux rapports des docteurs C._ et D._ qui avaient attesté que le traitement conservateur (gymnastique de tonification lombaire et abdominale) permettait au recourant de reprendre son activité professionnelle à plein temps en janvier 2013 et que sa capacité de travail était à nouveau entière dès décembre 2012. Le docteur D._ avait certes recommandé d'éviter le port de charges supérieures à 25 kg, mais son confrère C._ avait indiqué que le recourant disposait dans son entreprise des moyens pour se décharger des travaux les plus lourds.
Or le recourant ne discute pas le contenu des trois rapports médicaux retenus par les premiers juges, singulièrement l'appréciation de l'étendue de sa capacité de travail. C'est en vain qu'il fait valoir que sa cause aurait été jugée à la lumière d'avis médicaux dépassés au moment du prononcé de la décision du 19 novembre 2013, car il ne ressort pas du dossier à disposition de l'office AI que sa situation avait évolué défavorablement jusqu'en novembre 2013, étant précisé qu'il aurait été tenu, en vertu de son devoir de collaborer (cf. <ref-ruling> consid. 6.2 p. 405), de signaler une aggravation de son état de santé. A l'époque, l'élément déterminant résidait dans la capacité de travail exigible d'un point de vue médical, attestée dans l'exercice de sa profession. A cet égard, le certificat de salaire afférent à l'année 2013 et le décompte de salaire du mois d'août 2014, produits avec le recours cantonal et invoqués derechef en procédure fédérale, ne constituent pas des moyens propres à démontrer ou à rendre vraisemblable que les discopathies diagnostiquées empêchaient l'assuré de mettre entièrement à profit sa capacité de travail, au moins durant l'année 2013.
4.2. Vu ce qui précède, le recourant ne démontre pas que les constatations de fait de l'autorité précédente seraient manifestement inexactes. Dès lors que le recourant disposait à nouveau d'une pleine capacité de travail dans sa profession de charpentier en décembre 2012, le Tribunal cantonal était en droit de retenir que la décision du 19 novembre 2013 était manifestement erronée.
Enfin, en ce qui concerne la motivation subsidiaire du recours, les observations du recourant relatives à la responsabilité personnelle des employés de l'office intimé, en raison des carences qu'il leur impute dans le traitement de son dossier, sont dépourvues de pertinence pour l'issue du présent litige et étrangères aux conditions de restitution au sens de l'art. 25 LPGA.
5.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 novembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud