Faits : A. A.a. A._ travaillait en qualité de charpentier. Souffrant de discopathies L3-L4 et L4-L5 de degré V, il s'est annoncé à l'assurance-invalidité le 3 janvier 2012. Le docteur B._ a attesté que ces discopathies avaient induit une incapacité de travail de 75 % du 1er septembre 2011 au 30 avril 2012, puis de 50 % dès le 1er mai 2012 (rapport du 28 septembre 2012). L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a aussi recueilli les avis des docteurs C._, neurochirurgien (rapport du 27 novembre 2012) et D._, spécialiste en neurologie (rapport d'expertise du 20 décembre 2012), ainsi que celui du docteur E._, médecin au Service médical régional SMR BE/FR/SO (rapport du 9 avril 2013). Pour ces médecins, la situation s'était améliorée et l'assuré pouvait reprendre son activité professionnelle à plein temps dès la fin de l'année 2012. Dans un projet de décision du 25 septembre 2013, l'office AI a annoncé à l'assuré qu'il envisageait de lui allouer une "rente d'invalidité limitée", singulièrement une demi-rente d'invalidité pour la période s'étendant du 1er septembre au 31 décembre 2012, fondée sur un degré d'invalidité de 54 %. L'office AI a précisé que le droit à la rente était éteint dès le 1er janvier 2013 (p. 3), car l'assuré avait recouvré une pleine capacité de travail à ce moment-là. Par décision du 19 novembre 2013, reprenant une motivation identique à celle du projet du 25 septembre 2013, l'office AI a reconnu le droit de l'assuré à une demi-rente d'invalidité ainsi qu'à des rentes complémentaires correspondantes pour enfants. Selon le dispositif de la décision, le droit aux rentes était toutefois constaté non seulement pour la période s'étendant du 1er septembre au 31 décembre 2012, mais également à partir du 1er janvier 2013, les montants des rentes étant spécifiés. A.b. Par décision du 2 septembre 2014 intitulée "demande de restitution", l'office AI a fait savoir à l'assuré qu'il avait constaté, lors d'un contrôle du dossier, qu'il n'avait plus droit à la rente dès le 31 décembre 2012 selon sa décision du 19 novembre 2013. Comme les rentes avaient été versées à tort du 1 er janvier 2013 au 30 septembre 2014, l'office AI en a demandé la restitution à concurrence de 44'205 fr. B. A._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à son annulation. Par jugement du 19 avril 2016, la juridiction cantonale a partiellement admis le recours dans la mesure de sa recevabilité et réformé la décision du 2 septembre 2014 en ce sens que l'assuré est tenu de restituer les rentes perçues de mars 2013 à septembre 2014, soit au total 39'995 fr. C. A._ interjette un recours en matière de droit public contre ce jugement. En substance, il en demande l'annulation ainsi que celle de la décision du 2 septembre 2014. A titre principal, il invite le Tribunal fédéral à dire qu'il ne doit restituer aucun montant à l'office AI. A titre subsidiaire, il conclut au renvoi du dossier à la juridiction cantonale pour nouvelle décision au sens des considérants.