Faits :
A.
A._, né en 1979, a été mis au bénéfice d'une rente entière de l'assurance-invalidité à partir du 1er décembre 2010, par décision de l'Office AI Canton de Berne (ci-après: l'office AI) du 4 juillet 2012. Dans le cadre d'une procédure de révision de la rente, l'assuré a fait parvenir à l'office AI le questionnaire y relatif, le 11 août 2015, où il indiquait qu'il était en détention préventive à la prison de B._. Par communication du 31 août 2015, l'office AI a maintenu la rente.
Par jugement du 27 mars 2018, la Cour pénale du Tribunal cantonal de la République et canton du Jura a condamné A._ à une peine privative de liberté de huit ans, sous déduction de 542 jours de détention subis avant jugement, peine que le prénommé a commencé à purger par anticipation le 16 août 2016. A l'occasion d'un appel téléphonique du 2 octobre 2018, l'assuré a informé l'office AI qu'il était en détention depuis près de trois ans et qu'il y resterait vraisemblablement encore une année. Interpellé par l'office AI le 26 octobre 2018, le service de l'exécution des peines compétent a confirmé l'incarcération depuis le 16 août 2016 par courrier du 20 novembre 2018. L'office AI a dès lors suspendu la rente à partir du 1er septembre 2016, par décision du 26 novembre 2018 qui n'a pas été contestée. Par décision du 15 mars 2019, l'office AI a demandé à l'assuré la restitution des rentes versées pour la période du 1er septembre 2016 au 30 novembre 2018, portant sur une somme de 59'886 fr.
B.
A._ a déféré la décision du 15 mars 2019 au Tribunal administratif du canton de Berne, Cour des affaires de langue française, qui l'a débouté par jugement du 20 août 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement. A titre principal, il conclut à sa réforme en ce sens qu'il n'est tenu à aucune restitution des prestations qu'il a perçues de l'office AI, subsidiairement à son annulation et au renvoi de la cause à la juridiction cantonale.
L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. L'assuré a maintenu ses conclusions. Par courrier du 28 janvier 2021, l'office AI a informé le Tribunal fédéral que la rente d'invalidité allait à nouveau être versée à A._ dès le 1er octobre 2020.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération.
2.
2.1. Compte tenu des conclusions et motifs du recours, le litige porte uniquement sur la question de savoir si le droit de l'intimé à la restitution des rentes versées du 1er septembre 2016 au 30 novembre 2018 était périmé. Le caractère indu de ces prestations, dont le droit avait été suspendu avec effet rétroactif par la décision passée en force du 26 novembre 2018, n'est pas contesté.
2.2. A la suite des premiers juges, on rappellera que les prestations indûment touchées doivent être restituées (art. 25 al. 1, 1ère phrase, LPGA). Le droit de demander la restitution s'éteint un an après le moment où l'institution d'assurance a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation (art. 25 al. 2, 1ère phrase, LPGA, dans sa teneur en vigueur jusqu'au 31 décembre 2020). Il s'agit de délais (relatif et absolu) de péremption (<ref-ruling> consid. 4.1), qui doivent être examinés d'office. Selon la jurisprudence, par les termes "après le moment où l'institution d'assurance a eu connaissance du fait", il faut comprendre le moment où l'autorité, en faisant preuve de l'attention raisonnablement exigible, aurait dû s'apercevoir que les conditions en vue d'une restitution étaient réunies ou, en d'autres termes, le moment où l'assureur aurait dû se rendre compte du principe, de l'étendue et de l'identité du débiteur de la créance en restitution (<ref-ruling> consid. 2.1). L'administration doit disposer de tous les éléments qui sont décisifs dans le cas concret et dont la connaissance fonde - quant à son principe et à son étendue - la créance en restitution à l'encontre de la personne tenue à restitution (<ref-ruling> consid. 3). Si l'administration dispose d'indices laissant supposer l'existence d'une créance en restitution, mais que les éléments disponibles ne suffisent pas encore à en établir le bien-fondé, elle doit procéder, dans un délai raisonnable, aux investigations nécessaires. A défaut, le début du délai de péremption doit être fixé au moment où elle aurait été en mesure de rendre une décision de restitution si elle avait fait preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. Dans tous les cas, le délai de péremption commence à courir immédiatement s'il s'avère que les prestations en question étaient clairement indues (arrêt 9C_96/2020 du 27 juillet 2020 consid. 2.2 et les références).
2.3. Les constatations de l'autorité judiciaire de première instance sur ce que les parties savaient ou ne savaient pas à un certain moment relèvent d'une question de fait (arrêt 9C_96/2020 précité, consid. 2.3 et la référence), que le Tribunal fédéral examine avec un pouvoir limité (consid. 1 supra).
3.
3.1. La juridiction cantonale a constaté que le recourant n'exécutait pas une peine ou une mesure pénale en août 2015, mais qu'il se trouvait à cette époque en détention préventive (ou provisoire). Elle a considéré que cette situation n'entraînait pas en soi la suspension de la rente, même si la pratique (<ref-ruling> consid. 4.2; arrêt 8C_176/2007 du 25 octobre 2007 consid. 4) et la doctrine (UELI KIESER, ATSG Kommentar, 2020, art. 21 n. 171-173, 190) ne semblent pas unanimes quant à l'interprétation de l'<ref-law> concernant la suspension du paiement des prestations pour perte de gain lors de l'exécution d'une peine ou d'une mesure. Compte tenu de cette controverse, elle a admis qu'on ne pouvait pas imputer une erreur manifeste à l'intimé qui n'avait pas entrepris d'investigations après avoir reçu le questionnaire de révision en août 2015, à défaut d'autres informations émanant notamment du recourant. De plus, selon l'instance précédente, l'expérience montre que l'ouverture d'une procédure pénale et une détention provisoire, dans le cadre d'un accident, ne débouchent pas forcément sur une détention de longue durée qui, pour une personne non invalide, remet en cause la possibilité d'exercer une activité lucrative. En outre, depuis la communication du 31 août 2015 relative au maintien de la rente - moment à partir duquel l'intimé aurait, le cas échéant, commis l'erreur à l'origine des prestations indûment versées -, rien ne permettait de supposer que l'intimé avait reçu de nouveaux renseignements faisant penser à une incarcération prolongée avant l'appel téléphonique du 2 octobre 2018. Cette date marquait ainsi, au plus tôt, le début du délai de péremption au sens de l'art. 25 al. 2 LGPA, de sorte que le droit de l'intimé de demander la restitution n'était pas éteint lorsqu'il avait rendu sa décision du 15 mars 2019.
3.2. Le recourant se prévaut d'une constatation arbitraire des faits et d'une violation de l'<ref-law> par l'instance précédente, en ce qu'elle a fixé la date déterminante au plus tôt au 2 octobre 2018. Il soutient que le recoupement de trois courriers reçus par l'intimé le 21 avril 2015 du Ministère public concerné, le 11 août 2015 de sa part et le 28 août 2015 de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: CNA), aurait indéniablement dû éveiller les soupçons de leur destinataire quant à une éventuelle restitution, puisque la durée de la détention préventive entraînait la suspension du droit à la rente d'invalidité. A son avis, on aurait raisonnablement pu attendre de l'intimé qu'il procédât dans un délai convenable, soit dans le courant de la fin de l'année 2015, à des investigations complémentaires afin d'établir le bien-fondé d'une potentielle demande en restitution. Il en déduit qu'en rendant sa décision le 15 mars 2019, l'intimé n'a pas agi dans le délai relatif de péremption d'une année, de sorte que le droit à la restitution est périmé.
4.
Les demandes du Ministère public jurassien et de la CNA ne faisaient en l'espèce pas mention d'une détention, mais uniquement et respectivement d'une "enquête pénale" et d'un "événement du xx.yy.zzzz", sans autres précisions. Ces deux requêtes ne comprenaient donc aucun indice en relation avec une éventuelle détention de l'assuré et ne justifiaient pas la mise en oeuvre d'investigations par l'intimé sous l'angle de l'<ref-law>.
La seule information concrète transmise à l'intimé en 2015 relative à une incarcération émanait du recourant qui lui avait communiqué, dans le questionnaire du 11 août 2015, qu'il était en détention préventive à la prison de B._. Or, le recourant n'indique pas en quoi le raisonnement de l'autorité précédente, selon lequel l'expérience montre que l'ouverture d'une procédure pénale et une détention provisoire, dans le cadre d'un accident, ne débouchent pas forcément sur une détention de longue durée, serait arbitraire. Il se limite à cet égard à rappeler les principes jurisprudentiels sur les conséquences générales qu'une détention supérieure à trois mois est susceptible d'avoir sur le versement de prestations pour perte de gain (par ex. <ref-ruling> consid. 4.2.4.2), ce qui ne lui est d'aucun secours. De plus, le recourant ne s'en prend pas aux constatations de la juridiction cantonale selon lesquelles, s'il y avait lieu d'admettre une erreur de l'intimé en août 2015, il n'existait aucun indice au dossier permettant d'admettre que l'intimé aurait dû ultérieurement avoir connaissance de l'incarcération prolongée du recourant avant le 2 octobre 2018. Il n'y a dès lors pas lieu de s'écarter de l'appréciation de la juridiction cantonale.
Le recours est mal fondé.
5.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Berne, Cour des affaires de langue française, et à l'Office fédéral des assurances sociales.
Lucerne, le 8 juillet 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud