Faits :
A.
A.a. Par décisions des 29 septembre et 27 octobre 2003, l'Office de l'assurance-invalidité pour le canton de Vaud (l'OAI-VD) a alloué à A._ une rente entière d'invalidité fondée sur un taux d'invalidité de 70 %, à compter du 1 er mai 1998. Dans ces décisions, l'assuré était expressément rendu attentif à son obligation d'informer, singulièrement d'annoncer immédiatement à l'OAI-VD un séjour à l'étranger excédant trois mois ou un transfert du domicile à l'étranger. L'OAI-VD a également alloué deux rentes ordinaires pour les enfants de l'assuré par décisions du 13 octobre 2003.
L'assuré est parti sans laisser d'adresse et le compte bancaire sur lequel la rente d'invalidité était versée a été clôturé. Par trois décisions du 29 octobre 2004, l'OAI-VD a supprimé la rente d'invalidité ainsi que les deux rentes pour enfants avec effet au 31 octobre 2004, au motif que le domicile de A._ était inconnu.
A.b. Par lettre du 28 août 2011, mentionnant l'adresse de la Prison B._ à C._, A._ a demandé des informations sur l'état de son dossier. L'OAI-VD lui a répondu, par écriture du 2 septembre 2011, qu'il était clôturé depuis fin 2004.
Le 18 septembre 2011, A._ a requis de l'OAI-VD qu'il lui verse rétroactivement ses rentes pour les années 2004 à 2010. Le 31 octobre 2011, il a déposé une nouvelle demande de rente, indiquant que son domicile légal se trouvait au Portugal. L'OAI-VD a transmis la demande à l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (l'OAI-E).
L'OAI-E est entré en matière sur les demandes et a procédé à la reconsidération de la suppression de la rente concernant l'assuré. Il a confirmé la suppression par décision du 11 septembre 2013, au motif que le domicile de l'assuré était inconnu et que le compte bancaire indiqué pour le versement de la rente avait été clôturé. Simultanément, l'OAI-E a reconnu le droit de A._ à une rente entière d'invalidité à compter du 1 er avril 2012, soit six mois après le dépôt de la demande; l'administration a toutefois suspendu le versement de la prestation jusqu'à la remise en liberté de son bénéficiaire.
B.
A._ a déféré cette décision au Tribunal administratif fédéral, en concluant principalement à sa réforme en ce sens que la rente entière d'invalidité fût versée rétroactivement à partir du mois de septembre 2006 jusqu'en décembre 2010; subsidiairement, il a conclu au renvoi de la cause à l'OAI-E.
Par jugement du 9 avril 2015, le Tribunal administratif fédéral a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il conclut derechef au versement de la rente entière d'invalidité rétroactivement de septembre 2006 à décembre 2010; à titre subsidiaire, il demande que la cause soit renvoyée aux premiers juges. Le recourant sollicite le bénéfice de l'assistance judiciaire.
L'OAI-E intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. En instance fédérale, le litige porte sur le point de savoir si le Tribunal administratif fédéral était en droit de retenir que les conditions d'une reconsidération (cf. consid. 1.2) de la décision du 29 octobre 2004 n'étaient pas réalisées, et de nier en conséquence le droit du recourant au versement rétroactif de la rente entière d'invalidité pour la période courant de septembre 2006 à décembre 2010, conformément aux conclusions du recourant (cf. <ref-law>).
1.2. Le Tribunal administratif fédéral a rappelé les règles relatives à la reconsidération de décisions passées en force (<ref-law>), ainsi que celles qui se rapportent à l'obligation qui incombe à l'assuré de communiquer à l'assureur toute modification importante des circonstances déterminantes pour l'octroi d'une prestation, ainsi que les suites qu'entraînent la violation de l'obligation de renseigner (<ref-law>; art. 77 et 88 bis al. 2 let. b RAI, dans leur teneur en vigueur jusqu'au 31 décembre 2011). Il suffit à cet égard de renvoyer au jugement attaqué.
2.
2.1. Le Tribunal administratif fédéral a rappelé que les assurés ont l'obligation d'annoncer tout changement de situation qui, potentiellement, peut avoir des répercussions sur leur droit aux prestations. Un changement de domicile n'est pas un événement anodin. En effet, pour être en mesure d'accomplir ses tâches, l'office AI doit pouvoir contacter l'assuré, aussi bien dans le cadre du versement des prestations accordées qu'à l'occasion des révisions périodiques. Dans le cas d'espèce, en raison de l'omission relative au nouveau domicile et de la clôture du compte bancaire du recourant, l'administration de l'AI n'avait plus pu lui verser la rente. En outre, par son silence, le recourant avait contrevenu aux instructions claires figurant sur les décisions de rentes et rendu ainsi impossible toute révision future de la rente, dont la première avait été prévue pour le 1 er mai 2006 selon une communication de l'OAI-VD du 16 avril 2003.
2.2. A titre supplétif, la juridiction de recours de première instance a constaté que le recourant avait fugué de prison en 2002 environ pour retourner vivre au Portugal, où il serait resté jusqu'au 30 décembre 2010, date à laquelle il a été arrêté en Espagne. Elle en a déduit que la privation de liberté à des fins pénales constituerait un motif de suspension du droit à la rente dans le cas d'espèce (cf. <ref-law>; arrêt 9C_20/2008 du 21 août 2008 consid. 1).
3.
3.1. Dans un premier grief, le recourant invoque une violation de l'art. 88 bis al. 2 RAI, respectivement du principe de la proportionnalité (cf. art. 5 al. 2 Cst.) que cette disposition du RAI concrétise. S'il ne conteste pas avoir contrevenu à son obligation de renseigner en ne communiquant pas son changement de domicile lors de son départ au Portugal, il soutient toutefois que cette faute ne justifie pas la suppression pure et simple de son droit à une rente pour plusieurs années, puisque la suppression constitue la mesure la plus sévère qui peut être prise. Le recourant fait observer qu'il n'a pas nui aux intérêts de l'AI ni indûment touché de prestations; à son avis, d'autres mesures administratives existaient en pareilles circonstances, telles qu'une diminution de la rente ou une suspension temporaire du droit à celle-ci. Il ajoute qu'il a de toute manière déjà perdu son droit à la rente pour une durée de 22 mois (du 1 er novembre 2004 au 31 août 2006), en raison de la survenance de la prescription quinquennale (cf. <ref-law>).
3.2. Dans un second moyen, le recourant se plaint d'une violation de l'<ref-law> par le Tribunal administratif fédéral. Il soutient que cette disposition légale n'est pas applicable dans son cas, car il avait quitté la Suisse lors de son jugement, en 2003, avant le prononcé de la condamnation pénale. Afin de corriger les constatations de fait des premiers juges, il produit une copie d'un arrêt de la Cour de cassation pénale du canton de Vaud du 25 mai 2004, dont il ressort qu'il a été condamné à une peine privative de liberté de quatre ans et qu'il a fui à l'étranger entre la fin des débats et le moment de la lecture du jugement du 27 novembre 2003. A son avis, on ne peut assimiler sa situation à celle d'un assuré qui exécute sa sanction, la jurisprudence ayant précisé que le versement de la rente doit être suspendu à partir du moment où la peine est exécutée (cf. <ref-ruling>).
4.
4.1.
4.1.1. En ce qui concerne la violation de l'obligation d'annoncer, il n'y a pas lieu de s'écarter des constatations de faits des premiers juges, ni de leur appréciation de la gravité de la faute commise. On rappellera à cet égard que selon la jurisprudence, une violation de l'obligation de renseigner susceptible de justifier une suppression rétroactive de la rente AI, selon l'art. 88 bis al. 2 let. b RAI, est commise lorsqu'un assuré disparaît sans laisser d'adresse et complique ainsi - voire empêche - le déroulement normal d'une procédure de révision, ce qui, bien entendu, peut se produire aussi bien en Suisse qu'à l'étranger (arrêt I 172/83 du 23 décembre 1983 consid. 3c, in RCC 1984 p. 373).
Dans le cas d'espèce, les propos du recourant ne témoignent pas d'un simple manquement de sa part à des prescriptions d'ordre, mais permettent au contraire de constater qu'il avait intentionnellement manqué à son devoir d'informer afin de se soustraire à ses obligations alimentaires. Ainsi que le Tribunal administratif fédéral l'a constaté, le recourant avait déclaré à l'OAI-VD, dans sa lettre du 18 septembre 2011, qu'il avait refusé de communiquer ses coordonnées financières nécessaires à la perception de la rente AI. Il avait justifié son attitude par le fait qu'il n'avait pas envie de "recevoir de l'argent d'un côté pour qu'il ressorte directement de l'autre pour les pensions alimentaires", ajoutant qu'il s'engageait à "verser de l'argent au SPAS" s'il touchait le rétroactif de l'AI.
4.1.2. Selon la jurisprudence, l'application de l'<ref-law> dans un cas où des prestations sont en cours et où l'assuré qui les perçoit refuse de manière inexcusable de se conformer à son devoir de renseigner ou de collaborer à l'instruction de la procédure de révision, empêchant par là que l'organe d'exécution de l'assurance-invalidité établisse les faits pertinents, suppose que le fardeau de la preuve soit renversé. En principe, il incombe bien à l'administration d'établir une modification notable des circonstances influençant le degré d'invalidité de l'assuré, si elle entend réduire ou supprimer la rente. Toutefois, lorsque l'assuré refuse de façon inexcusable de la renseigner, il lui est impossible de démontrer les faits conduisant à une modification du taux d'invalidité. Dans un tel cas, lorsque l'assuré empêche fautivement que l'office AI administre les preuves nécessaires, il convient d'admettre un renversement du fardeau de la preuve (cf. consid. 2.2 non publié de l'<ref-ruling>; HANS PETER WALTER, Beweis und Beweislast im Haftpflichtprozessrecht, in Haftpflichtprozess 2009, p. 47 ss, p. 58). Il appartient alors à l'assuré d'établir que son état de santé, ou d'autres circonstances déterminantes, n'ont pas subi de modifications susceptibles de changer le taux d'invalidité qu'il présente (arrêt 9C_961/2008 du 30 novembre 2009 consid. 6.3.3, in SVR 2010 IV n° 30 p. 94).
La violation intentionnelle, par le recourant, de son obligation d'annoncer son changement de domicile a placé l'organe d'exécution de l'AI dans l'impossibilité d'assumer ses tâches puisqu'il ne pouvait plus le contacter. Concrètement, l'OAI-VD qui était en charge du dossier n'était plus en mesure de s'assurer du bien-fondé du maintien de la rente et n'aurait, en particulier, pas pu procéder à la révision périodique du droit à cette prestation qui avait été prévue au plus tard en mai 2006 lors de son octroi (cf. communication du 16 avril 2003. Par son silence, le recourant aurait aussi évité la mise en oeuvre de mesures de précaution que l'administration doit prendre lorsque des rentes sont servies à l'étranger (cf. <ref-law> et 83 RAI). La suppression de la rente ne constituait donc pas, en pareilles circonstances, une mesure disproportionnée, à tout le moins à compter du moment où devait intervenir la révision d'office de la rente en mai 2006 et où le recourant aurait manqué de manière inexcusable à son devoir de collaborer à l'instruction. Le non versement des prestations à partir de septembre 2006 n'est donc pas contraire au principe de la proportionnalité.
4.2. Comme le recourant n'a pas droit à la rente pour la période courant de septembre 2006 à décembre 2010, il est superflu d'aborder le cas sous l'angle de l'<ref-law> et d'examiner la portée de l'arrêt de la Cour de cassation pénale du canton de Vaud du 25 mai 2004 qu'il produit devant le Tribunal fédéral (cf. <ref-law>). Le recours est infondé.
5.
Les frais afférents à la présente procédure seront supportés par le recourant qui succombe (<ref-law>). Il a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui est accordée. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral, s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est admise pour la procédure devant le Tribunal fédéral et Maître Yann Jaillet est désigné comme avocat d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour III, et à l'Office fédéral des assurances sociales.
Lucerne, le 19 février 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud