Faits : A. A.a. Par décisions des 29 septembre et 27 octobre 2003, l'Office de l'assurance-invalidité pour le canton de Vaud (l'OAI-VD) a alloué à A._ une rente entière d'invalidité fondée sur un taux d'invalidité de 70 %, à compter du 1 er mai 1998. Dans ces décisions, l'assuré était expressément rendu attentif à son obligation d'informer, singulièrement d'annoncer immédiatement à l'OAI-VD un séjour à l'étranger excédant trois mois ou un transfert du domicile à l'étranger. L'OAI-VD a également alloué deux rentes ordinaires pour les enfants de l'assuré par décisions du 13 octobre 2003. L'assuré est parti sans laisser d'adresse et le compte bancaire sur lequel la rente d'invalidité était versée a été clôturé. Par trois décisions du 29 octobre 2004, l'OAI-VD a supprimé la rente d'invalidité ainsi que les deux rentes pour enfants avec effet au 31 octobre 2004, au motif que le domicile de A._ était inconnu. A.b. Par lettre du 28 août 2011, mentionnant l'adresse de la Prison B._ à C._, A._ a demandé des informations sur l'état de son dossier. L'OAI-VD lui a répondu, par écriture du 2 septembre 2011, qu'il était clôturé depuis fin 2004. Le 18 septembre 2011, A._ a requis de l'OAI-VD qu'il lui verse rétroactivement ses rentes pour les années 2004 à 2010. Le 31 octobre 2011, il a déposé une nouvelle demande de rente, indiquant que son domicile légal se trouvait au Portugal. L'OAI-VD a transmis la demande à l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (l'OAI-E). L'OAI-E est entré en matière sur les demandes et a procédé à la reconsidération de la suppression de la rente concernant l'assuré. Il a confirmé la suppression par décision du 11 septembre 2013, au motif que le domicile de l'assuré était inconnu et que le compte bancaire indiqué pour le versement de la rente avait été clôturé. Simultanément, l'OAI-E a reconnu le droit de A._ à une rente entière d'invalidité à compter du 1 er avril 2012, soit six mois après le dépôt de la demande; l'administration a toutefois suspendu le versement de la prestation jusqu'à la remise en liberté de son bénéficiaire. B. A._ a déféré cette décision au Tribunal administratif fédéral, en concluant principalement à sa réforme en ce sens que la rente entière d'invalidité fût versée rétroactivement à partir du mois de septembre 2006 jusqu'en décembre 2010; subsidiairement, il a conclu au renvoi de la cause à l'OAI-E. Par jugement du 9 avril 2015, le Tribunal administratif fédéral a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il conclut derechef au versement de la rente entière d'invalidité rétroactivement de septembre 2006 à décembre 2010; à titre subsidiaire, il demande que la cause soit renvoyée aux premiers juges. Le recourant sollicite le bénéfice de l'assistance judiciaire. L'OAI-E intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.