Faits :
A.
Née en 1965 en ex-Yougoslavie, B._ est arrivée en Suisse en 1993, où elle s'est installée avec sa famille dans le canton du Jura, à C._. A la fin du mois d'août 2002, l'Office de l'assurance-invalidité du canton du Jura (ci-après: l'office AI-JU) lui a alloué une rente entière d'invalidité à partir du 1er novembre 1999. Cette prestation a été confirmée à l'issue de plusieurs révisions successives entre 2003 et 2012 (versement d'une rente de veuve à la suite du décès du mari de l'assurée).
En mai 2014, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après: l'OAIE), auquel le dossier de B._ avait été transmis en raison du départ de celle-ci au Kosovo l'année précédente, lui a demandé la remise de tous les rapports médicaux à disposition pour la période du 26 janvier 2010 au 1er mai 2014. Après avoir recueilli des renseignements médicaux, l'OAIE a informé l'assurée que le réexamen de son droit à la rente d'invalidité n'avait pas mis en évidence de modification du degré d'invalidité, de sorte que les prestations étaient maintenues (communication du 12 septembre 2014).
Le 26 mars 2015, la Fondation de prévoyance A._ (ci-après: la fondation), qui versait des prestations de la prévoyance professionnelle à B._, a requis de l'OAIE le dossier complet de l'assurée et des précisions quant au maintien de la rente d'invalidité. Le 29 mai suivant, l'OAIE a rendu une décision par laquelle il a constaté que B._ avait toujours droit à une rente entière de l'assurance-invalidité, assortie d'une rente pour enfant; comme l'assurée était également titulaire d'une rente de veuve, seule cette prestation lui était versée.
B.
Saisi d'un recours de la fondation contre la décision du 29 mai 2015, le Tribunal administratif fédéral l'a admis par arrêt du 8 janvier 2019. Annulant cette décision (ch. 1 du dispositif), il a transmis la cause à l'Office de l'assurance-invalidité de la République et canton de Neuchâtel (ci-après: l'office AI-NE) afin qu'il complète l'instruction au sens des considérants et rende une nouvelle décision (ch. 2 du dispositif). En bref, il a retenu que le point de savoir si l'état de santé de l'assurée - qui avait été domiciliée à C._ de 1993 à 2017, puis à D._ depuis 2017 - avait évolué favorablement depuis mars 2010 n'avait pas été instruit à satisfaction de droit, de sorte qu'une expertise bidisciplinaire (psychiatrie et médecine interne) devait notamment être mise en oeuvre.
C.
Agissant par la voie du recours en matière de droit public, l'office AI-NE demande au Tribunal fédéral d'annuler le ch. 2 du dispositif de l'arrêt du 8 janvier 2019 et de désigner l'office AI-JU comme office compétent pour traiter la procédure de révision de la rente de l'assurée initiée en 2014.
La fondation s'en remet à justice, tandis que B._ conclut au rejet du recours dans la mesure où il est recevable et requiert le bénéfice de l'assistance judiciaire. Le Tribunal administratif fédéral se détermine en faveur de l'admission du recours et de la réforme de son arrêt, en ce sens que le ch. 2 du dispositif soit modifié de telle manière que la cause soit transmise à l'office AI-JU. De son côté, l'OAIE renonce à prendre position, alors que l'Office fédéral des assurances sociales (OFAS) propose l'admission du recours en se ralliant à l'argumentation de l'office recourant.

Considérant en droit :
1.
Le Tribunal fédéral contrôle librement la recevabilité des recours qui lui sont soumis (art. 29 al. 1 LTF; <ref-ruling> consid. 1 p. 282 et les références).
2.
L'office recourant est un établissement autonome de droit public doté de la personnalité juridique (art. 54 al. 2, première phrase, LAI; art. 8 de la loi cantonale neuchâteloise d'application de la loi fédérale sur l'assurance-vieillesse et survivants et de la loi fédérale sur l'assurance-invalidité du 6 octobre 1993 [LA-LAVS/LAI; RSNE 820.10]). La qualité pour recourir des collectivités publiques est visée en premier lieu par l'art. 89 al. 2 LTF. Selon cette disposition, ont en particulier qualité pour recourir les personnes, organisations et autorités auxquelles une autre loi fédérale accorde un droit de recours (art. 89 al. 2 let. d LTF).
2.1. Selon l'art. 62 al. 1bis LPGA, le Conseil fédéral règle la qualité pour recourir devant le Tribunal fédéral des organes d'exécution des assurances sociales. Dans le domaine de l'assurance-invalidité, il a adopté l'art. 41 al. 1 let. i RAI (en relation avec l'art. 57 al. 2 LAI), selon lequel les offices AI exécutent notamment la tâche de rédiger les avis en cas de recours et d'interjeter recours devant le Tribunal fédéral.
Aux termes de l'art. 89 RAI, "sauf dispositions contraires de la LAI ou du présent règlement, les dispositions des chap. IV et VI, ainsi que les art. 205 à 214 RAVS sont applicables par analogie". Au chapitre VI du RAVS ("Le contentieux"), l'art. 201 al. 1 RAVS a la teneur suivante: "L'OFAS, les caisses de compensation intéressées et les offices AI ont qualité pour former un recours devant le Tribunal fédéral contre des jugements rendus par les tribunaux cantonaux des assurances. L'OFAS a également qualité pour recourir contre les jugements rendus par le Tribunal administratif fédéral". Selon l'al. 2 de la disposition, les jugements doivent être notifiés par lettre recommandée aux autorités ayant qualité pour recourir.
2.2. Les art. 41 al. 1 let. i RAI et 201 RAVS ont été modifiés par l'Ordonnance du 8 novembre 2006 portant adaptation d'ordonnances du Conseil fédéral à la révision totale de la procédure fédérale, entrée en vigueur au 1er janvier 2007 (RO 2006 4705, p. 4732). L'adaptation de l'art. 41 al. 1 let. i RAI a porté sur le remplacement des termes "interjeter les recours de droit administratif" par "interjeter recours devant le tribunal fédéral". L'art. 201 al. 1 RAVS a été modifié non seulement quant aux termes "recours de droit administratif auprès du Tribunal fédéral des assurances" (devenus "un recours devant le Tribunal fédéral"), mais également quant à l'objet du recours. Il précise que la qualité pour former recours des caisses de compensation intéressées et des offices AI concerne les jugements rendus par les tribunaux cantonaux des assurances (art. 201 al. 1, première phrase, RAVS), seul l'OFAS ayant qualité pour recourir contre les jugements du Tribunal administratif fédéral (art. 201 al. 1, seconde phrase, RAVS).
Cette différence en ce qui concerne la qualité pour agir en fonction de l'objet du recours n'était pas prévue par l'art. 201 al. 1 aRAVS (dans sa version en vigueur jusqu'au 31 décembre 2006), qui avait la teneur suivante: "L'office fédéral, les caisses de compensation intéressées et les offices AI peuvent former un recours de droit administratif auprès du Tribunal fédéral des assurances contre les jugements rendus par les autorités de recours". Les offices AI disposaient alors, à certaines conditions, du droit de recourir contre les jugements rendus par la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger (pour un exemple, arrêt 190/06 du 16 mai 2007).
2.3. Conformément à la compétence qui lui a été conférée à l'art. 62 al. 1bis LPGA, le Conseil fédéral a réglé la qualité pour recourir devant le Tribunal fédéral des offices AI à partir du 1er janvier 2007. Compte tenu du renvoi de l'art. 89 RAI - et en l'absence de disposition de la LAI ou du RAI qui prévoirait le contraire -, l'art. 201 al. 1 RAVS précise la compétence des offices AI d'interjeter recours au Tribunal fédéral de telle manière qu'ils disposent du droit de recourir contre les jugements des tribunaux cantonaux des assurances mais non pas contre ceux du Tribunal administratif fédéral. Par conséquent, en vertu de l'application par analogie de cette disposition du RAI dans le domaine de l'assurance-invalidité, les offices AI cantonaux n'ont pas la qualité pour recourir contre un arrêt du Tribunal administratif fédéral. Demeure réservée la qualité pour recourir de l'OAIE en relation avec ses propres décisions (art. 41 al. 1 let. i RAI; voir aussi <ref-ruling> consid. 4.1 in fine p. 516 s.).
Partant, l'office recourant ne peut pas fonder sa qualité pour recourir contre l'arrêt qu'il entend contester sur l'art. 89 al. 2 let. d LTF.
3.
Il reste à examiner si l'office AI-NE peut fonder un droit de recours sur la norme générale de l'art. 89 al. 1 LTF, comme il semble le prétendre en invoquant un intérêt digne de protection pour en solliciter l'annulation, en tant qu'il a été désigné comme autorité désormais compétente pour examiner et traiter la révision de la rente de l'assurée.
3.1. En vertu de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque: (a) a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire; (b) est particulièrement atteint par la décision ou l'acte normatif attaqué; et (c) a un intérêt digne de protection à son annulation ou à sa modification.
La qualité pour recourir de la règle générale de l'art. 89 al. 1 LTF est en premier lieu conçue pour les particuliers. Il est toutefois admis que les collectivités publiques peuvent s'en prévaloir à certaines conditions qui doivent toutefois être appréciées restrictivement (<ref-ruling> consid. 2.1 p. 164; <ref-ruling> consid. 4.1 p. 329 s.). Une collectivité publique est légitimée à recourir, en application de l'art. 89 al. 1 LTF, dans deux situations: lorsqu'elle est atteinte de la même manière qu'un particulier dans sa situation juridique ou matérielle, notamment s'il s'agit de sauvegarder son patrimoine administratif ou financier, ou lorsqu'elle est touchée dans ses prérogatives de puissance publique et dispose d'un intérêt public propre digne de protection à l'annulation ou à la modification de l'acte attaqué (cf. <ref-ruling> consid. 2.1 p. 164; <ref-ruling> consid. 1.2.2 p. 93 s. et les références citées). Lorsqu'il est porté atteinte à ses intérêts spécifiques, la collectivité publique peut ainsi se voir reconnaître la qualité pour recourir, pour autant qu'elle soit touchée de manière qualifiée (cf. <ref-ruling> consid. 2.3 p. 166; <ref-ruling> consid. 1.2.2 et 1.2.4 p. 94). Tel est le cas lorsque l'acte attaqué concerne des intérêts publics essentiels dans un domaine qui relève de sa compétence propre (<ref-ruling> consid. 1.4 p. 274; arrêt 2C_282/2017 du 4 décembre 2017 consid. 1.2 et les références citées). Un intérêt général à une correcte application du droit n'est cependant pas suffisant au regard de l'art. 89 al. 1 LTF (ATF <ref-ruling> consid. 1.2.2 p. 93; <ref-ruling> consid. 3.1 p. 159; <ref-ruling> consid. 2.2.1 p. 47; arrêt 2C_109/2019 du 8 avril 2019 consid. 3.5).
3.2. Le Tribunal administratif fédéral a en l'occurrence transmis la cause à l'office recourant pour qu'il complète l'instruction au sens des considérants et rende une nouvelle décision (ch. 2 du dispositif de l'arrêt entrepris). Il a considéré qu'au vu du domicile ininterrompu de l'assurée en Suisse, singulièrement dans le canton du Jura au moment de la décision administrative litigieuse en mai 2015, c'est l'office AI-JU qui aurait été alors compétent pour statuer (et non l'OAIE). En effet, selon l'art. 55 al. 1 LAI, l'office AI compétent est, en règle générale, celui du canton dans lequel l'assuré est domicilié au moment où il exerce son droit aux prestations. Toutefois comme l'assurée était domiciliée dans le canton de Neuchâtel au moment où statuait le Tribunal administratif fédéral, celui-ci a considéré que la cause devait être renvoyée à l'office AI-NE pour compléter l'instruction et se prononcer sur l'invalidité de l'assurée.
De l'avis de l'office recourant, le jugement attaqué consacre une violation du droit fédéral, en particulier de l'art. 40 al. 3 RAI, selon lequel l'office AI compétent lors de l'enregistrement de la demande le demeure durant toute la procédure, sous réserve des al. 2bis à 2quater RAI. Comme l'office AI-JU aurait été compétent pour statuer sur la révision initiée en 2014, il le demeurait jusqu'au terme de la procédure administrative conformément à l'art. 40 al. 3 RAI, de sorte que la cause aurait dû lui être renvoyée.
3.3. Dans la mesure où l'office recourant invoque un intérêt digne de protection en relation avec son incompétence ratione loci pour statuer sur la révision du droit à la rente de l'intimée (au sens de l'art. 17 LPGA), il est touché par l'arrêt attaqué non pas comme un particulier mais en sa qualité d'organe d'exécution des tâches de puissance publique qui lui sont confiées dans le domaine de l'assurance-invalidité. On ne voit cependant pas que la décision attaquée atteindrait l'office AI-NE de manière importante dans ses prérogatives de puissance publique ou, en d'autres termes, que des intérêts publics essentiels dans le domaine de l'assurance-invalidité seraient touchés. Le recourant demande au Tribunal fédéral de trancher un conflit de compétence à raison du lieu; il en va donc de l'intérêt général à une application correcte du droit fédéral, sans que la question juridique en cause ne revête une valeur de précédent pour l'exécution d'une tâche publique avec une répercussion financière importante qui dépasse le cas particulier (cf. <ref-ruling> consid. 2.3 p. 165; arrêt 2C_783/2017 du 25 janvier 2018 consid. 1.2.1 et les références). En conséquence, l'office recourant ne peut pas non plus fonder un droit de recours sur la clause générale de l'art. 89 al. 1 LTF.
3.4. Ensuite de ce qui précède, il convient de nier la qualité pour agir de l'office recourant et de déclarer son recours irrecevable, sans qu'il soit au demeurant nécessaire d'examiner si l'arrêt de renvoi attaqué, en tant que décision incidente, pouvait faire l'objet d'un recours au sens de l'art. 93 al. 1 LTF.
4.
Vu l'issue de la procédure, l'office recourant doit supporter les frais de justice y afférents (art. 66 al. 1 LTF). En sa qualité de partie intéressée, B._, qui est représentée par un avocat, a droit à une indemnité de dépens à la charge de l'office recourant (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'Office de l'assurance-invalidité du canton de Neuchâtel.
3.
L'Office de l'assurance-invalidité du canton de Neuchâtel versera à B._ la somme de 2'400 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, à B._, au Tribunal administratif fédéral, Cour III, à l'Office fédéral des assurances sociales et à l'Office de l'assurance-invalidité du canton du Jura.
Lucerne, le 13 juin 2019
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Meyer
Le Greffier : Berthoud