A.- Par décision du 2 juillet 2001, la Caisse cantonale neuchâteloise de compensation (ci-après : la caisse) a ordonné la restitution des allocations d'impotence, d'un montant de 40 140 francs, versées en faveur de B._ du 1er janvier 1995 au 31 décembre 1996. Cette décision est entrée en force faute de recours.
Par lettre du 21 janvier 2002 adressée à la caisse, l'assurée en a requis la révocation, alléguant que cette décision, qui n'avait pas été notifiée régulièrement, avait été prise sans que la caisse eût procédé aux mesures d'instruction ordonnées par le Tribunal administratif du canton de Neuchâtel dans un jugement du 9 février 2001. Dans ce jugement, le tribunal avait annulé une précédente décision portant sur le même objet et avait renvoyé la cause à la caisse afin qu'elle procédât à un complément d'instruction.
En date du 25 janvier 2002, la caisse a répondu, en substance, que la décision du 2 juillet 2001 était exécutoire, qu'elle avait été notifiée à l'assurée et qu'elle entendait requérir la mainlevée définitive de l'opposition formée par cette dernière au commandement de payer qui lui avait été notifié le 15 novembre 2001 dans la poursuite tendant au recouvrement de la somme à restituer.
B.- Par jugement du 9 avril 2002, le Tribunal administratif du canton de Neuchâtel a déclaré irrecevable le recours formé par B._ après réception de la lettre du 25 janvier 2002.
C.- L'assurée interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de ce dernier et de la décision du 2 juillet 2001. Ni la caisse ni l'Office fédéral des assurances sociales ne se sont déterminés.

Considérant en droit :
1.- a) Il s'agit d'examiner si le Tribunal administratif du canton de Neuchâtel était en droit de déclarer irrecevable le recours formé par l'assurée ensuite de la lettre du 25 janvier 2002 répondant à sa demande de révocation de la décision du 2 juillet 2001.
En revanche, la présente procédure n'a pas pour objet la décision du 2 juillet 2001 en elle-même, si bien que la conclusion de la recourante tendant à l'annulation de cette décision est irrecevable.
b) Un litige relatif à la révocation d'une décision entrée en force, par voie de reconsidération ou de révision (procédurale), ne concerne pas l'octroi ou le refus de prestations d'assurance (<ref-ruling> consid. 5), de sorte que le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- a) Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement entrée en force de chose décidée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 4b, 46 consid. 2b, 400 consid. 2b/aa et les arrêts cités). Selon la jurisprudence, l'administration n'est pas tenue de reconsidérer les décisions qui remplissent les conditions fixées; elle en a simplement la faculté et ni l'assuré ni le juge ne peuvent l'y contraindre. En conséquence, les décisions refusant d'entrer en matière sur une demande de reconsidération ne peuvent, en principe, être portées devant l'autorité judiciaire (<ref-ruling> consid. 1b/cc, 117 V 12 consid. 2a et les références).
b) En l'espèce, la caisse n'est pas entrée en matière sur la demande de révocation de sa décision du 2 juillet 2001 présentée par l'assuré. La lettre du 25 janvier 2002, en particulier, ne comporte aucune référence explicite, ou même implicite, aux conditions d'une reconsidération rappelées ci-dessus qui n'ont, ainsi, pas été examinées; rien n'indique, par ailleurs, que la caisse aurait procédé à quelque mesure d'instruction que ce soit en relation avec les conditions d'une reconsidération (cf. <ref-ruling> consid. 2b/cc). Il s'ensuit que la recourante ne pouvait prétendre, au regard du droit fédéral, à l'examen par l'autorité judiciaire, du refus de l'intimée d'entrer en matière sur la demande de reconsidération, comme l'ont admis, à juste titre, les premiers juges.
Il convient encore d'examiner si l'intimée pouvait être tenue, pour un autre motif, d'entrer en matière sur la demande tendant à la révocation de sa décision du 2 juillet 2001.
3.- a) Dans ce contexte, la recourante soutient, en reprenant en substance le contenu de la lettre qu'elle a adressée à la caisse le 21 janvier 2002, que la décision était nulle, faute pour l'intimée d'avoir procédé aux mesures d'instruction ordonnées par l'autorité judiciaire cantonale dans son jugement du 9 février 2001 et que ce vice, dont la découverte constituerait un fait nouveau ouvrant la voie de la révision, ne lui serait apparu que postérieurement à l'échéance du délai de recours de la décision du 2 juillet 2001, cette dernière ne lui ayant pas été notifiée valablement.
b) Par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 4b, 46 consid. 2b et les références).
c) La notion de faits ou moyens de preuve nouveaux s'apprécie de la même manière en cas de révision (procédurale) d'une décision administrative, de révision d'un jugement cantonal dans le cadre de l'art. 85 al. 2 let. h LAVS ou d'une révision fondée sur l'art. 137 let. b OJ (à propos de la révision procédurale de décisions administratives :
ATF 108 V 168; à propos de l'art. 137 let. b OJ: <ref-ruling> et 110 V 141 consid. 2; à propos de l'art. 85 al. 2 let. hLAVS : <ref-ruling> consid. 4b).
Sont "nouveaux" au sens de ces dispositions, les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence. En outre, les faits nouveaux doivent être importants, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte. Les preuves, quant à elles, doivent servir à prouver soit les faits nouveaux importants qui motivent la révision, soit des faits qui étaient certes connus lors de la procédure précédente, mais qui n'avaient pas pu être prouvés, au détriment du requérant.
Si les nouveaux moyens sont destinés à prouver des faits allégués antérieurement, le requérant doit aussi démontrer qu'il ne pouvait pas les invoquer dans la précédente procédure. Une preuve est considérée comme concluante lorsqu'il faut admettre qu'elle aurait conduit le juge à statuer autrement s'il en avait eu connaissance dans la procédure principale. Ce qui est décisif, c'est que le moyen de preuve ne serve pas à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'une nouvelle expertise donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs.
Pour justifier la révision d'une décision, il ne suffit pas que l'expert tire ultérieurement, des faits connus au moment du jugement principal, d'autres conclusions que le tribunal. Il n'y a pas non plus motif à révision du seul fait que le tribunal paraît avoir mal interprété des faits connus déjà lors de la procédure principale. L'appréciation inexacte doit être, bien plutôt, la conséquence de l'ignorance ou de l'absence de preuve de faits essentiels pour le jugement (<ref-ruling> consid. 5b, 110 V 141 consid. 2, 293 consid. 2a, 108 V 171 consid. 1; cf. aussi <ref-ruling> consid. 5).
d) Au regard de ces principes, les circonstances alléguées par la recourante - à l'appui desquelles elle n'apporte, au demeurant, aucun élément de preuve concret -, ne sauraient être qualifiées ni de faits ni de moyens de preuve nouveaux ouvrant la voie de la révision. Relatifs à la procédure qui a mené à la décision du 2 juillet 2001, soit en particulier à des mesures d'instruction, les faits allégués ne sont pas de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte.
L'existence d'un vice de procédure peut certes, dans certaines éventualités, ouvrir la voie de la révision.
Ainsi, la loi fédérale sur la procédure administrative prévoit-elle, mais de manière très restrictive, la possibilité d'une révision à la demande d'une partie lorsque celle-ci prouve que l'autorité de recours a violé certaines dispositions sur la récusation, sur le droit de consulter le dossier ou sur le droit d'être entendu (art. 66 al. 3 LPA). La recourante n'allègue toutefois pas de telles circonstances en l'espèce. Il n'est dès lors pas nécessaire d'examiner si cette disposition - qui vise les autorités chargées de connaître des recours dans les affaires administratives qui doivent être réglées par les décisions d'autorités administratives fédérales (art. 1 al. 1 LPA) et, partant, ne s'applique pas en l'espèce - exprime un principe plus général qui s'imposerait également à d'autres autorités administratives, de première instance en particulier.
e) Dans la mesure où la recourante allègue ne pas avoir été en mesure de faire valoir son grief relatif à la décision du 2 juillet 2001 faute pour elle d'en avoir eu connaissance parce qu'elle ne lui aurait pas été communiquée, son argumentation tend, en réalité, à la restitution du délai de recours contre cette décision.
En l'absence de toute demande expresse à l'autorité judiciaire cantonale tendant à la restitution de ce délai (art. 24 LPA en corrélation avec l'<ref-law>) et même de toute allégation sur ce point dans le mémoire de recours adressé à cette autorité, il n'est toutefois pas nécessaire d'examiner cette question de manière plus approfondie.
4.- Il résulte de ce qui précède que les premiers juges ont, à bon droit, déclaré irrecevable le recours interjeté par B._ ensuite de la lettre adressée à cette dernière par la caisse le 25 janvier 2002.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est
rejeté.
II. Les frais de justice, d'un montant de 500 fr., sont mis à la charge de la recourante et sont compensés avec l'avance de frais d'un même montant qu'elle a
versée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel ainsi qu'à l'Office fédéral des assurances sociales.
Lucerne, le 3 juillet 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
p. le Greffier :