A.- Par décision du 2 juillet 2001, la Caisse cantonale neuchâteloise de compensation (ci-après : la caisse) a ordonné la restitution des allocations d'impotence, d'un montant de 40 140 francs, versées en faveur de B._ du 1er janvier 1995 au 31 décembre 1996. Cette décision est entrée en force faute de recours. Par lettre du 21 janvier 2002 adressée à la caisse, l'assurée en a requis la révocation, alléguant que cette décision, qui n'avait pas été notifiée régulièrement, avait été prise sans que la caisse eût procédé aux mesures d'instruction ordonnées par le Tribunal administratif du canton de Neuchâtel dans un jugement du 9 février 2001. Dans ce jugement, le tribunal avait annulé une précédente décision portant sur le même objet et avait renvoyé la cause à la caisse afin qu'elle procédât à un complément d'instruction. En date du 25 janvier 2002, la caisse a répondu, en substance, que la décision du 2 juillet 2001 était exécutoire, qu'elle avait été notifiée à l'assurée et qu'elle entendait requérir la mainlevée définitive de l'opposition formée par cette dernière au commandement de payer qui lui avait été notifié le 15 novembre 2001 dans la poursuite tendant au recouvrement de la somme à restituer. B.- Par jugement du 9 avril 2002, le Tribunal administratif du canton de Neuchâtel a déclaré irrecevable le recours formé par B._ après réception de la lettre du 25 janvier 2002. C.- L'assurée interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de ce dernier et de la décision du 2 juillet 2001. Ni la caisse ni l'Office fédéral des assurances sociales ne se sont déterminés.