Faits:
A. Le 24 février 2003, la Caisse cantonale neuchâteloise de compensation (ci-après : la caisse) a refusé d'entrer en matière sur une demande présentée le 4 janvier 1999 par M._. Cette demande tendait à la remise de l'obligation de restituer un montant de 16'594 fr. perçu au titre de prestations complémentaires.
Cette décision était motivée par le fait que le requérant n'avait pas collaboré à l'instruction du dossier, en refusant de donner suite à deux courriers de la caisse des 5 décembre 2002 et 16 janvier 2003.
B. Conformément à l'indication des voies de droit figurant dans la décision, M._ a recouru devant le Tribunal administratif de la République et canton de Neuchâtel par écriture du 27 février 2003.
Statuant le 8 avril 2003, le tribunal administratif a décliné sa compétence et a transmis à la caisse l'écriture de l'intéressé comme valant opposition à la décision précitée.
C. La caisse interjette un recours de droit administratif dans lequel elle conclut à l'annulation du jugement cantonal et demande au Tribunal fédéral des assurances de dire que le tribunal administratif est compétent pour statuer sur la cause.
Dans sa réponse au recours, M._ s'exprime sur le fond du litige. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé.
D. Le 25 novembre 2004, la Ière chambre du Tribunal fédéral des assurances a tenu audience.

Considérant en droit:
1. 1.1 Le Tribunal fédéral des assurances connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'<ref-law> en matière d'assurances sociales (art. 128 en corrélation avec l'art. 97 OJ). D'après l'<ref-law>, sont considérées comme des décisions également les décisions incidentes au sens de l'<ref-law>. Selon l'<ref-law>, de telles décisions ne sont susceptibles de recours - séparément d'avec le fond - que si elles peuvent causer un préjudice irréparable. En outre, dans la procédure devant le Tribunal fédéral des assurances, le recours de droit administratif contre des décisions incidentes est recevable, en vertu de l'art. 129 al. 2 en liaison avec l'art. 101 let. a OJ, seulement lorsqu'il l'est également contre la décision finale (<ref-ruling> consid. 2a, 124 V 85 consid. 2 et les références).
Parmi les décisions incidentes qui peuvent être déférées au Tribunal fédéral des assurances par la voie du recours de droit administratif figurent, d'après l'<ref-law>, les décisions par lesquelles l'autorité inférieure se prononce sur sa compétence, soit en l'admettant alors qu'une partie la conteste (<ref-law>), soit en la déclinant alors qu'une partie prétend qu'elle est compétente (<ref-law>). Selon la jurisprudence, quand un juge statue sur sa compétence par une décision incidente, on se trouve en présence d'une décision susceptible de causer un préjudice irréparable de nature formelle et idéale à celui qui la conteste (<ref-ruling> ss).
Par ailleurs, selon l'art. 106 al. 1, en liaison avec l'art. 132 OJ, le recours doit être déposé devant le Tribunal fédéral des assurances dans les dix jours dès la notification de la décision, s'il s'agit d'une décision incidente.
1.2 En l'espèce, le jugement attaqué, par lequel le tribunal administratif a décliné sa compétence, est une décision incidente portant sur la compétence de l'autorité. Par ailleurs, le recours de droit administratif est ouvert contre une décision finale en matière de restitution de prestations complémentaires (art. 128 OJ). Quant au jugement attaqué, il a été notifié à la recourante le 9 avril 2003 au plus tôt. Les délais fixés par la loi ou le juge ne courent pas du septième jour avant Pâques au septième jour après Pâques inclusivement (art. 34 al. 1 let. a en relation avec l'art. 135 OJ), soit, en l'occurrence, du 13 au 27 avril 2003. Le recours de droit administratif, déposé le 28 avril 2003, a donc été formé en temps utile.
Il convient ainsi d'entrer en matière sur ce dernier.
2. Le litige porte sur le point de savoir si la décision de la caisse intimée du 24 février 2003 était attaquable directement devant la juridiction cantonale par la voie du recours de droit administratif ou si elle devait préalablement faire l'objet d'une opposition devant la caisse.
2.1 L'entrée en vigueur de la LPGA, le 1er janvier 2003, a étendu à l'ensemble des branches des assurances sociales (à l'exception de la prévoyance professionnelle) la procédure d'opposition, que seules certaines lois (LAMal, LAA, LAM) connaissaient jusqu'alors. Selon l'<ref-law>, les décisions peuvent être attaquées dans les trente jours par voie d'opposition auprès de l'assureur qui les a rendues, à l'exception des décisions d'ordonnancement de la procédure. Cette norme légale de procédure est entrée immédiatement en vigueur (<ref-ruling> consid. 6b, 112 V 360 consid. 4a; RAMA 1998 KV no 37 p. 316 consid. 3b), ce qui signifie que toutes les décisions visées, rendues après le 31 décembre 2002, sont soumises à la procédure d'opposition.
Les décisions sur opposition et celles contre lesquelles la voie de l'opposition n'est pas ouverte sont sujettes à recours (<ref-law>). Il en va donc ainsi des décisions d'ordonnancement de la procédure au sens de l'art. 52 al. 1 in fine LPGA («prozess- und verfahrensleitende Verfügungen»; «decisioni processuali e pregiudiziali», selon les versions allemande et italienne de cette disposition). Il s'agit de décisions incidentes que le législateur a soustraites à la procédure d'opposition, afin d'éviter des retards excessifs dans le déroulement de la procédure (Ueli Kieser, ATSG- Kommentar, 2003, note 18 ad art. 52; FF 1999 4261). Sur ce point, le législateur a repris - et pour les mêmes motifs de célérité de la procédure - une réglementation analogue à celle de l'art. 100 aLAM (voir Jürg Maeschi, Kommentar zum Bundesgesetz über die Militärversicherung [MVG] vom 19. Juni 1992, Berne 2000, note 2 ad art. 100).
2.2 La recourante soutient que le tribunal administratif aurait dû entrer en matière sur le recours porté devant lui. Selon elle, la décision du 24 février 2003 doit être considérée comme une décision d'ordonnancement de la procédure au sens de l'art. 52 al. 1 in fine LPGA. Elle invoque les chiffres 2003 et 2004 de la Circulaire de l'OFAS sur le contentieux dans l'AVS, l'AI, les APG et les prestations complémentaires, valables dès le 1er janvier 2003 et qui disposent notamment ce qui suit : «Font partie des décisions d'ordonnancement de la procédure, les décisions incidentes, donc celles qui ne mettent pas fin à la procédure entre les parties devant l'autorité qui les a rendues. Ces décisions d'ordonnancement de la procédure sont notifiées préalablement à la décision finale et portent par exemple sur une demande de récusation, sur l'admission ou la fourniture de preuves ou sur la consultation du dossier. Sont incluses dans cette définition également les décisions relatives à la compétence (...) et les décisions de non-entrée en matière sur une demande de prestations du fait que l'assuré ne collabore pas à l'instruction de la demande».
2.3 Les directives de l'administration, si elles visent à assurer l'application uniforme de certaines dispositions légales, n'ont pas force de loi et ne lient ni les administrés ni les tribunaux. Elles ne peuvent sortir du cadre fixé par la norme supérieure qu'elles sont censées concrétiser. En d'autres termes, elles ne peuvent prévoir autre chose que ce qui découle de la législation ou de la jurisprudence (cf. <ref-ruling> consid. 4.3, 121 II 478 consid. 2b; Pierre Moor, Droit administratif, vol. I, 2ème édition, Berne 1994, p. 264 ss; Raymond Spira, Le contrôle juridictionnel des ordonnances administratives en droit fédéral des assurances sociales, in: Mélanges André Grisel, Neuchâtel 1983, p. 803 ss).
2.4 Conformément à l'<ref-law>, l'assureur doit rendre par écrit les décisions qui portent sur des prestations, créances ou injonctions importantes, avec lesquelles l'intéressé n'est pas d'accord. La notion de décision n'est toutefois pas définie dans la LPGA. Elle correspond cependant à la notion de décision au sens de l'<ref-law> (Ueli Kieser, op. cit., note 2 ss ad art. 49), qui a une portée générale en matière d'assurances sociales (voir par exemple <ref-ruling> consid. 2b). Selon l'<ref-law>, sont considérées comme des décisions les mesures de l'autorité dans des cas d'espèce, fondées sur le droit public fédéral ayant pour objet:
a De créer, de modifier ou d'annuler des droits ou des obligations;
b De constater l'existence, l'inexistence ou l'étendue de droits ou d'obligations;
c De rejeter ou de déclarer irrecevables des demandes tendant à créer, modifier, annuler ou constater des droits et obligations.
La décision incidente se caractérise par le fait qu'elle est prise en cours de procédure et qu'elle ne constitue qu'une étape vers la décision finale. En général, elle porte sur une question de procédure. Il n'est cependant pas exclu qu'elle tranche un problème de fond (Moor, Droit administratif, vol. II, 2ème édition mise à jour et augmentée, Berne 2002, p. 226; Benoît Bovay, Procédure administrative, Berne 2000, p. 262 s.; André Grisel, Traité de droit administratif, vol. II, p. 868). Les décisions d'ordonnancement de la procédure au sens de l'art. 52 al. 1 in fine LPGA sont des décisions incidentes en matière de procédure exclusivement, comme cela ressort clairement des textes français et allemand de cette disposition (voir aussi FF 1999 4261). A titre d'exemples de décisions d'ordonnancement de la procédure la doctrine mentionne, en particulier, les décisions relatives à la consultation du dossier, à la suspension de la procédure, à la récusation, à l'assistance judiciaire gratuite ou encore des décisions en relation avec l'établissement des faits (Kieser, op. cit., note 18 ad art. 52). Est également mentionnée la décision sur la compétence au sens de l'<ref-law> (Bernard Rolli, La partie générale du droit des assurances sociales [Les points forts de la nouvelle LPGA], dans In dubio, 1/2003 pp. 27 et 41, note 49).
3. Selon l'<ref-law>, si l'assuré ou d'autres requérants refusent de manière inexcusable de se conformer à leur obligation de renseigner ou de collaborer à l'instruction, l'assureur peut se prononcer en l'état du dossier ou clore l'instruction et décider de ne pas entrer en matière; il doit leur avoir adressé une mise en demeure écrite les avertissant des conséquences juridiques et leur impartissant un délai de réflexion convenable.
Avant l'entrée en vigueur de la LPGA, l'assureur social qui se heurtait à un refus de collaborer d'une partie pouvait, après lui avoir imparti un délai pour respecter ses obligations et l'avoir avertie des conséquences de son attitude, se prononcer en l'état du dossier. Le cas échéant, il pouvait rejeter la demande présentée par cette partie en considérant que les faits dont elle entendait tirer un droit n'étaient pas démontrés (cf. <ref-ruling> consid. 3b et les références). Au lieu de se prononcer sur le fond, en l'état du dossier, l'assureur pouvait également, selon les circonstances, rendre une décision d'irrecevabilité de la demande dont il était saisi. Il ne devait cependant faire usage de cette possibilité qu'avec la plus grande retenue, autrement dit lorsque un examen sur le fond n'était pas possible sur la base du dossier (cf. <ref-ruling> consid. 2; voir également, Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2ème édition 1999, ch. 275; Kieser, Das Verwaltungsverfahren in der Sozialversicherung, Zurich 1999, no 229, p. 108 s.; Maurer, Schweizerisches Unfallversicherungsrecht, p. 256; Gabriela Riemer-Kafka, Die Pflicht zur Selbstverantwortung, Fribourg 1999, p. 210).
Une décision d'irrecevabilité qui sanctionne un refus de collaborer a le caractère d'une décision au sens de l'art. 5 al. 1 let. c PA. Elle met un terme à la procédure - après clôture de l'instruction - en déclarant irrecevables les conclusions prises par la partie requérante (voir <ref-ruling>; cf. également l'arrêt D. du 14 janvier 2003 [K123/01] résumé dans HAVE [Haftung und Versicherung]/REAS [Responsabilité et assurances], 2/2003 p. 156). En ce sens, elle est une décision finale, qui ne saurait ainsi être qualifiée de simple décision d'ordonnancement de la procédure au sens de l'<ref-law>. Une telle décision d'irrecevabilité est, partant, sujette à opposition et non à un recours direct devant le tribunal cantonal des assurances.
Dans ces conditions, c'est à bon droit que les premiers juges ont décliné leur compétence et considéré l'écriture de l'assuré du 27 février 2003 comme une opposition, qu'ils ont transmise à la caisse de compensation.
4. Vu la nature du litige, la procédure n'est pas gratuite (art. 134 OJ a contrario). Succombant, la recourante en supportera les frais.

Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
2. Les frais de la cause, d'un montant de 500 fr., sont mis à la charge de la Caisse cantonale neuchâteloise de compensation et sont compensés avec l'avance de frais qu'elle a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 25 novembre 2004
Au nom du Tribunal fédéral des assurances
Le Président de la Ire Chambre: Le Greffier: