Faits: A. Le 24 février 2003, la Caisse cantonale neuchâteloise de compensation (ci-après : la caisse) a refusé d'entrer en matière sur une demande présentée le 4 janvier 1999 par M._. Cette demande tendait à la remise de l'obligation de restituer un montant de 16'594 fr. perçu au titre de prestations complémentaires. Cette décision était motivée par le fait que le requérant n'avait pas collaboré à l'instruction du dossier, en refusant de donner suite à deux courriers de la caisse des 5 décembre 2002 et 16 janvier 2003. B. Conformément à l'indication des voies de droit figurant dans la décision, M._ a recouru devant le Tribunal administratif de la République et canton de Neuchâtel par écriture du 27 février 2003. Statuant le 8 avril 2003, le tribunal administratif a décliné sa compétence et a transmis à la caisse l'écriture de l'intéressé comme valant opposition à la décision précitée. C. La caisse interjette un recours de droit administratif dans lequel elle conclut à l'annulation du jugement cantonal et demande au Tribunal fédéral des assurances de dire que le tribunal administratif est compétent pour statuer sur la cause. Dans sa réponse au recours, M._ s'exprime sur le fond du litige. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé. D. Le 25 novembre 2004, la Ière chambre du Tribunal fédéral des assurances a tenu audience.