Faits:
A. D._, né en 1996, est affiliée à la caisse-maladie CSS Assurance (ci-après : CSS) pour l'assurance obligatoire des soins et pour diverses assurances complémentaires (assurance complémentaire Standard Zoom, assurance complémentaire décès et invalidité par accident). La débitrice des primes est sa mère, S._.
Le 11 mai 2001, l'assuré a subi une intervention chirurgicale dentaire à l'hôpital X._. Cette intervention a été pratiquée par son médecin-dentiste traitant, le docteur V._, lequel avait diagnostiqué une atteinte généralisée de la dentition lactéale avec symptomatologie infectieuse et douloureuse.
Ensuite de cette intervention, l'hôpital X._ a adressé à la CSS, le 13 août 2001, une facture de 2'118 fr. 90. Selon un décompte du 1er septembre de la même année, la CSS a versé à cet hôpital, au titre de l'assurance obligatoire, la somme facturée et a demandé à S._ le remboursement de 202 fr. 65 de frais de participation et de 4 fr. 50 de frais de petit-déjeuner. Constatant toutefois avoir commis une erreur, la CSS a annoncé à la mère de l'assuré, par courrier du 8 mars 2002, qu'elle n'était pas en mesure de prendre en charge ladite intervention et qu'elle demanderait prochainement le remboursement des frais payés à tort. Le 21 août suivant, S._ a ainsi été invitée à rembourser, dans les 30 jours, un montant de 1'826 fr. 35, établi selon le calcul suivant:
2'118.90 facture de l'hôpital X._, dont à déduire :
- 202.65 participation
- 4.50 frais non assurés
- 85.40 prise en charge Standard Zoom
1'826.35 total
Aucun paiement n'étant intervenu dans le délai imparti, la CSS a fait notifier, le 22 octobre 2002, un commandement de payer à la mère de l'assuré. Cette dernière y a fait opposition mais, par décision du 8 novembre 2002, la CSS a levé celle-ci et considéré que S._ restait débitrice de la somme de 1'826 fr. 35, frais en sus.
La mère de l'assuré a formé opposition et, par décision sur opposition du 2 mai 2003, la CSS a persisté dans son refus de prise en charge.
B. Par jugement du 10 octobre 2003, le Tribunal des assurances du canton du Valais a rejeté le recours formé par l'assuré contre cette décision. Il a retenu que l'affection dentaire présentée par D._ était due à une atteinte carieuse et que, par conséquent, dans la mesure où la carie fait partie des pathologies évitables par le biais d'une bonne hygiène buccale et dentaire, son traitement était exclu du cercle des prestations obligatoires de l'assurance-maladie.
C. D._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi du dossier pour complément d'instruction.
La CSS conclut au rejet du recours, alors que l'Office fédéral des assurances sociales renonce à se déterminer.

Considérant en droit:
1. Le litige porte sur la restitution de la somme de 1'826 fr. 35, somme versée au titre de l'assurance obligatoire des soins.
2. Le recourant soutient que la demande de restitution est mal fondée. Dans la mesure où l'affection dentaire dont il souffrait représentait une entrave au développement ordonné de la dentition en développement, son traitement devait être pris en charge par l'intimée au titre de l'assurance obligatoire des soins. Insistant sur le caractère pathologique de l'affection - à l'âge de trente mois, sa dentition s'effritait déjà - il estime que la juridiction cantonale ne pouvait pas ignorer un problème de cette nature et devait, à tout le moins, ordonner une instruction complémentaire.
3. 3.1 Selon l'<ref-law>, l'assurance obligatoire des soins prend en charge les coûts des prestations qui servent à diagnostiquer ou à traiter une maladie et ses séquelles (al. 1). Ces prestations comprennent notamment les examens, traitements et soins dispensés sous forme ambulatoire au domicile du patient, en milieu hospitalier ou semi-hospitalier ou dans un établissement médico-social par des médecins, des chiropraticiens et des personnes fournissant des prestations sur prescription ou sur mandat médical (al. 2 let. a).
Les coûts des soins dentaires ne sont pas visés par cette disposition légale. D'après l'<ref-law>, ils sont pris en charge par l'assurance obligatoire des soins s'ils sont occasionnés par une maladie grave et non évitable du système de la mastication (let. a), ou s'ils sont occasionnés par une autre maladie grave ou ses séquelles (let. b) ou encore s'ils sont nécessaires pour traiter une maladie grave ou ses séquelles (let. c).
3.2 Conformément à l'art. 33 al. 2 et 5 LAMal, en liaison avec l'art. 33 let. d OAMal, le Département fédéral de l'intérieur a édicté les articles 17, 18 et 19 de l'Ordonnance sur les prestations dans l'assurance obligatoire des soins en cas de maladie (OPAS), qui se rapportent à chacune des éventualités prévues à l'art. 31 al. 1 let. a à c LAMal. Selon une jurisprudence constante, la liste des affections de nature à nécessiter des soins dentaires à la charge de l'assurance obligatoire des soins en cas de maladie est exhaustive (<ref-ruling> consid. 3.2, 127 V 332 consid. 3a et 343 consid. 3b, 124 V 185).
A l'<ref-law>, sont énumérées les maladies graves et non évitables du système de la mastication au sens de l'<ref-law>, qui ouvrent droit à la prise en charge des coûts des traitements dentaires par l'assurance obligatoire des soins.
3.3 Selon la jurisprudence, est "évitable" toute maladie du système de la mastication qui peut être évitée par une bonne hygiène buccale et dentaire. Dans ce sens, sont visées la carie et la parodontite (<ref-ruling> consid. 3.3, 125 V 19 sv. consid. 3a; SVR 1999 KV 11 p. 25 consid. 1b/aa).
4. Le traitement dentaire litigieux n'entre dans aucune des prévisions envisagées par les dispositions pertinentes de la LAMal et de l'OPAS. En particulier, on n'est pas en présence d'un cas de dislocation dentaire au sens de l'<ref-law> (cf. <ref-ruling> consid. 3c/bb). C'est en vain dès lors que le recourant se prévaut de la jurisprudence rendue à propos de cette disposition et qui, notamment, établit une distinction entre dentition en développement et dentition définitive (voir p. ex. <ref-ruling>).
5. Le traitement n'étant pas à la charge de l'assurance-maladie sociale, il reste à examiner la question de la restitution.
5.1 La décision sur opposition a été rendue après l'entrée en vigueur de la LPGA, mais elle concerne des prestations allouées avant le 1er janvier 2003. Au titre des dispositions transitoires de la LPGA, l'art. 82 al. 1 première phrase LPGA prescrit que les dispositions matérielles de la présente loi ne sont pas applicables aux prestations en cours et aux créances fixées avant son entrée en vigueur. Dans les travaux préparatoires de la LPGA, l'<ref-law> (alors art. 32 du projet), relatif à la restitution des prestations indûment touchées est spécialement mentionné comme exemple d'une disposition qui ne serait pas applicable à des prestations déjà versées avant l'entrée en vigueur de la loi (FF 1991 II p. 266 sv). En revanche, selon Ueli Kieser (ATSG-Kommentar, note 9 ad art. 82), dans la mesure où la question de la restitution se pose après le 1er janvier 2003, le nouveau droit est applicable dès lors qu'il est statué sur la restitution après son entrée en vigueur et quand bien même la restitution porte sur des prestations accordées antérieurement.
5.2 La question du droit pertinent ratione temporis ne revêt toutefois pas une importance décisive en l'occurrence, du moment que les principes applicables à la restitution selon la LPGA sont issus de la réglementation et de la jurisprudence antérieures (Ueli Kieser, op. cit., note 9 ad art. 82).
Plus précisément, jusqu'au 31 décembre 2002, l'<ref-law> (abrogé avec l'entrée en vigueur de la LPGA) était applicable par analogie à la restitution par un assuré de prestations d'assurance-maladie sociale indûment versées (<ref-ruling>). L'<ref-law> (en vigueur depuis le 1er janvier 2003) prévoit que les prestations indûment touchées doivent être restituées; la restitution ne peut être exigée lorsque l'intéressé était de bonne foi et le mettrait dans une situation difficile. Cette disposition est désormais directement applicable en matière d'assurance-maladie (<ref-law> en corrélation avec l'<ref-law>). En ce qui concerne l'obligation de restituer comme telle, l'<ref-law> ne fait que reprendre la réglementation de l'<ref-law> qui était jusque là applicable soit directement, soit par renvoi ou encore par analogie dans d'autres domaines du droit des assurances sociales (Patrice Keller, La restitution des prestations indûment touchées dans la LPGA, in : Partie générale du droit des assurances sociales, Lausanne, 2003, p. 149 ss, plus spécialement p. 167 ss). Comme par le passé, l'obligation de restituer suppose aujourd'hui encore, conformément à la jurisprudence rendue à propos de l'<ref-law> ou de l'<ref-law> (<ref-ruling> consid. 1.1, 126 V 23 consid. 4b, 122 V 21 consid. 3a, 368 consid. 3, et les arrêts cités) que soient remplies les conditions d'une reconsidération ou d'une révision procédurale de la décision - formelle ou non - par laquelle les prestations en cause ont été allouées, (Ueli Kieser, op. cit., note 2 ss ad art. 25; Thomas Locher, Grundriss des Sozialversicherungsrechts, Berne 2003 § 42, p. 279; Edgar Imhof/Christian Zünd, ATSG und Arbeitslosenversicherung, in: RSAS 2003 p. 304 sv. [à propos de l'<ref-law>]; Jürg Brechbühl, Umsetzung des ATSG auf Verordnungsebene / Verordnung zum Allgemeinen Teil des Sozialversicherungsrechts, in : Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts [ATSG], Saint-Gall 2003, p. 208).
5.3 Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable. Par le biais de la reconsidération, on corrigera une application initiale erronée du droit, de même qu'une constatation erronée résultant de l'appréciation des faits (<ref-ruling> consid. 2c, 115 V 314 consid. 4a/cc). En outre, par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 4b et les références citées). A noter que la révision et la reconsidération sont désormais explicitement réglées à l'<ref-law>.
6. 6.1 En l'espèce, c'est de toute évidence par erreur que la CSS a remboursé à l'hôpital X._ sa facture du 13 août 2001 (sous déduction de la participation, de frais non assurés et de la prise en charge par l'assurance «Standard Zoom»), au titre de l'assurance-obligatoire des soins. Ce paiement ne reposait sur aucune base juridique pertinente. Comme le relèvent les premiers juges, la symptomatologie infectieuse est en l'espèce la conséquence de caries, dont le traitement, de par la volonté claire du législateur, ne saurait être à la charge de l'assurance obligatoire des soins (Gebhard Eugster, Aspects des soins dentaires selon l'<ref-law> à la lumière du droit de l'assurance-maladie [traduction française de Beat Raemy] in : Revue mensuelle suisse d'odontostomatologie, vol. 107 [1997], p. 116 ss). La décision (non formelle) de l'intimée d'accorder ses prestations dans ce cas, en dehors d'un état de fait visé par les dispositions de l'OPAS, était donc entachée d'inexactitude manifeste (cf. également SVR 2001 KV no 42 p. 121 consid. 6c). En outre, la condition de l'importance notable est remplie.
6.2 En principe, c'est le destinataire de la prestation versée indûment qui est débiteur de l'obligation de restituer. En matière d'assurance-maladie, le débiteur de cette obligation est l'assuré concerné même si le paiement a été effectué - comme en l'espèce - en mains du prestataire de soins, en l'occurrence l'établissement hospitalier (cf. SVR 2001 KV no 42 p. 121 consid. 6a; arrêt B. du 16 mai 2000 [K 128/99]; Ueli Kieser, op. cit. note 15 ad art. 25).
7. De ce qui précède, il résulte que la décision de restitution, était justifiée. Demeure réservée, comme l'ont noté les premiers juges, une remise de l'obligation de restituer, question qui ne fait pas l'objet de la présente procédure.
8. Il s'ensuit que le recours est mal fondé. Vu la nature du litige, il n'y a pas lieu à perception de frais.

Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
3. L'avance de frais versée par le recourant, d'un montant de 600 fr., lui est restituée.
4. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances et à l'Office fédéral de la santé publique.
Lucerne, le 12 mars 2004
Au nom du Tribunal fédéral des assurances
Le Président de la Ire Chambre: La Greffière: