A.- Par décision du 4 octobre 2000, l'Office fédéral des réfugiés n'est pas entré en matière sur la demande d'asile présentée par B._, ressortissant mauritanien, a retiré l'effet suspensif à un éventuel recours et a invité le prénommé à quitter immédiatement la Suisse, sous peine de refoulement. Après avoir refusé de restituer l'effet suspensif selon décision incidente du 16 octobre 2000, la Commission suisse de recours en matière d'asile a, le 8 novembre 2000, déclaré irrecevable le recours dont elle avait été saisie.
Le 16 novembre 2000, B._ a disparu de l'école où il avait été placé.
Arrêté le 25 novembre 2000 sur la scène de la drogue à Genève, B._ a été remis le lendemain à la Police cantonale valaisanne, à laquelle il a déclaré qu'il refusait de rentrer dans son pays d'origine, qu'il était dépourvu de documents d'identité et qu'il n'avait rien entrepris pour s'en procurer. Par décision du 26 novembre 2000, le Service de l'état civil et des étrangers du canton du Valais (ci-après:
le Service cantonal) a ordonné la mise en détention immédiate de l'intéressé en vue du refoulement pour une durée de trois mois.
Entendu le 29 novembre 2000, B._ a indiqué qu'il était prêt à quitter la Suisse pour se rendre en Italie mais pas dans son pays d'origine. Le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais a, par arrêt du 29 novembre 2000, confirmé la décision précitée du 26 novembre 2000.
B.- Par acte de recours du 4 décembre 2000 adressé au Tribunal fédéral, B._ conclut implicitement à l'annulation de l'arrêt précité et à sa mise en liberté immédiate.
Le Service cantonal propose de rejeter le recours, tandis que le Tribunal cantonal et l'Office fédéral des étrangers ont renoncé à se déterminer.

Considérant en droit :
1.- a) Selon l'art. 13b al. 1 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), si une décision de renvoi ou d'expulsion de première instance a été notifiée à un étranger, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre en détention cette personne, notamment lorsque "des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'elle se refuse à obtempérer aux instructions des autorités" (lettre c; sur les indices de danger de fuite, voir <ref-ruling> consid. 2a; <ref-ruling> consid. 3b/aa; Alain Wurzburger, La jurisprudence récentedu Tribunal fédéral en matière de police des étrangers, in:
RDAF 53/1997 I, p. 267 ss, spéc. p. 332/333).
b) En l'occurrence, les conditions de la détention en vue du refoulement sont manifestement réalisées. Le recourant, qui est sous le coup d'une décision de renvoi de Suisse exécutoire, a déclaré à maintes reprises qu'il refusait de retourner dans son pays d'origine. Peu importe qu'il ait précisé qu'il était disposé à se rendre en Italie, étant donné que le recourant n'a de toute façon entrepris aucune démarche en vue d'obtenir les documents de voyage nécessaires à son départ de Suisse. De plus, il ressort de l'arrêt attaqué - dont les faits lient en principe le Tribunal fédéral (art. 105 al. 2 OJ) - que, le 16 novembre 2000, le recourant a disparu de l'école où il avait été placé, avant d'être appréhendé sur la scène de la drogue à Genève. C'est à tort que le recourant laisse entendre qu'à ce moment-là, il ne savait pas qu'il était tenu de quitter la Suisse. Contrairement à ce qu'il prétend, le prononcé d'irrecevabilité du 8 novembre 2000 de la Commission suisse de recours en matière d'asile a été régulièrement notifié à la dernière adresse connue du recourant. En tout état de cause, l'intéressé avait été dûment informé que durant la procédure d'asile il n'avait pas le droit de quitter le lieu de séjour qui lui avait été assigné, sans le consentement des autorités compétentes.
c) Pour le surplus, il y a lieu de renvoyer aux motifs convaincants de l'arrêt attaqué ainsi qu'aux observations du Service cantonal (art. 36a al. 3 OJ).
2.- Manifestement mal fondé, le recours doit être rejeté selon la procédure simplifiée de l'art. 36a OJ. Succombant, le recourant doit normalement supporter un émolument judiciaire (art. 156 al. 1 OJ). Compte tenu des circonstances, il se justifie néanmoins de statuer sans frais.

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1.- Rejette le recours.
2.- Dit qu'il n'est pas perçu d'émolument judiciaire.
3.- Communique le présent arrêt en copie au recourant, au Service de l'état civil et des étrangers et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'à l'Office fédéral des étrangers.
_
Lausanne, le 13 décembre 2000 LGE/mnv
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,