A.- T._, alias X._, de nationalité incertaine, né en 1982, est arrivé en Suisse au cours de l'année 2000 et y a déposé une demande d'asile le 30 août 2000.
Le 19 septembre 2000, l'Office fédéral des réfugiés (ci-après: l'Office fédéral) a décidé de ne pas entrer en matière sur cette demande, de renvoyer l'intéressé de Suisse, de lui enjoindre de quitter immédiatement ce pays sous peine de refoulement, de charger le canton du Valais de l'exécution du renvoi et de retirer l'effet suspensif à un éventuel recours contre cette décision. Le 25 novembre 2000, T._ a disparu du foyer où il vivait. Le 5 décembre 2000, la Commission suisse de recours en matière d'asile a rayé du rôle le recours formé par l'intéressé contre la décision de l'Office fédéral du 19 septembre 2000.
T._ semble avoir vécu à Genève. Le 27 mars 2001, le Juge d'instruction du canton de Genève l'a condamné à quinze jours d'emprisonnement sous déduction de cinq jours et prononcé son expulsion pour cinq ans. Le 22 juillet 2001, l'intéressé a été arrêté à Bâle. Le lendemain, il a été renvoyé à Sion où il a été pris en charge par les autorités valaisannes compétentes.
B.- Le 23 juillet 2001, le Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal) a ordonné la mise en détention de T._ pour une durée maximale de trois mois sur la base en particulier de l'art. 13b lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20).
Cette décision a été confirmée par un arrêt rendu le 26 juillet 2001 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal).
C.- A deux reprises, le 9 octobre 2001 et le 7 janvier 2002, le Service cantonal a proposé la prolongation de la détention de T._ en vue du refoulement pour une durée maximale de trois mois, sur la base en particulier de l'art. 13b al. 2 LSEE. Le Tribunal cantonal a accordé la première prolongation jusqu'au 26 janvier 2002, par arrêt du 22 octobre 2001, et la deuxième jusqu'au 23 avril 2002, par arrêt du 22 janvier 2002, en rejetant chaque fois la demande de libération de l'intéressé.
D.- T._ a déposé au Tribunal cantonal un recours contre son arrêt du 22 janvier 2002. Le Tribunal cantonal a transmis le recours et le dossier de la cause au Tribunal fédéral, en précisant qu'il renonçait à déposer des observations.
Le Service cantonal conclut au rejet du recours.
Ni T._ ni le Département fédéral de justice et police n'ont déposé de déterminations dans les délais impartis.

Considérant en droit :
1.- L'intéressé n'a pas indiqué par quelle voie de recours il procède auprès du Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte.
Il convient en l'espèce d'examiner si l'acte de recours remplit les conditions de recevabilité du recours de droit administratif. On peut douter que tel soit le cas au regard de l'art. 108 OJ. La question peut cependant rester ouverte, car le recours doit de toute façon être rejeté.
2.- Selon l'art. 13b al. 1 lettre c LSEE, si une décision de renvoi ou d'expulsion de première instance a été notifiée, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre la personne concernée en détention, en particulier, "lorsque des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'elle se refuse à obtempérer aux instructions des autorités" (sur les indices de danger de fuite, voir notamment <ref-ruling> consid. 2a p. 50/51 et Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 1997 1 267, p. 332/333). En principe, la durée de la détention ne peut excéder trois mois; toutefois, elle peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de six mois au maximum, si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion (art. 13b al. 2 LSEE). La détention est subordonnée à la condition que les autorités entreprennent sans tarder les démarches nécessaires à l'exécution du renvoi ou de l'expulsion (art. 13b al. 3 LSEE). Enfin, elle doit être levée notamment lorsque son motif n'existe plus ou que l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles (art. 13c al. 5 lettre a LSEE).
3.- Le recourant a été mis, puis maintenu, en détention en vue du refoulement sur la base de l'art. 13b al. 1 lettre c LSEE, des indices concrets faisant craindre qu'il n'entende se soustraire à son renvoi.
Le recourant a fait l'objet, le 19 septembre 2000, d'une décision de renvoi immédiat de première instance. Il ne s'est cependant pas rendu à la convocation du Service cantonal pour un entretien, le 28 septembre 2000, afin de préparer son départ de Suisse. Le 25 novembre 2000, il a quitté sans autorisation le foyer où il vivait et est entré dans la clandestinité.
Le 23 juillet 2001, l'intéressé a déclaré qu'il n'avait pas entrepris de démarches pour se procurer un document de voyage valable, qu'il avait téléphoné à sa famille en Palestine pour obtenir un document officiel prouvant son identité et sa nationalité et qu'on lui avait répondu qu'il ne pouvait pas en recevoir. C'est seulement à partir du 23 octobre 2001 qu'il a décidé de contacter ses parents au Maroc pour qu'ils lui fassent parvenir un extrait d'acte de naissance.
Si l'on excepte ses propos du 23 octobre 2001, le recourant a systématiquement refusé de rentrer chez lui d'où qu'il vînt. Par ailleurs, depuis qu'il a déposé une demande d'asile, l'intéressé a varié dans ses déclarations sur son identité, son âge et sa nationalité. D'après le dossier, il a notamment utilisé les identités suivantes: T._, A._, B._ alors qu'il s'appellerait en réalité X._. Il a affirmé être né en 1983, bien que certains indices fassent remonter sa naissance à 1981. Le 23 octobre 2001, il a admis être de 1981 et, actuellement, il affirme être né le 12 juin 1982. En outre, il a prétendu être tantôt palestinien tantôt marocain. Au demeurant, il a donné des renseignements contradictoires sur les membres de sa famille.
Les conditions de l'art. 13b al. 1 lettre c LSEE sont donc remplies en l'espèce.
4.- Il convient d'examiner si les autorités ont agi avec diligence et si le renvoi paraît possible dans un délai prévisible (art. 13b al. 3 et 13c al. 5 lettre a a contrario LSEE).
Le manque de coopération de la part de l'étranger ne permet pas aux autorités cantonales de rester inactives; elles doivent au contraire essayer notamment de déterminer son identité et d'obtenir les papiers nécessaires à son renvoi, avec ou sans sa collaboration (cf. <ref-ruling>).
Il ressort du dossier que les autorités valaisannes compétentes ont effectué différentes démarches. Elles ont organisé d'entente avec les autorités bâloises compétentes le transfert de l'intéressé sur territoire valaisan, après son arrestation à Bâle le 22 juillet 2001. Elles ont procédé à son audition à son arrivée à Sion le 23 juillet 2001. Les 24/ 25 juillet 2001, elles ont adressé à l'Office fédéral une demande de soutien à l'exécution du renvoi et de couverture financière.
Le 26 juillet 2001, le Service cantonal a demandé à l'Office fédéral d'effectuer des comparaisons dactyloscopiques avec les pays limitrophes, notamment avec la France. Le 7 septembre 2001, il a relancé l'Office fédéral pour savoir ce qu'avaient donné ses recherches ainsi que les démarches en vue de l'obtention d'un laissez-passer. Le 10 septembre 2001, l'Office fédéral a répondu que l'intéressé avait été présenté à l'Ambassade du Maroc le 3 septembre 2001 et que la procédure d'identification durait généralement six mois auprès des autorités marocaines; en outre, l'Office fédéral avait demandé qu'une expertise linguistique fût faite; de plus, une comparaison dactyloscopique avait été entamée avec l'Italie, la France et l'Espagne. Le 24 septembre 2001, l'Office fédéral a demandé au Service cantonal de convoquer l'intéressé pour une analyse de provenance fixée le 15 octobre 2001. Le 24 octobre 2001, les autorités valaisannes compétentes ont transmis une copie des déclarations faites la veille par le recourant à l'Office fédéral en lui demandant d'intervenir une nouvelle fois auprès de l'Ambassade du Maroc à Berne, en vue de la délivrance d'un laissez-passer pour permettre le retour de l'intéressé dans sa patrie. Le 31 octobre 2001, les autorités valaisannes compétentes ont transmis à l'Office fédéral un extrait de l'acte de naissance de l'intéressé. Donnant suite à une demande de l'Ambassade du Maroc à Berne, elles ont envoyé de nouvelles fiches d'empreintes digitales à l'Office fédéral, le 23 novembre 2001. Le 3 janvier 2002, le Service cantonal a demandé à l'Office fédéral où en étaient les démarches pour l'obtention d'un laissez-passer, quels étaient les espoirs d'en recevoir un et, le cas échéant, dans quel délai. Le 16 janvier 2002, les autorités valaisannes compétentes ont transmis un deuxième extrait d'acte de naissance accompagné d'une lettre en provenance du Maroc à l'Office fédéral, en lui offrant de procéder si nécessaire à des démarches complémentaires, afin d'obtenir un laissez-passer. Le 17 janvier 2002, le Service cantonal a demandé à l'Ambassade de Suisse à Rabat de notifier une lettre urgente à Y._ qui, du Maroc, avait envoyé des renseignements sur l'intéressé.
Enfin, lors de la séance du 22 janvier 2002 devant le Tribunal cantonal, le Service cantonal a indiqué que l'Office fédéral avait confirmé qu'un laissez-passer arriverait dans les semaines suivantes.
Dans ces conditions, force est de constater que les autorités compétentes, notamment le Service cantonal, ont effectué avec une diligence suffisante les démarches en vue du renvoi du recourant dans son pays d'origine. De plus, en l'état, rien n'indique que ces efforts ne pourraient aboutir, ni que le refoulement ne pourrait être réalisé dans un délai prévisible.
5.- Le recours est manifestement mal fondé en tant que recevable. Il doit être rejeté dans la mesure où il est recevable, selon la procédure simplifiée de l'art. 36a OJ.
Succombant, le recourant devrait en principe supporter les frais judiciaires (art. 156 al. 1 OJ). Toutefois, dans les cas de ce genre, où l'intéressé manque de moyens financiers et subit une atteinte importante à sa liberté personnelle, le Tribunal fédéral statue sans frais (art. 154 OJ). Il n'y a pas de raison particulière de déroger à cette pratique en l'espèce.

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ :
1. Rejette le recours dans la mesure où il est recevable.
2. Dit qu'il n'est pas perçu d'émolument judiciaire.
3. Communique le présent arrêt en copie au recourant, au Service de l'état civil et des étrangers et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 18 février 2002 DAC/elo
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,