A.- Le 18 janvier 2001, la Commission suisse de recours en matière d'asile a classé le recours formé par X._, ressortissant lybien, à l'encontre de la décision de refus d'asile et de renvoi de Suisse, sous peine de refoulement, prise le 18 juin 1997 par l'Office fédéral des réfugiés.
Par arrêt du 6 novembre 2001, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Juge de la détention) a confirmé la décision du Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal) mettant en détention en vue du refoulement X._ pour une durée de trois mois au plus, au motif qu'il existait de sérieux indices de danger de fuite au sens de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20).
Par arrêt du 28 décembre 2001 (2A. 574/2001), le Tribunal fédéral a déclaré irrecevable comme recours l'écriture rédigée par X._ le 18 décembre 2001, mais l'a transmise au Juge de la détention pour qu'il la traite comme une demande de levée de détention au sens de l'art. 13c al. 4LSEE.
Par arrêt du 4 janvier 2002, le Juge de la détention a rejeté la requête de libération de X._, considérant en bref que les motifs de détention invoqués dans son arrêt du 6 novembre 2001 subsistaient.
B.- Par acte de recours (rédigé en arabe) adressé le 14 janvier 2002 au Tribunal fédéral - et traduit en français le 17 janvier 2002 -, X._ conclut à ce que sa situation difficile soit prise en considération.
Le Tribunal cantonal et le Service cantonal ont produit le dossier de la cause. Le Service cantonal a demandé au Tribunal fédéral de restituer le dossier d'ici au 1er février 2002, une séance étant fixée le 4 février 2002 devant le Juge de la détention qui devra se déterminer sur la prolongation de la détention du recourant, qui a été mis au bénéfice d'un avocat d'office.

Considérant en droit :
1.- a) Selon l'art. 108 al. 2 OJ, le recours de droit administratif doit contenir notamment des motifs. Certes, la jurisprudence ne pose pas en la matière d'exigences formelles trop sévères, surtout lorsque le recours est formé par un laïc à l'encontre de sa mise en détention de vue de refoulement (cf. <ref-ruling> consid. 3b). Il est cependant nécessaire que l'on puisse déduire de l'acte de recours les points sur lesquels la décision entreprise est critiquée, ce que le recourant demande et sur quels faits il entend se fonder.
Une motivation, même brève, est suffisante (<ref-ruling> ss). Encore faut-il que les motifs avancés se rapportent à l'objet de la contestation, qu'ils soient "sachbezogen" (topiques)(<ref-ruling> consid. 2; voir aussi <ref-ruling> consid. 6b/bb p. 369/370; <ref-ruling> consid. 1b p. 336/337).
b) En l'espèce, l'acte de recours ne remplit manifestement pas ces exigences de motivation. L'objet du litige porte exclusivement sur la légalité de la détention en vue du refoulement du recourant, et non sur la procédure d'asile ou de renvoi (cf. art. 100 al. 1 lettre b ch. 2 et 4 OJ). Or la motivation du recours ne se rapporte pas à la procédure de détention en vue du refoulement, si bien que l'on ignore sur quels points la décision attaquée est critiquée. Le recourant fait uniquement valoir des motifs qui relèvent de la procédure d'asile, qui est définitivement close; il critique implicitement le refus d'asile et la décision de renvoi (exécutoire et définitive). Mais le Tribunal fédéral n'a pas à revoir le bien-fondé de la décision de renvoi, sauf si celle-ci apparaît comme manifestement contraire au droit ou inadmissible (<ref-ruling> consid. 2; <ref-ruling> consid. 2c), ce qui n'est à l'évidence pas le cas en l'espèce.
Dans ces conditions, le présent recours est irrecevable faute de motivation adéquate au sens de l'art. 108 al. 2 OJ.
2.- A titre subsidiaire, on peut relever que le présent recours - supposé recevable - devrait de toute manière être rejeté. C'est à bon droit que le Juge de la détention a rejeté la demande de levée de détention au sens de l'art. 13c al. 4 LSEE; en effet, rien ne permet d'affirmer que le motif de la détention de l'art. 13b al. 1 lettre c LSEE n'existerait plus. Par ailleurs, il ne ressort pas du dossier que l'exécution du renvoi s'avère impossible pour des raisons juridiques ou matérielles (art. 13c al. 5 LSEE). Enfin, il apparaît, en tout cas au moment où l'arrêt attaqué a été rendu (4 janvier 2002), que le principe de diligence consacré par l'art. 13b al. 3 LSEE n'avait pas été violé par les autorités (cf. <ref-ruling> ss).
3.- Vu ce qui précède, le recours doit être déclaré irrecevable selon la procédure simplifiée de l'art. 36a OJ.
Le recourant doit donc normalement supporter un émolument judiciaire (art. 156 al. 1 OJ). Compte tenu des circonstances, il se justifie néanmoins de statuer sans frais.

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1.- Déclare le recours irrecevable.
2.- Dit qu'il n'est pas perçu d'émolument judiciaire.
3.- Communique le présent arrêt en copie au recourant, au Service de l'état civil et des étrangers et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'à l'Office fédéral des étrangers et, pour information, à Me Benoît Rouiller, à Sion.
_
Lausanne, le 22 janvier 2002 LGE/dxc
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,