A.- Le 10 août 1998, l'Office fédéral des réfugiés a rejeté la seconde demande d'asile déposée par B._, d'origine palestinienne, et sommé celui-ci de quitter la Suisse jusqu'au 30 septembre 1998, sous peine de refoulement.
Placé en détention préventive le 10 juin 1998, B._ a été condamné, le 11 novembre 1998, à une peine de vingt et un mois de réclusion et à l'expulsion de Suisse d'une durée de huit ans pour vol et dommages à la propriété.
Il a été libéré, à titre conditionnel, le 10 août 1999. Le 30 novembre 1999, il a été arrêté à l'aéroport de Zurich alors qu'il était en possession d'un faux passeport hollandais.
Le 3 décembre 1999, il a été condamné de ce chef à septante-cinq jours d'emprisonnement. Après avoir purgé sa peine, l'intéressé a été remis aux autorités valaisannes chargées de l'exécution de son renvoi.
Par décision du 13 février 2000, le Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal) a ordonné la mise en détention de B._ pour une durée de trois mois, au motif que l'intéressé, dépourvu de papiers d'identité, refusait de rentrer dans son pays d'origine et qu'il n'avait entrepris aucune démarche en vue de se procurer des documents d'identité ou de voyage nécessaires à son départ de Suisse.
B._ ayant été entendu, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais a, par arrêt du 17 février 2000, autorisé la détention de l'intéressé pour une durée de trois mois.
Par lettre du 6 mars 2000, la Délégation Générale de Palestine en Suisse a informé les autorités valaisannes qu'elle ne pouvait, dans la situation actuelle, délivrer un laissez-passer en faveur de B._.
B.- Par acte de recours du 15 mars 2000, B._ demande au Tribunal fédéral d'annuler cet arrêt du 17 février 2000 et d'ordonner sa mise en liberté immédiate.
Le Service cantonal conclut au rejet du recours. Le Tribunal cantonal a renoncé à se déterminer.

Considérant en droit :
1.- a) Selon l'art. 13b al. 1 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), si une décision de renvoi ou d'expulsion de première instance a été notifiée à un étranger, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre en détention cette personne, notamment lorsque "des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'il se refuse à obtempérer aux instructions des autorités" (lettre c; sur les indices de danger de fuite, voir notamment <ref-ruling> consid. 2a).
b) En l'occurrence, il existe un faisceau d'indices sérieux permettant d'affirmer que le recourant, qui est sous le coup d'une décision de renvoi de Suisse et d'une expulsion judiciaire exécutoires, a l'intention de se soustraire au refoulement. Il ressort du dossier que le recourant a commis diverses infractions pénales en Suisse non seulement avant, mais encore après son renvoi prononcé le 10 août 1998. Après sa libération conditionnelle survenue le 10 août 1999, le recourant ne s'est pas tenu à disposition des autorités valaisannes, chargées d'organiser son départ de Suisse, mais est entré dans la clandestinité. Par ailleurs, il n'est pas contesté que le recourant, dépourvu de toute pièce d'identité, n'a entrepris aucune démarche pour se procurer des documents d'identité ou de voyage nécessaires à l'exécution de son renvoi de Suisse. A cela s'ajoute qu'il a déclaré à maintes reprises ne pas vouloir quitter la Suisse pour rentrer dans son pays d'origine. Il prétend certes que sa vie serait en danger s'il retournait en Palestine. Mais, outre qu'il n'a pas rendu vraisemblable l'existence d'un danger concret, force est de constater qu'un tel argument relève de la procédure d'asile qui, en l'espèce, est définitivement close. En effet, la présente procédure porte uniquement sur la légalité et la proportionnalité de la détention de l'intéressé. Le Tribunal fédéral n'a dès lors pas à examiner le bien-fondé de la décision de renvoi, sauf si celle-ci est manifestement contraire au droit ou inadmissible (<ref-ruling> consid. 2; <ref-ruling> consid. 2c), ce qui n'est à l'évidence pas le cas en l'espèce.
c) Il apparaît par ailleurs que la mise en détention du recourant respecte à la fois le principe de la proportionnalité et celui de la diligence consacré par l'art. 13b al. 3 LSEE. Enfin, l'exécution du refoulement de l'intéressé ne s'avère pas d'emblée impossible pour des raisons juridiques ou matérielles (art. 13c al. 5 lettre a LSEE), même si la Délégation Générale de Palestine en Suisse a refusé de délivrer un laissez-passer en faveur de B._. Car, d'après ses observations, le Service cantonal a demandé l'assistance de l'Office fédéral des réfugiés afin d'obtenir les documents de voyage nécessaires au départ du recourant et une réponse est attendue pour le courant du mois d'avril. En l'état des choses, on ne saurait donc affirmer que l'exécution du renvoi s'avère d'emblée impossible dans un proche avenir, soit avant l'écoulement du délai de détention.
d) S'agissant des prétendus mauvais traitements subis par le recourant durant sa détention (menottes aux chevilles à l'occasion d'une visite chez le dentiste), il y a lieu de renvoyer aux explications convaincantes contenues dans les observations du Service cantonal (art. 36a al. 3 OJ).
2.- Manifestement mal fondé, le recours doit être rejeté selon la procédure simplifiée de l'art. 36a OJ. Succombant, le recourant doit normalement supporter un émolument judiciaire (art. 156 al. 1 OJ). Compte tenu notamment de sa situation financière, il se justifie néanmoins de statuer sans frais.

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1.- Rejette le recours.
2.- Dit qu'il n'est pas perçu d'émolument judiciaire.
3.- Communique le présent arrêt en copie au recourant, au Service de l'état civil et des étrangers et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 28 mars 2000 LGE/mnv
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président, Le Greffier,