A.- Par décision du 6 février 1997, finalement confirmée suite à un recours déclaré irrecevable en dernière instance par le Tribunal fédéral le 5 décembre 1997, le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) a imparti à L._ - ressortissant yougoslave né en 1966 - et à sa famille un délai au 20 mars 1997 pour quitter le territoire cantonal.
Le 12 janvier 1998, l'Office fédéral des étrangers a étendu ce prononcé à tout le territoire de la Confédération.
Le 11 janvier 2000, l'Office fédéral des étrangers a refusé d'entrer en matière sur une demande de réexamen de cette décision d'extension et, le 28 février 2000, le Service cantonal a fixé à l'intéressé un ultime délai de départ au 31 mars suivant.
Statuant sur recours de l'intéressé le 28 mars 2000, le Département fédéral de justice et police a confirmé la décision du 11 janvier 2000 de l'Office fédéral des étrangers et a écarté la demande de l'intéressé visant à obtenir une suspension de l'exécution du renvoi.
B.- Entendu par la police valaisanne le 4 avril 2000, L._ a refusé de quitter la Suisse. Il a fait état de la longue durée de son séjour dans ce pays, où ses quatre enfants étaient bien intégrés. Il arguait également de l'impossibilité d'obtenir chez lui les soins qu'exigeait sa mauvaise santé. S'agissant des documents de voyage dont il se prétendait dépourvu, il a déclaré ne pouvoir les obtenir, ni par ses propres moyens, ni avec l'aide de sa famille.
Par décision du même jour, le Service cantonal a ordonné la mise en détention immédiate en vue du refoulement de L._ pour trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices sérieux faisant craindre que l'intéressé entende se soustraire à son renvoi.
Entendu le 7 avril 2000 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), L._ a réitéré ses déclarations. Statuant le même jour, le Tribunal cantonal a confirmé le prononcé du Service cantonal.
C.- Agissant le 1er mai 2000 par la voie du recours de droit administratif, L._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 7 avril 2000 par le Tribunal cantonal. Il requiert en outre l'assistance judiciaire.
Le Service cantonal et le Tribunal cantonal proposent le rejet du recours. L._ confirme ses conclusions par détermination du 9 mai 2000. Le Département fédéral de justice et police n'a pas déposé d'observations.
D.- Le 17 mai 2000, l'intéressé a transmis une copie d'un certificat médical rédigé le 15 mai précédent.

Considérant en droit :
1.- a) Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2a p. 16, 253 consid. 1a p. 254).
Déposé en temps utile et dans les formes prescrites contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale au sens de l'art. 98 lettre g OJ, échappant aux exceptions prévues aux art. 98 à 102 OJ - en particulier à l'art. 100 al. 1 lettre b OJ - et fondée sur le droit public fédéral, le présent recours est en principe recevable en vertu des art. 97 ss OJ.
b) Conformément à l'art. 104 lettre a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation. Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (<ref-ruling> consid. 2 p. 211; <ref-ruling> consid. 1b p. 11). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; <ref-ruling> consid. 1b p. 477 et les arrêts cités, voir aussi <ref-ruling> consid. 2b p. 109).
En revanche, lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1c p. 635). Aussi la possibilité d'alléguer des faits nouveaux ou de faire valoir de nouveaux moyens de preuve est-elle très restreinte (<ref-ruling> consid. 3a p. 221; <ref-ruling> consid. 3a p. 420; <ref-ruling> consid. 1c p. 99; <ref-ruling> consid. 8b p. 33; Fritz Gygi, Bundesverwaltungsrechtspflege, 2e éd., Berne 1983, p. 286/287). En particulier, les modifications ultérieures de l'état de fait ne peuvent normalement pas être prises en considération, car on ne saurait reprocher à une autorité d'avoir mal constaté les faits, au sens de l'art. 105 al. 2 OJ, lorsque ceux-ci ont changé après sa décision (<ref-ruling> consid. 3a p. 221).
Ainsi, en principe, saisi d'un recours contre une décision de détention en vue du refoulement, le Tribunal fédéral se fonde uniquement sur l'état de fait tel qu'il se présentait devant le juge de la détention. Il ne saurait tenir compte des faits que le recourant n'avait pas expressément allégués devant cette autorité ou qui ne ressortaient pas manifestement des pièces alors déposées. Les faits nouveaux doivent être pris en considération par le juge cantonal de la détention (pour autant que les conditions d'une révision ne soient pas remplies) lors de l'examen d'une demande de levée de détention ou, une fois écoulés les trois mois de détention, dans le cadre d'une procédure de prolongation de celle-ci (<ref-ruling> consid. 3a p. 221).
c) Par ailleurs, la nouvelle pièce déposée par le recourant après l'échéance, le 9 mai 2000, du délai imparti pour répliquer aux déterminations des autorités cantonales ne peut être prise en considération.
2.- Selon l'art. 13b al. 1 LSEE, lorsqu'une décision de renvoi ou d'expulsion de première instance a été notifiée à un étranger, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre cette personne en détention, en particulier lorsque "des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'elle se refuse à obtempérer aux instructions des autorités" (lettre c; sur les indices de danger de fuite, voir notamment <ref-ruling> consid. 2a p. 50/51 et Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in: RDAF 53/1997 I, p. 267 ss, spéc. p. 332/333). En principe, la durée de la détention ne peut excéder trois mois; toutefois, elle peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de six mois au maximum, si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion (art. 13b al. 2 LSEE). La détention est subordonnée à la condition que les autorités entreprennent sans tarder les démarches nécessaires à l'exécution du renvoi ou de l'expulsion (art. 13b al. 3 LSEE). Enfin, elle doit être levée lorsque son motif n'existe plus ou que l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles (art. 13c al. 5 lettre a LSEE).
3.- a) En l'espèce, l'autorité intimée a retenu à juste titre que le comportement du recourant faisait craindre qu'il se soustraie à son refoulement.
Il ressort du dossier que le recourant a constamment éludé les prononcés de renvoi dirigés à son encontre.
En particulier, il a d'abord refusé d'exécuter une première décision de renvoi prononcée le 21 avril 1993. Au contraire, il a alors fait venir sa famille en Suisse et, le 30 septembre 1994, a requis une autorisation de séjour de courte durée pour lui-même, son épouse et leurs enfants. A l'issue de la procédure de recours écartant définitivement cette demande par arrêt du Tribunal fédéral du 5 décembre 1997 (2P. 369/1997), il a derechef refusé d'exécuter l'ordre de renvoi et a entamé une nouvelle procédure de recours contre la décision du Service cantonal du 6 janvier 1998 constatant l'entrée en force de sa décision initiale du 6 février 1997.
Enfin, après avoir poursuivi son séjour en Suisse depuis le 8 juillet 1998 à la faveur de la décision de suspension des renvois rendue par le Conseil fédéral au vu de la situation du Kosovo, il s'est à nouveau opposé au renvoi, un délai de départ ayant été fixé le 15 novembre 1999 pour le 31 décembre suivant, par mémoire déposé le 20 décembre 1999 devant l'Office fédéral des étrangers.
Par ailleurs, le recourant a compliqué l'obtention de documents de voyage en égarant les autorités par des affirmations contradictoires quant à ses propres démarches. En particulier, contrairement à l'engagement pris, selon le dossier, le 3 février 1998 devant la police cantonale, il n'est jamais entré réellement en contact avec l'Ambassade de Yougoslavie à Berne et n'a même pas obtenu l'attestation requise certifiant d'une tentative à cet égard, contrairement à ce qui avait été expressément convenu. De même, il a prétendu le 23 février 1998 que ses parents s'occupaient de lui obtenir les documents manquants, alors que, si ces démarches avaient été réellement entreprises, elles auraient vraisemblablement abouti. De plus, toujours selon le dossier, il a évoqué le 4 avril 2000 devant la police cantonale l'hypothèse d'une perte de ses documents trois ans auparavant. Or, on voit mal pourquoi il n'a pas mentionné et vérifié plus tôt une telle éventualité et, à supposer qu'elle soit exacte, force est de constater qu'il n'a ainsi pas obtempéré à une injonction du Service cantonal du 6 février 1997 lui ordonnant de renouveler son passeport.
Enfin, s'il est vrai que la présence en Valais de son épouse et leurs quatre enfants constitue une certaine garantie de stabilité, dans la mesure où l'on imagine mal que le recourant abandonne sa famille ou disparaisse avec elle dans la clandestinité, cet élément ne suffit pas à contrebalancer les indices contraires précités.
b) En outre, les autorités cantonales ont satisfait à leur obligation de diligence imposée par l'art. 13b al. 3 LSEE, consistant à effectuer rapidement les démarches propres à déterminer l'identité et à obtenir les papiers nécessaires au renvoi de l'intéressé, avec ou sans sa collaboration (Andreas Zünd, Die Rechtsprechung des Bundesgerichts zu den Zwangsmassnahmen im Ausländerrecht, in: ZBJV 132/1996 p. 89). En effet, elles ont adressé le 17 février 1998 une demande de réadmission aux autorités de Yougoslavie. Celles-ci ont déjà consenti à l'établissement d'un laissez-passer pour l'épouse du recourant. Il manque actuellement les accords pour le recourant et ses quatre enfants.
Par ailleurs, le Service cantonal a encore relancé le 18 avril 2000 l'Office fédéral des réfugiés à ce sujet, après que l'arrêt attaqué a été pris.
c) Le recourant ne se plaint pas des conditions de sa détention au sens de l'art. 13c al. 3 LSEE, de sorte qu'il n'y a pas lieu de traiter ce point.
d) Il reste à examiner si, conformément à l'art. 13c al. 5 lettre a LSEE, l'exécution du renvoi ne s'avère pas impossible pour des raisons juridiques ou matérielles.
Constituent des motifs juridiques s'opposant au renvoi le principe de non-refoulement ou le fait que l'exécution du renvoi ne peut être raisonnablement exigée (art. 14a al. 3 et 4 LSEE). Le pouvoir d'examen du juge de la détention est toutefois restreint à cet égard: seules font l'objet de la procédure ouverte devant lui la légalité et l'adéquation de la mise en détention elle-même (cf. art. 13c al. 2 LSEE), à l'exclusion des questions relevant de l'asile ou du renvoi, sur lesquelles les autorités compétentes de police des étrangers statuent de manière définitive et obligatoire (art. 100 al. 1 lettre b ch. 4 et 5 OJ et art. 105 de la loi fédérale du 5 octobre 1979 sur l'asile [LAsi; RS 142. 31]). Dans ces conditions, le juge ne doit refuser d'approuver l'ordre de détention que lorsque la décision de renvoi apparaît manifestement inadmissible (cf. <ref-ruling> consid. 2c p. 62; voir aussi <ref-ruling> consid. 2 p. 220).
En l'espèce, le recourant déclare être d'ethnie albanaise mais originaire d'une commune sise en Serbie du Sud, près du Kosovo, vidée de sa population albanaise au profit des troupes serbes chassées du Kosovo. Il lui serait dès lors impossible de se réinstaller dans sa région d'origine, encore moins au Kosovo. Toutefois, comme on l'a vu, ces éléments ne sont pas décisifs dans la présente procédure. Il en va de même des déclarations de l'intéressé relatives à son mauvais état de santé.
Par ailleurs, selon les observations du Service cantonal, au terme de négociations effectuées à Belgrade en février 2000, les autorités yougoslaves ont consenti à reprendre les rapatriements. Dans ces conditions, on ne saurait affirmer que les autorités ne pourront obtenir les laissez-passer nécessaires en temps utile.
Enfin, toujours selon les observations du Service cantonal, au vu des difficultés rencontrées dans la pratique, l'Ambassadeur de Yougoslavie a été convoqué au Département fédéral des affaires étrangères le 4 mai 2000 pour accélérer la procédure.
e) Le Tribunal cantonal pouvait donc, sans violer l'art. 13b al. 1 lettre c LSEE, placer le recourant en détention.
4.- Vu ce qui précède, le recours mal fondé, doit être rejeté. Le recourant ayant requis l'assistance judiciaire et établi que les conditions d'octroi de celle-ci étaient remplies, il convient d'agréer sa demande, soit de renoncer à prélever des frais judiciaires, de désigner Me Aba Neeman à titre d'avocat d'office et d'allouer à celui-ci une indemnité de ce chef (art. 152 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours.
2. Admet la demande d'assistance judiciaire.
3. Dit qu'il n'est pas prélevé d'émolument judiciaire.
4. Désigne comme avocat d'office du recourant Me Aba Neeman, avocat à Monthey, et dit que la Caisse du Tribunal fédéral lui versera une indemnité de 1'200 fr. à titre d'honoraires.
5. Communique le présent arrêt en copie au mandataire du recourant, au Service de l'état civil et des étrangers du canton du Valais, au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 23 mai 2000 RED
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,