A.- Par décision du 6 février 1997, finalement confirmée suite à un recours déclaré irrecevable en dernière instance par le Tribunal fédéral le 5 décembre 1997, le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) a imparti à L._ - ressortissant yougoslave né en 1966 - et à sa famille un délai au 20 mars 1997 pour quitter le territoire cantonal. Le 12 janvier 1998, l'Office fédéral des étrangers a étendu ce prononcé à tout le territoire de la Confédération. Le 11 janvier 2000, l'Office fédéral des étrangers a refusé d'entrer en matière sur une demande de réexamen de cette décision d'extension et, le 28 février 2000, le Service cantonal a fixé à l'intéressé un ultime délai de départ au 31 mars suivant. Statuant sur recours de l'intéressé le 28 mars 2000, le Département fédéral de justice et police a confirmé la décision du 11 janvier 2000 de l'Office fédéral des étrangers et a écarté la demande de l'intéressé visant à obtenir une suspension de l'exécution du renvoi. B.- Entendu par la police valaisanne le 4 avril 2000, L._ a refusé de quitter la Suisse. Il a fait état de la longue durée de son séjour dans ce pays, où ses quatre enfants étaient bien intégrés. Il arguait également de l'impossibilité d'obtenir chez lui les soins qu'exigeait sa mauvaise santé. S'agissant des documents de voyage dont il se prétendait dépourvu, il a déclaré ne pouvoir les obtenir, ni par ses propres moyens, ni avec l'aide de sa famille. Par décision du même jour, le Service cantonal a ordonné la mise en détention immédiate en vue du refoulement de L._ pour trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices sérieux faisant craindre que l'intéressé entende se soustraire à son renvoi. Entendu le 7 avril 2000 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), L._ a réitéré ses déclarations. Statuant le même jour, le Tribunal cantonal a confirmé le prononcé du Service cantonal. C.- Agissant le 1er mai 2000 par la voie du recours de droit administratif, L._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 7 avril 2000 par le Tribunal cantonal. Il requiert en outre l'assistance judiciaire. Le Service cantonal et le Tribunal cantonal proposent le rejet du recours. L._ confirme ses conclusions par détermination du 9 mai 2000. Le Département fédéral de justice et police n'a pas déposé d'observations. D.- Le 17 mai 2000, l'intéressé a transmis une copie d'un certificat médical rédigé le 15 mai précédent.