A.- Par décision du 30 décembre 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur une demande d'asile déposée par X._ - ressortissant de la République démocratique du Congo né en 1970 - et a ordonné à l'intéressé de quitter immédiatement la Suisse sous peine de refoulement à exécuter par le canton du Valais. Il a retenu ne pouvoir accorder aucun crédit aux allégations de X._, qui prétendait notamment être rentré dans la République démocratique du Congo après le rejet d'une première demande d'asile. L'intéressé a recouru contre ce prononcé auprès de la Commission suisse de recours en matière d'asile.
Celle-ci a exprimé le même scepticisme le 28 janvier 2000 et a déclaré le recours irrecevable le 29 février 2000.
B.- Le 2 mars 2000, l'Office fédéral des réfugiés a enjoint à X._ de quitter la Suisse le 29 mars suivant au plus tard.
En vue d'organiser ce départ, le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) a convoqué l'intéressé le 6 mars 2000 pour le 13 mars suivant, puis, X._ ne s'étant pas présenté, le 15 mars 2000 pour le 21 mars suivant. En vain.
C.- Entendu le 29 mars 2000 par la police valaisanne, l'intéressé a déclaré avoir averti par téléphone le Service cantonal qu'il ne pourrait se présenter le 13 mars 2000 au motif qu'il était déjà attendu à la mairie de Z._.
Par ailleurs, il avait définitivement quitté son foyer d'hébergement à Sion depuis cette date, raison pour laquelle il n'avait pas reçu la seconde convocation pour le 21 mars 2000. Il admettait toutefois avoir été avisé de son obligation de revenir le 20 mars 2000 en Valais. Enfin, arguant d'un projet de mariage, il a refusé de rentrer dans la République démocratique du Congo et déclaré n'avoir entrepris aucune démarche afin d'obtenir un document de voyage, précisant cependant avoir déposé à la mairie de Z._, en vue de cette union, divers documents établis dans son pays en janvier et février 2000.
Par décision du même jour, le Service cantonal a ordonné la mise en détention immédiate en vue du refoulement de X._ pour une durée de trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices faisant craindre que l'intéressé entende se soustraire à son renvoi.
Entendu le 31 mars 2000 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), X._ a réitéré ses déclarations. Statuant le même jour, le Tribunal cantonal a confirmé le prononcé du Service cantonal.
D.- Agissant le 1er mai 2000 par la voie du recours de droit administratif, de son propre chef et par l'intermédiaire de son mandataire, X._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 31 mars 2000 par le Tribunal cantonal et de renvoyer la cause à cette autorité pour qu'elle statue dans le sens des considérants. Il se plaint d'une constatation incomplète des faits pertinents et invoque en particulier l'art. 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101).
Le Service cantonal et le Tribunal cantonal concluent au rejet du recours. L'Office fédéral des étrangers n'a pas déposé d'observations. De son côté, X._ ne s'est pas exprimé sur la réponse du Service cantonal.

Considérant en droit :
1.- a) Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2a p. 16, 253 consid. 1a p. 254).
Déposé en temps utile et dans les formes prescrites contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale au sens de l'art. 98 lettre g OJ, échappant aux exceptions prévues aux art. 98 à 102 OJ - en particulier à l'art. 100 al. 1 lettre b OJ - et fondée sur le droit public fédéral, le présent recours est en principe recevable en vertu des art. 97 ss OJ.
b) Conformément à l'art. 104 lettre a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation.
Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (<ref-ruling> consid. 2 p. 211; <ref-ruling> consid. 1b p. 11). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; <ref-ruling> consid. 1b p. 477 et les arrêts cités, voir aussi <ref-ruling> consid. 2b p. 109).
En revanche, lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1c p. 635). Aussi la possibilité d'alléguer des faits nouveaux ou de faire valoir de nouveaux moyens de preuve est-elle très restreinte (<ref-ruling> consid. 3a p. 221; <ref-ruling> consid. 3a p. 420; <ref-ruling> consid. 1c p. 99; <ref-ruling> consid. 8b p. 33; Fritz Gygi, Bundesverwaltungsrechtspflege, 2e éd., Berne 1983, p. 286/287). En particulier, les modifications ultérieures de l'état de fait ne peuvent normalement pas être prises en considération, car on ne saurait reprocher à une autorité d'avoir mal constaté les faits, au sens de l'art. 105 al. 2 OJ, lorsque ceux-ci ont changé après sa décision (<ref-ruling> consid. 3a p. 221).
Ainsi, en principe, saisi d'un recours contre une décision de détention en vue du refoulement, le Tribunal fédéral se fonde uniquement sur l'état de fait tel qu'il se présentait devant le juge de la détention. Il ne saurait tenir compte des faits que le recourant n'a pas expressément allégués devant cette autorité ou qui ne ressortaient pas manifestement des pièces alors déposées. Les faits nouveaux doivent être pris en considération par le juge cantonal de la détention (pour autant que les conditions d'une révision ne soient pas remplies) lors de l'examen d'une demande de levée de détention ou, une fois écoulés les trois mois de détention, dans le cadre d'une procédure de prolongation de celle-ci (<ref-ruling> consid. 3a p. 221).
2.- Selon l'art. 13b al. 1 LSEE, lorsqu'une décision de renvoi ou d'expulsion de première instance a été notifiée à un étranger, l'autorité cantonale compétente peut, aux fins d'en assurer l'exécution, mettre cette personne en détention, en particulier lorsque "des indices concrets font craindre qu'elle entend se soustraire au refoulement, notamment si son comportement jusqu'alors mène à conclure qu'elle se refuse à obtempérer aux instructions des autorités" (lettre c; sur les indices de danger de fuite, voir notamment <ref-ruling> consid. 2a p. 50/51 et Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in: RDAF 53/1997 I, p. 267 ss, spéc.
p. 332/333). En principe, la durée de la détention ne peut excéder trois mois; toutefois, elle peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de six mois au maximum, si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion (art. 13b al. 2 LSEE). La détention est subordonnée à la condition que les autorités entreprennent sans tarder les démarches nécessaires à l'exécution du renvoi ou de l'expulsion (art. 13b al. 3 LSEE). Enfin, selon l'art. 13c al. 5 lettre a LSEE, elle doit être levée lorsque son motif n'existe plus ou que l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles (voir, sur l'ensemble de ces points, les arrêts cités in <ref-ruling> consid. 3a p. 374).
3.- a) En l'espèce, l'autorité intimée a retenu à juste titre que le comportement du recourant faisait craindre qu'il se soustraie à son refoulement.
Le recourant refuse expressément de rentrer dans son pays et n'a pas respecté le délai de départ fixé au 29 mars 2000. Certes, il n'a pas disparu dans la clandestinité dès lors que, par lettres de son conseil figurant au dossier, il a informé le 22 mars 2000 les autorités fédérales et cantonales qu'il résidait à Z._ chez son amie Y._, mais il n'en demeure pas moins qu'il n'a pas obtempéré, sans justification valable, à deux convocations successives du Service cantonal et qu'il a quitté le territoire valaisan sans autorisation. De plus, il refuse de collaborer à l'obtention de documents de voyage, alors que, selon le dossier, il a su se procurer en janvier et février de cette année des papiers d'identité présumés authentiques tels qu'un acte de naissance, une attestation de célibat ainsi qu'une attestation tenant lieu de certificat de nationalité.
Par ailleurs, selon le dossier et les observations du Service cantonal, la disparition du recourant a été constatée le 6 juin 1999, après le rejet définitif, le 25 février 1999, d'une première demande d'asile déposée le 27 mars 1998. En outre, la deuxième requête, déposée le 2 décembre 1999, a été rejetée le 30 décembre suivant au motif qu'aucun crédit ne pouvait être accordé aux allégations de l'intéressé, ce qui tend à apparenter ces démarches à un abus de droit.
Enfin, ses intentions de mariage ne conduisent pas à un autre résultat. En effet, le lien apparaît récent, le projet n'a été allégué qu'une semaine avant l'expiration du délai de départ et, selon la lettre de Y._ du 18 avril 2000 annexée au recours, celle-ci est âgée de quarante-six ans, soit de dix-sept ans de plus que le recourant, de sorte que, si l'on ne saurait conclure sans autre preuve ou indice à un mariage fictif, le recourant ne démontre pas que cette relation est suffisamment sérieuse pour constituer une garantie de stabilité propre à contrebalancer les éléments précités.
b) Les autorités cantonales ont satisfait à leur obligation de diligence imposée par l'art. 13b al. 3 LSEE, consistant à effectuer rapidement les démarches propres à déterminer l'identité et à obtenir les papiers nécessaires au renvoi de l'intéressé, avec ou sans sa collaboration (Andreas Zünd, Die Rechtsprechung des Bundesgerichts zu den Zwangsmassnahmen im Ausländerrecht, in: ZBJV 132/1996p. 89). En effet, selon ses observations, le Service cantonal a effectué le 30 mars 2000 des démarches en vue de l'obtention d'un document de voyage auprès de la Mission permanente de la République démocratique du Congo.
En complément, postérieurement à l'arrêt attaqué, une copie de l'attestation de naissance, de l'attestation de nationalité et le montant du laissez-passer ont été remis le 4 avril 2000 à cette représentation. Enfin, le 16 avril 2000, le Service cantonal a requis l'aide de la nouvelle Division chargée des rapatriements de l'Office fédéral des réfugiés (cf. ordonnance du 11 août 1999 sur l'exécution du renvoi et de l'expulsion d'étrangers [OERE; RS 142. 281], entrée en vigueur le 1er octobre 1999).
c) Par ailleurs, dans ces conditions, on ne saurait affirmer que les autorités ne pourront obtenir le laissez-passer nécessaire avant l'échéance des trois mois de détention, dès lors qu'elles disposent de papiers d'identité présumés authentiques (cf. art. 13c al. 5 lettre a LSEE).
d) En conclusion, le Tribunal cantonal était fondé à placer le recourant en détention en vertu de l'art. 13b al. 1 lettre c LSEE.
e) Encore peut-on relever, à supposer que le recourant remette en cause la décision de renvoi dans le cadre de la présente cause, qu'il ne saurait de toute façon pas se prévaloir de l'art. 8 CEDH. En effet, selon la jurisprudence, les fiancés ne peuvent en principe pas invoquer cette disposition, sauf s'ils entretiennent depuis longtemps des relations étroites et effectivement vécues et qu'il existe des indices concrets d'un mariage sérieusement voulu et imminent (cf. Luzius Wildhaber, Internationaler Kommentar zur Europäischen Menschenrechtskonvention, n. 350 ad art. 8; Mark E.
Villiger, Handbuch der Europäischen Menschenrechtskonvention, Zurich 1999, n. 559, p. 328). En l'occurrence, à supposer qu'il soit sérieusement voulu, le mariage n'est en tout cas pas imminent même si une promesse de mariage a été signée. Selon les observations du Service cantonal, les autorités d'état civil compétentes ont confirmé, comme il est d'usage s'agissant de pièces en provenance de la République démocratique du Congo, qu'elles devraient procéder à l'authentification des documents d'état civil présentés par le biais de l'avocat-conseil de la représentation suisse à Kinshasa, ce qui pourrait durer plusieurs mois.
Au demeurant, par prononcé du 26 avril 2000 - postérieur à l'arrêt attaqué -, l'Office fédéral des réfugiés a refusé de prolonger le délai de départ du recourant à cet effet, considérant à juste titre qu'il pouvait attendre ailleurs qu'en Suisse une éventuelle célébration du mariage.
4.- Vu ce qui précède, le recours est mal fondé et doit être rejeté. Succombant, le recourant devrait en principe supporter les frais judiciaires (art. 156 al. 1 OJ). Compte tenu de sa situation financière précaire, il se justifie cependant de statuer sans frais (art. 153 et 153a OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours.
2. Dit qu'il n'est pas perçu d'émolument judiciaire.
3. Communique le présent arrêt en copie au mandataire du recourant, au Service de l'état civil et des étrangers et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Département fédéral de justice et police.
_
Lausanne, le 24 mai 2000 RED/mnv
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,