A.- Par décision du 30 décembre 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur une demande d'asile déposée par X._ - ressortissant de la République démocratique du Congo né en 1970 - et a ordonné à l'intéressé de quitter immédiatement la Suisse sous peine de refoulement à exécuter par le canton du Valais. Il a retenu ne pouvoir accorder aucun crédit aux allégations de X._, qui prétendait notamment être rentré dans la République démocratique du Congo après le rejet d'une première demande d'asile. L'intéressé a recouru contre ce prononcé auprès de la Commission suisse de recours en matière d'asile. Celle-ci a exprimé le même scepticisme le 28 janvier 2000 et a déclaré le recours irrecevable le 29 février 2000. B.- Le 2 mars 2000, l'Office fédéral des réfugiés a enjoint à X._ de quitter la Suisse le 29 mars suivant au plus tard. En vue d'organiser ce départ, le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) a convoqué l'intéressé le 6 mars 2000 pour le 13 mars suivant, puis, X._ ne s'étant pas présenté, le 15 mars 2000 pour le 21 mars suivant. En vain. C.- Entendu le 29 mars 2000 par la police valaisanne, l'intéressé a déclaré avoir averti par téléphone le Service cantonal qu'il ne pourrait se présenter le 13 mars 2000 au motif qu'il était déjà attendu à la mairie de Z._. Par ailleurs, il avait définitivement quitté son foyer d'hébergement à Sion depuis cette date, raison pour laquelle il n'avait pas reçu la seconde convocation pour le 21 mars 2000. Il admettait toutefois avoir été avisé de son obligation de revenir le 20 mars 2000 en Valais. Enfin, arguant d'un projet de mariage, il a refusé de rentrer dans la République démocratique du Congo et déclaré n'avoir entrepris aucune démarche afin d'obtenir un document de voyage, précisant cependant avoir déposé à la mairie de Z._, en vue de cette union, divers documents établis dans son pays en janvier et février 2000. Par décision du même jour, le Service cantonal a ordonné la mise en détention immédiate en vue du refoulement de X._ pour une durée de trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices faisant craindre que l'intéressé entende se soustraire à son renvoi. Entendu le 31 mars 2000 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), X._ a réitéré ses déclarations. Statuant le même jour, le Tribunal cantonal a confirmé le prononcé du Service cantonal. D.- Agissant le 1er mai 2000 par la voie du recours de droit administratif, de son propre chef et par l'intermédiaire de son mandataire, X._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 31 mars 2000 par le Tribunal cantonal et de renvoyer la cause à cette autorité pour qu'elle statue dans le sens des considérants. Il se plaint d'une constatation incomplète des faits pertinents et invoque en particulier l'art. 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101). Le Service cantonal et le Tribunal cantonal concluent au rejet du recours. L'Office fédéral des étrangers n'a pas déposé d'observations. De son côté, X._ ne s'est pas exprimé sur la réponse du Service cantonal.