A.- Par décision du 1er octobre 1996, l'Office fédéral des réfugiés a rejeté la demande d'asile formée par Z._, soi-disant ressortissant angolais né en 1963. Statuant sur recours le 12 décembre 1999, la Commission suisse de recours en matière d'asile a confirmé ce refus et a imparti à l'intéressé un délai de départ au 6 avril 2000. Le canton du Valais, auquel Z._ avait été affecté, a annoncé le 7 mars 2000 à l'Office fédéral des réfugiés que l'intéressé avait disparu depuis la veille. Répondant à une requête de la fiancée de l'intéressé, B._, ressortissante canadienne, l'Office fédéral des réfugiés a indiqué le 30 mars 2000 que Z._ était toujours considéré comme disparu et devait se présenter à bref délai aux autorités valaisannes. Le 31 mars 2000, les fiancés ont informé le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) qu'ils vivaient ensemble à La Chaux-de-Fonds. Par prononcé du 10 avril 2000, l'Office fédéral des réfugiés a rejeté la requête de Z._ visant à prolonger le délai de départ en vue de se marier. En effet, seule une décision positive de l'office de l'état civil au terme de la procédure préparatoire aurait pu justifier un tel report. L'intéressé restait néanmoins en droit de demander ultérieurement, auprès d'une représentation suisse à l'étranger, une autorisation d'entrée à des fins de mariage. B.- Le 2 mai 2000, Z._ a été conduit à Sion. Entendu par la police cantonale valaisanne, il a contesté avoir disparu dans la clandestinité, dès lors qu'il avait communiqué sa nouvelle adresse au Service cantonal. Il admettait toutefois ne pas avoir obtempéré à une convocation l'invitant à se présenter aux autorités valaisannes, expliquant cette omission par la peur et le souci d'assister sa fiancée, qui relevait alors d'une opération. Sa carte d'identité avait été déposée auprès des autorités d'asile, mais les autorités angolaises, se fondant sur une copie, l'avait tenue pour fausse. Il ne disposait ainsi d'aucun document d'identité ou de voyage et n'avait du reste accompli aucune démarche en vue d'en obtenir. Enfin, il refusait de rentrer en Angola, alléguant que sa vie y était en danger. Par décision du même jour, le Service cantonal a ordonné la mise en détention immédiate en vue du refoulement de Z._ pour une durée de trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices faisant craindre que l'intéressé entende se soustraire à son renvoi. Entendu le 5 mai 2000 par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), Z._ a persisté dans son refus de rentrer en Angola, ou dans un autre pays d'Afrique, ajoutant s'être volontairement abstenu de retirer à la poste les plis recommandés qu'il présumait concerner l'issue de ses procédures d'asile ou l'organisation de son départ. Il admettait en outre que ses assertions sur la composition de sa famille restée en Angola ne correspondaient pas entièrement à celles données aux autorités d'asile en 1996. Statuant le même jour, le Tribunal cantonal a confirmé le prononcé du Service cantonal. Il relevait en bref l'obstination de l'intéressé à demeurer en Suisse malgré les décisions des autorités d'asile, ses déclarations contradictoires sur sa famille, son essai de différer son renvoi en s'abstenant de retirer des lettres pouvant s'y rapporter et l'opinion concordante sur sa carte d'identité des autorités angolaises et de l'Office fédéral des réfugiés, celui-ci ayant déclaré le 10 décembre 1999 ne pas en garantir l'authenticité. C.- Agissant le 26 mai 2000 par la voie du recours de droit administratif, Z._, représenté par sa fiancée, demande en substance au Tribunal fédéral d'annuler l'arrêt rendu le 5 mai 2000 par le Tribunal cantonal, de lever sa détention, au moins à titre conditionnel, et d'annuler la décision de renvoi. Il requiert en outre l'audition de témoins, dont celle de sa fiancée. Le Service cantonal et le Tribunal cantonal concluent au rejet du recours. L'Office fédéral des étrangers n'a pas déposé d'observations. Z._ s'est exprimé sur la réponse du Service cantonal et a maintenu ses conclusions.