Considérant en fait et en droit :
1.
Le 2 mai 2016, le Service de la population et des migrations du canton du Valais a prononcé une décision de renvoi fondée sur l'art. 64 LEtr contre X._, ressortissant afghan né en 1990 : il avait été renvoyé par les autorités italiennes au moment d'entrer en Italie pour y demander asile; il était par conséquent entré en Suisse sans être titulaire de document de voyage valable, de visa ou de titre de séjour. Par décision du 2 mai 2016, ce même Service a placé l'intéressé en détention pour trois mois au plus.
2.
Par arrêt du 4 mai 2016, le Juge unique du Tribunal cantonal du canton du Valais a approuvé la décision du 2 mai 2016 du Service de la population et des migrations du canton du Valais en application de l'art. 76 al. 1 let. b ch. 3 LEtr. A l'appui de son arrêt, il a retenu que l'intéressé ne pouvait être cru lorsqu'il disait ne pas comprendre les questions du juge sur les Etats d'Europe qu'il avait traversés et qu'il n'avait pas de papiers d'identité valables.
3.
Par courrier du 27 mai 2016, X._ demande au Tribunal fédéral de le libérer. Le 6 juin 2016, le Tribunal cantonal du canton du Valais a formulé ses observations. Le Service de la population et des migrations a déposé son dossier. Le Secrétariat d'Etat aux migrations conclut au rejet du recours.
4.
4.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le corollaire est que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent notamment contenir les motifs déterminants de fait et de droit (cf. art. 112 al. 1 let. b LTF). Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause. Un tel manquement constitue donc une violation du droit. Il résulte de cette norme que l'état de fait figurant dans les décisions susceptibles de recours devant le Tribunal fédéral doit être suffisant pour lui permettre de contrôler de quelle manière le droit fédéral a été appliqué (arrêt 2C_181/2016 du 14 mars 2016 consid. 4).
4.2. L'objet du présent litige concerne une détention administrative en vue du renvoi qui porte une atteinte grave à la liberté personnelle et ne peut être ordonnée que dans le respect de l'art. 5 CEDH (cf. ATF 135 II 105 consid. 2.2.1 p. 107) et de l'art. 31 Cst., en d'autres termes, uniquement dans les cas prévus par la loi et selon les formes qu'elle prescrit. Le respect de la légalité implique ainsi que la mise en détention administrative ne soit prononcée que si les motifs prévus dans la loi sont concrètement réalisés (cf. ATF 140 II 1 consid. 5.1 p. 3; arrêt 2C_637/2015 du 16 octobre 2015 consid. 6.1). C'est du reste ce que prévoit expressément l'art. 76 al. 1 let. b ch. 3 LEtr en conditionnant la détention à l'existence d'éléments concrets qui font craindre que la personne concernée entende se soustraire au renvoi ou à l'expulsion (cf. arrêts 2C_256/2013 du 10 avril 2013 consid. 4.2; 2C_142/2013 du 1er mars 2013 consid. 4.2). De jurisprudence ancienne et constante, le seul fait que l'étranger soit entré en Suisse de façon illégale ou le fait qu'il soit démuni de papiers d'identité ne constituent pas des éléments suffisants pour justifier la mise en détention en vue du renvoi (arrêt 2C_1017/2012 du 30 octobre 2012; cf. ATF 129 I 139 consid. 4.2.1 p. 146 s.).
4.3. En l'espèce, l'arrêt attaqué, dans lequel les faits constatés sont inconsistants voire inexistants sur ce point (art. 105 al. 1 LTF), ne présente aucun indice concret justifiant l'application de l'art. 76 al. 1 let. b ch. 3 LEtr en violation des exigences fixées par l'art. 112 al. 1 let. b LTF.
4.4. Si une décision attaquée ne satisfait pas aux exigences fixées à l'art. 112 al. 1 LTF, le Tribunal fédéral peut alternativement la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, ou l'annuler (art. 112 al. 3 LTF). Lorsque la décision attaquée doit être annulée, parce qu'il manque une partie essentielle de la décision - en l'espèce, la présentation de faits en relation avec le maintien en détention en vue du renvoi - le juge doit admettre le recours et renvoyer la cause à l'autorité cantonale pour qu'elle statue à nouveau dans une décision conforme aux exigences de l'art. 112 LTF (cf. arrêt 1C_435/2015 du 17 septembre 2015, consid. 3; B. Corboz, Commentaire romand de la LTF, 2e éd., Berne 2014, n° 60 et 61 ad art. 112 LTF).
5.
Les considérants qui précèdent conduisent à l'admission partielle du recours en ce sens que l'arrêt attaqué est annulé et la demande de mise en liberté rejetée. Dès lors que le recourant ne présente pas de griefs qui à première vue justifieraient sa libération et à défaut de motivation suffisante de l'arrêt attaqué, il convient de rejeter la demande de mise en liberté. La cause est renvoyée à l'instance précédente pour qu'elle statue à nouveau dans une décision conforme aux exigences de l'art. 112 LTF.
Comme les vices de la décision cantonale sont exclusivement imputables au Juge unique du Tribunal cantonal du canton du Valais et que l'attention de ce dernier sur les exigences de l'art. 112 al. 1 let. b LTF en matière de détention en vue de renvoi a déjà été attirée à plusieurs reprises (cf. notamment arrêts 2C_181/2016 du 14 mars 2016 consid. 4 et 2C_1017/2012 du 30 octobre 2012), il convient de mettre les frais à charge de l'Etat du Valais (art. 66 al. 3 LTF). Il n'est pas alloué de dépens, le recourant ayant agi en personne (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis en ce sens que l'arrêt attaqué est annulé. La cause est renvoyée à l'instance précédente pour qu'elle statue à nouveau dans le sens des considérants. La demande de mise en liberté rejetée.
2.
Les frais de justice, arrêtés à 2'000 fr., sont mis à charge de l'Etat du Valais.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué au recourant, au Service de la population et des migrations du canton du Valais, au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 28 juin 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey