Faits :
A.
Ressortissant ghanéen né en 1994, X._ a déposé une demande d'asile, laquelle s'est soldée par un refus d'entrée en matière, entré en force en mars 2013 (cf. arrêt 2C_593/2013 du 27 juin 2013). Le 4 mai 2015, il a été condamné par le Tribunal du IIème arrondissement pour les districts d'Herens et de Conthey (Valais) pour infraction grave à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) à une peine privative de liberté de 36 mois, sous déduction de la détention avant jugement déjà effectuée.
B.
Par décision du 13 mai 2016, après le prononcé de la libération conditionnelle de l'intéressé avec effet au 14 mai 2016, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a placé celui-ci en détention administrative pour une durée de trois mois au plus en vue de son renvoi au Ghana. Entendu le 17 mai 2016 devant le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Juge unique), X._ a déclaré qu'il ne parlerait pas tant qu'il n'avait pas d'avocat et qu'il s'opposait à son renvoi.
Par arrêt du 17 mai 2016, le Juge unique a approuvé la mise en détention de l'intéressé.
C.
Par courrier reçu le 25 mai 2016, X._ forme un recours au Tribunal fédéral contre l'arrêt du 17 mai 2016. Il conclut, en substance, à l'annulation de l'arrêt attaqué et à ce que sa libération soit ordonnée.
Le Tribunal cantonal a renoncé à se déterminer. Le Secrétariat d'Etat aux migrations (SEM) a formulé des observations et s'est rallié, pour le surplus, à l'arrêt attaqué.

Considérant en droit :
1.
Les décisions finales (<ref-law>) rendues en matière de détention administrative relèvent du droit public (<ref-law>) et ne tombent pas sous le coup d'une exception de l'<ref-law>, de sorte que, lorsqu'elles émanent, comme en l'espèce, d'un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), elles peuvent faire l'objet d'un recours en matière de droit public au Tribunal fédéral. Pour le surplus, le présent recours a été interjeté en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le recourant qui, placé en détention administrative, remplit les conditions de l'<ref-law>. Il convient donc d'entrer en matière.
2.
Le recourant fait valoir qu'il a demandé l'assistance d'un avocat, mais n'en a "jusqu'à présent pas trouvé". Ce faisant, il semble faire grief à l'instance précédente de ne pas lui avoir désigné un avocat d'office.
2.1. L'article 29 al. 3 Cst. garantit l'assistance d'un avocat d'office, à condition que cette assistance soit nécessaire à l'intéressé pour se défendre et que la cause ne paraisse pas d'emblée dénuée de chances de succès. Il n'en découle pas un droit à l'assistance obligatoire d'un défenseur (cf. <ref-ruling> consid. 3.2.1 p. 99). Selon l'art. 31 al. 2, 2e phrase Cst., toute personne privée de sa liberté doit être mise en état (d'une manière appropriée et efficace) de faire valoir ses droits. L'exigence selon laquelle la cause ne doit pas être dépourvue de chances de succès doit, en présence d'une privation de liberté d'une certaine intensité, respectivement d'une certaine durée, être relativisée. La jurisprudence admet ainsi que, lorsque la détention administrative dépasse trois mois, il faut en principe accorder au détenu qui le requiert un défenseur d'office (cf. <ref-ruling> consid. 3.2.3 p. 100 s.; arrêts 2C_675/2011 du 20 septembre 2011 consid. 3.2 et 2C_548/2011 du 26 juillet 2011 consid. 4.2.2).
2.2. En l'espèce, l'instance précédente a confirmé la mise en détention du recourant en application de l'art. 76 al. 1 let. b ch. 3 et 4 LEtr, relevant, en substance, que cette mesure était légale, adéquate et proportionnée au sens des art. 80 al. 2 LEtr, 5 al. 3 et 36 al. 3 Cst. L'arrêt retient que l'intéressé refuse d'obtempérer aux instructions des autorités, que sa condamnation pénale dénote qu'il a des relations avec le milieu du trafic de drogue, "ce qui révèle une accoutumance à la clandestinité caractérisant ce genre d'activité" et que l'intéressé a déjà réussi à retarder son renvoi à la suite de la non-entrée en matière sur sa demande d'asile, en force depuis le 1er mars 2013. Selon le Juge unique, on peut dès lors valablement déduire un risque que le recourant passe dans la clandestinité pour échapper à son obligation de quitter le territoire suisse. Le recourant ne le conteste pas.
Force est de constater qu'il existe des indices sérieux laissant penser que l'intéressé entend se soustraire à son obligation de quitter la Suisse. La détention administrative apparaît dès lors justifiée et conforme au droit. Par ailleurs, le cas du recourant ne présente aucune difficulté particulière, ce que celui-ci n'invoque d'ailleurs nullement. Il s'ensuit que la cause apparaît dépourvue de chances de succès. Enfin, l'intéressé a été mis en détention pour une première durée de trois mois. Partant, le Juge unique n'était pas tenu d'attribuer un avocat d'office au recourant.
Pour le surplus, on relèvera que l'arrêt attaqué précise que l'intéressé a la faculté de déposer une demande de reconsidération, laquelle sera traitée nonobstant les délais prévus pour les requêtes de libération (art. 80 al. 5 et 81 LEtr). En effet, selon la jurisprudence, lorsque le Tribunal cantonal a expressément réservé en faveur du recourant le droit de demander la reconsidération de l'arrêt attaqué, le respect du principe de la bonne foi impose au juge, s'il est saisi, de réexaminer l'affaire (cf. arrêts 2D_3/2013 du 14 février 2013 consid. 2 et 2C_237/2010 du 26 avril 2010 consid. 3).
Au vu de ce qui précède, le grief du recourant est rejeté.
3.
Le recourant se plaint ensuite, en substance, d'avoir été placé en détention administrative alors qu'il a purgé une peine privative de liberté de plusieurs années et a été libéré conditionnellement le 14 mai 2016.
3.1. Selon le principe de célérité, les démarches nécessaires à l'exécution du renvoi ou de l'expulsion doivent être entreprises sans tarder (art. 76 al. 4 LEtr).
3.2. En l'espèce, il ressort du dossier que les autorités valaisannes avaient déjà entamé des démarches fin 2015 auprès du SEM en vue de l'exécution du renvoi de l'intéressé au Ghana. En raison du manque de collaboration de l'intéressé, notamment du refus de celui-ci de collaborer en vue de l'obtention d'un document de voyage lui permettant de regagner son pays d'origine et de s'exprimer devant la délégation de l'Ambassade du Ghana, le SEM a été contraint de le présenter à deux reprises à la délégation ghanéenne afin d'être en mesure de confirmer sa nationalité (<ref-law>). L'intéressé a finalement été reconnu par la représentante de l'Ambassade du Ghana lors des auditions centralisées du 24 février 2016. Un vol à destination d'Accra (Ghana) a depuis lors été organisé.
Compte tenu de ce qui précède, il n'existe pour l'instant aucun élément qui laisserait penser que les autorités n'accompliront pas les démarches nécessaires à l'exécution du renvoi avec diligence et célérité (cf. art. 76 al. 4 LEtr) et la détention apparaît en l'état proportionnée (art. 96 LEtr).
4.
Il résulte de ce qui précède que le recours doit être rejeté. Il ne sera pas perçu de frais judiciaires (<ref-law>), ni alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au recourant, au Service de la population et des migrations et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 16 juin 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Thalmann