Faits :
A.
Le 30 mai 2014, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a révoqué l'autorisation d'établissement de A._, ressortissant du Cap-Vert né en 1984, et prononcé son renvoi de Suisse (cf. <ref-law>). Cette décision entrée en force, un délai au 31 décembre 2014 a été imparti à l'intéressé pour quitter la Suisse (cf. <ref-law>).
Par décision du 15 août 2016 du Service cantonal, confirmée le 17 août 2016 par le Juge unique de la Cour de droit public du Tribunal cantonal du Valais (ci-après: le Juge unique du Tribunal cantonal), A._ a été placé en détention administrative au centre de détention LMC de Granges, en Valais (ci-après: le centre LMC de Granges), en vue de son renvoi (cf. <ref-law>).
Le 7 septembre 2016, A._ a déposé une demande de reconsidération de l'arrêt du 17 août 2016 confirmant son maintien en détention. Cette demande a été rejetée par le Juge unique du Tribunal cantonal par arrêt du 20 septembre 2016 (cf. <ref-law>). Contre cet arrêt, A._ a formé un recours en matière de droit public auprès du Tribunal fédéral.
Après avoir refusé, les 7 septembre et 1er novembre 2016, de prendre un avion pour regagner son pays d'origine, l'intéressé a été libéré le 2 novembre 2016, l'organisation d'un vol spécial ne paraissant plus envisageable dans un délai raisonnable. Le 22 novembre 2016, il a retiré son recours au Tribunal fédéral contre l'arrêt du 20 septembre 2016, ce dont il a été pris acte, la cause étant rayée du rôle, par ordonnance du Président de la IIe Cour de droit public du Tribunal fédéral du 23 novembre 2016 (cause 2C_984/2016).
B.
B.a. Par décision du 6 avril 2017, le Service cantonal a placé immédiatement A._ en détention, au centre LMC de Granges, en vue de son renvoi. Le dossier a été transmis au Juge unique du Tribunal cantonal Jean-Bernard Fournier pour qu'il examine la légalité et l'adéquation de cette décision.
Le même jour, A._ a déposé auprès du Président du Tribunal cantonal (cf. <ref-law>) une demande de récusation du Juge unique Jean-Bernard Fournier, au motif que celui-ci avait accordé, le 5 avril 2017, une autorisation de perquisition au sens de l'art. 70 al. 2 LEtr (RS 142.20), partant à tort du principe qu'il se cachait et préjugeant de la sorte de la question de la mise en détention administrative, fondée sur le risque qu'il se soustraie à son renvoi (cf. art. 76 al. 1 let. b ch. 3 LEtr).
B.b. A l'audience du 7 avril 2017 devant le Juge unique du Tribunal cantonal Jean-Bernard Fournier, A._ a sollicité, sans succès, la suspension de l'examen de sa mise en détention jusqu'à droit connu sur sa demande de récusation.
Le recourant s'est en outre plaint de ses conditions de détention au centre LMC de Granges, faisant valoir qu'elles étaient contraires à l'art. 3 CEDH, qui prohibe la torture et les traitements inhumains ou dégradants (cf. <ref-law>). A l'appui de ses critiques, il a produit un rapport de 2007 du Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants, ainsi que trois rapports de la Commission nationale de prévention de la torture, de 2010, 2012 et 2016, ayant notamment pour objet les conditions de détention au centre LMC de Granges (cf. <ref-law>).
B.c. Par arrêt du 7 avril 2017, le Juge unique du Tribunal cantonal a approuvé la décision du 6 avril 2017 du Service cantonal et rejeté les conclusions de A._.
C.
Contre l'arrêt du 7 avril 2017, A._ forme, le 26 avril 2017, un recours en matière de droit public au Tribunal fédéral, auquel il demande préalablement de venir inspecter le centre de détention LMC de Granges et d'ordonner, à titre de mesures provisionnelles, sa libération immédiate, subsidiairement son transfert vers un établissement voué exclusivement à la détention administrative. Au fond, il conclut, sous suite de frais et dépens, principalement à l'annulation de l'arrêt entrepris, à sa mise en liberté immédiate et à l'octroi de l'assistance judiciaire tant sur les plans cantonal que fédéral, et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour qu'il rende une nouvelle décision après avoir établi les faits conformément aux prescriptions légales. Il se plaint de la violation du droit fédéral et international, notamment des art. 3 et 5 CEDH.
Par ordonnance du 27 avril 2017, la Juge présidant de la IIe Cour de droit public du Tribunal fédéral a renoncé à percevoir une avance de frais, tout en attirant l'attention du recourant sur le défaut de motivation et d'offres de preuve de sa demande d'assistance judiciaire, et a imparti des délais d'échange d'écritures.
Par courrier du 3 mai 2017, le Service cantonal a informé le Tribunal fédéral que A._ avait été renvoyé vers le Cap-Vert par vol spécial le 26 avril 2017.
Par ordonnance de la Juge instructrice du 10 mai 2017, le Tribunal fédéral a imparti un délai au 29 mai 2017 au recourant et au Service cantonal pour déposer d'éventuelles observations sur la suite de la procédure, en particulier sur le maintien de l'intérêt actuel au recours.
Le Tribunal cantonal a renoncé à se déterminer sur le recours. Le Secrétariat d'Etat aux migrations a déclaré ne pas avoir d'observations à formuler sur le recours en raison du renvoi de l'intéressé.
Le 26 mai 2017, A._, sous la plume de son conseil, a motivé sa demande d'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 3).
1.1. En matière de mesures de contrainte, la décision rendue en dernière instance cantonale par le Juge unique valaisan peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral (cf. art. 82 let. a, 86 et 90 LTF; cf. arrêt 2C_383/2017 du 26 avril 2017 consid. 3). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>).
1.2. La qualité pour recourir auprès du Tribunal fédéral suppose un intérêt actuel et pratique à obtenir l'annulation de la décision attaquée (cf. <ref-law>). Cet intérêt doit exister tant au moment du dépôt du recours qu'à celui où l'arrêt est rendu (<ref-ruling> consid. 1.3.1 p. 143). Si l'intérêt actuel disparaît en cours de procédure, le recours devient sans objet, alors qu'il est irrecevable si l'intérêt actuel faisait déjà défaut au moment du dépôt du recours (<ref-ruling> consid. 1.3.1 p. 143; <ref-ruling> consid. 1.1 p. 208; <ref-ruling> consid. 4.2 p. 299). En principe, un intérêt actuel et pratique au recours n'existe plus lorsque la personne détenue a été libérée avant que le Tribunal fédéral ne tranche (cf. <ref-ruling> consid. 1.3.1 p. 143; <ref-ruling> consid. 4.2 p. 299). En matière de détention, notamment administrative, le Tribunal fédéral entre toutefois en matière même s'il n'existe plus d'intérêt actuel et pratique au recours lorsque la partie recourante invoque de manière défendable un grief fondé sur la CEDH (cf. <ref-ruling> consid. 1.3.1 p. 143; <ref-ruling> consid. 1.2.1 p. 208 s.; <ref-ruling> consid. 4.3.4 p. 302; arrêts 2C_1052/2016 du 26 avril 2017 consid. 1.3 [arrêt destiné à la publication]; 2C_1006/2014 du 24 août 2015 consid. 1.3.1, non publié in <ref-ruling>).
1.3. En l'espèce, le recourant a été placé en détention en vue de son renvoi le 6 avril 2017, décision qui a été confirmée le 7 avril 2017 par le Juge unique du Tribunal cantonal. Le recourant a été renvoyé au Cap-Vert par vol spécial le 26 avril 2017. Son recours au Tribunal fédéral contre l'arrêt du 7 avril 2017 a été déposé le même jour par son mandataire. Dans un tel cas, il convient d'admettre qu'il existait encore un intérêt actuel au moment du dépôt du recours, mais qu'il a disparu immédiatement après, ce qui rend a priori le recours sans objet. Le recourant invoque toutefois de manière suffisamment motivée et défendable la violation des art. 3 et 5 CEDH. Le grief tiré de la violation de l'art. 3 CEDH en lien avec les conditions de détention a en outre déjà été soulevé devant le Juge cantonal, conformément aux exigences posées par la jurisprudence (cf. <ref-ruling> consid. 3a p. 221; arrêts 2C_383/2017 du 26 avril 2017 consid. 4.2; 2C_572/2013 du 11 juillet 2013 consid. 4.3). Dans ces conditions et en l'absence de retrait formel du recours, il y a lieu d'entrer en matière (cf. arrêt 2C_104/2017 du 6 mars 2017 consid. 3).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique d'office le droit fédéral (<ref-law>), sous réserve des exigences de motivation figurant à l'<ref-law>. Conformément à cette disposition, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (cf. <ref-ruling> consid. 2.4 p. 368).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
Le recourant fait valoir un grief tiré du droit à un tribunal indépendant et impartial (art. 30 al. 1 Cst.), qu'il convient de traiter en premier lieu (cf. <ref-ruling> consid. 8.3 p. 95).
Le recourant estime que le Juge unique du Tribunal cantonal a violé les art. 30 al. 1 Cst. et 6 CEDH, ainsi qu'appliqué de manière arbitraire notamment l'art. 35 al. 1 let. c de la loi valaisanne du 11 février 2009 sur l'organisation de la justice (ci-après: LOJ/VS; RS/VS 173.1), en considérant que la demande de récusation formulée le 6 avril 2017 pouvait être rejetée d'entrée de cause et en refusant de surseoir à statuer jusqu'à ce que le Président du Tribunal cantonal du Valais se prononce sur celle-ci.
3.1. L'art. 6 par. 1 CEDH ne trouve pas application en matière de décisions relatives à la détention administrative, parce qu'elles ne concernent ni un droit de caractère civil, ni une accusation en matière pénale au sens de cette disposition (cf. <ref-ruling> consid. 4.4.2 p. 133; arrêt 2C_816/2013 du 15 octobre 2013 consid. 3.2.1). Cela n'a toutefois pas d'incidence en l'espèce, l'art. 6 par. 1 CEDH n'accordant pas une protection plus étendue que celle offerte par l'art. 30 al. 1 Cst. (<ref-ruling> consid. 8.4.1 p. 273; <ref-ruling> consid. 1.1 p. 25).
3.2. La garantie d'un tribunal indépendant et impartial découlant de l'art. 30 al. 1 Cst. permet, indépendamment du droit de procédure cantonal, d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité (cf. <ref-ruling> consid. 3.1.1 p. 536; <ref-ruling> consid. 4.1 p. 221 s. et les arrêts cités).
Le magistrat dont la récusation est formellement et valablement requise ne saurait en principe statuer lui-même sur sa propre récusation (<ref-ruling> consid. 3a p. 476; <ref-ruling>; <ref-ruling> consid. 1b p. 303; arrêts 6B_933/2015 du 22 juin 2016 consid. 4.1; 2C_464/2014 du 30 mai 2014 consid. 10.1; 1B_135/2009 du 12 août 2009 consid. 6.1; 1P.396/2001 du 13 juillet 2001 consid. 2a). L'art. 35 LOJ/VS concrétise ce principe en prévoyant notamment que la récusation d'un juge du Tribunal cantonal est jugée par le Président du Tribunal cantonal (al. 1 let. c). La jurisprudence admet toutefois une exception au principe précité, en considérant que, même si cette décision incombe, selon la loi de procédure applicable, à une autre autorité, une juridiction dont la récusation est demandée peut écarter elle-même la requête lorsque celle-ci est abusive ou d'emblée dénuée de toute chance de succès (cf. <ref-ruling> consid. 4.2.2 p. 464; <ref-ruling> consid. 3a p. 476; <ref-ruling> consid. 3b p. 279; arrêts 6B_933/2015 du 22 juin 2016 consid. 4.1; 6B_720/2015 du 5 avril 2016 consid. 5.5; 2C_334/2015 du 19 mai 2015 consid. 3.1; 2C_464/2014 du 30 mai 2014 consid. 10.1; 1B_135/2009 du 12 août 2009 consid. 6.1; 1P.396/2001 du 13 juillet 2001 consid. 2b). Le caractère abusif ou d'emblée dénué de toute chance de succès d'une demande de récusation ne doit pas être admis trop facilement, car il s'agit d'une exception au principe selon lequel le juge dont la récusation est demandée ne doit pas faire partie de la composition de l'autorité chargée de statuer sur son déport (cf. arrêts 1B_146/2010 du 23 juin 2010 consid. 2.1; 1B_135/2009 du 12 août 2009 consid. 6.1; 6B_337/2008 du 7 janvier 2009 consid. 2.1).
3.3. En l'occurrence, le recourant a sollicité le 6 avril 2017 auprès du Président du Tribunal cantonal la récusation du Juge unique Jean-Bernard Fournier, au motif que celui-ci aurait démontré son parti pris en faveur du Service cantonal et préjugé du bien-fondé de la décision de mise en détention en rendant une décision de perquisition fondée à tort sur le soupçon qu'il se cachait.
3.4. Dans l'arrêt entrepris, le Juge unique Jean-Bernard Fournier a estimé que la requête de récusation dirigée à son encontre pouvait et devait être rejetée d'entrée de cause, car elle était manifestement mal fondée. Le recourant lui reprochait en effet de s'être trompé en rendant l'ordonnance de perquisition; or se tromper ne justifiait pas un devoir de récusation.
3.5. Il ressort de cette motivation que le Juge unique du Tribunal cantonal admet lui-même avoir rendu l'ordonnance de perquisition du 5 avril 2017. Il s'ensuit que la demande de récusation formulée à son encontre n'est pas d'emblée dénuée de toute chance de succès. En effet, le fait qu'un magistrat a déjà participé à l'affaire à un stade antérieur de la procédure, qui est en substance le reproche adressé en l'occurrence au Juge unique du Tribunal cantonal, est propre à soulever des questions au regard des exigences d'impartialité (cf. <ref-ruling> consid. 4.2.1-4.2.2 p. 428 ss et les références citées). A tout le moins, la résolution de cette question n'est pas évidente au point que le Juge unique du Tribunal cantonal visé par la demande de récusation formulée le 6 avril 2017 puisse s'autoriser à l'effectuer lui-même. Dans la mesure par ailleurs où il ne ressort pas de l'arrêt entrepris que la requête de récusation aurait un caractère abusif, il n'existe pas de motifs en l'espèce permettant de s'écarter du principe selon lequel l'autorité judiciaire visée par une demande de récusation ne peut pas l'écarter elle-même.
Il découle de ce qui précède que le Juge unique du Tribunal cantonal Jean-Bernard Fournier a méconnu les exigences découlant de l'art. 30 al. 1 Cst. et a ignoré de manière arbitraire le droit cantonal de procédure, en particulier l'art. 35 LOJ/VS, en se prononçant sur sa propre récusation. Le grief du recourant sur ce point doit être admis.
3.6. Dès lors que le Juge unique du Tribunal cantonal a, à tort, lui-même tranché la requête de récusation au fond, il n'y a pas lieu d'examiner s'il devait, comme le soutient le recourant, surseoir à statuer jusqu'à droit connu sur le résultat de la demande de récusation.
4.
Le recourant soulève deux griefs formels en lien avec ses conditions de détention et la violation de l'art. 3 CEDH. D'une part, il se plaint d'un défaut de motivation de l'arrêt attaqué, en violation de l'art. 29 al. 2 Cst. et de l'<ref-law>. D'autre part, il reproche au Juge unique du Tribunal cantonal de ne pas avoir instruit la question de ses conditions de détention, en violation tant de l'art. 29 al. 2 Cst. que du droit à une enquête prompte et impartiale découlant de l'art. 3 CEDH (volet procédural de la disposition).
4.1. S'agissant du premier point, le droit d'être entendu tel que garanti à l'art. 29 al. 2 Cst. implique notamment pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.2.4 p. 41; <ref-ruling> consid. 5.1 p. 237). Les décisions en matière de détention sont soumises à des exigences de motivation élevées, car elles constituent le fondement d'une atteinte grave à la liberté personnelle de la personne concernée (cf. <ref-ruling> consid. 2.1 p. 145; <ref-ruling> consid. 3.5 p. 283 ss). L'<ref-law> prévoit pour sa part que les décisions susceptibles d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit (al. 1 let. b). Il résulte de cette norme que lesdites décisions doivent indiquer clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (cf. <ref-ruling> consid. 1.2.1 p. 246). Sur les points de fait décisifs et litigieux, le Tribunal fédéral doit savoir ce que l'autorité précédente a en définitive retenu, écarté ou considéré comme non prouvé (arrêts 5A_902/2016 du 21 mars 2017 consid. 3.1; 8C_577/2014 du 8 octobre 2015 consid. 4.2). Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause et constitue donc une violation du droit (cf. <ref-ruling> consid. 8.2 p. p. 153). Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut soit renvoyer la décision entreprise à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>; cf. <ref-ruling> consid. 1.2.1 p. 246; <ref-ruling> consid. 2.3 p. 157).
4.2. En l'occurrence, l'arrêt entrepris contient ce qui suit au sujet des conditions de détention du recourant: "[les critiques du recourant] sur le régime de détention du centre LMC où il loge recoupent celles qu'il avait développées dans la cause A3 [recte: A2] 16 83 et qui n'avaient pas été retenues dans l'arrêt communiqué le 20 septembre 2016 à son avocat; ces critiques, étayant également une conclusion en suspension de détention jusqu'à l'amélioration des locaux du centre LMC et des règles qui y sont appliquées, sont rejetées en l'état aux motifs de l'arrêt précité dont le prisonnier et la défense savent le contenu". "Le [Service cantonal] s'étant engagé à faire établir un rapport sur les griefs que [le recourant] a avancés aujourd'hui dans ce contexte, ce document pourra être discuté par [son conseil] à l'appui d'une demande de reconsidération du présent arrêt [...]" (p. 3 de l'arrêt entrepris).
4.3. Du point de vue des faits, le Tribunal fédéral constate que l'arrêt entrepris ne contient aucune indication sur le contenu des critiques du recourant relatives à ses conditions de détention. Il est en effet uniquement expliqué que les griefs formulés à ce sujet se recoupent avec des critiques précédentes, sans qu'on sache la teneur de celles-ci. L'arrêt renvoie de plus à des faits constatés dans une autre procédure, portant sur une autre période de détention, de sorte que ces faits ne peuvent de toute façon pas être déterminants dans la présente cause.
Du point de vue de la motivation de l'arrêt entrepris, le Juge unique du Tribunal cantonal rejette les critiques du recourant en se référant aux motifs d'un arrêt précédent. Il n'est en soi pas exclu de renvoyer à la motivation d'un arrêt antérieur connu des parties et qui les concerne. Encore faut-il toutefois que l'arrêt auquel il est renvoyé, à savoir en l'espèce l'arrêt A2 16 83 du 20 septembre 2016, contienne une motivation suffisante. A cet égard, il sera relevé que l'arrêt A2 16 83 du 20 septembre 2016, extrêmement succinct, n'expose pas véritablement les règles juridiques relatives aux standards applicables en matière de détention administrative (cf., outre les impératifs découlant de l'art. 3 CEDH et de l'art. 10 al. 3 Cst., des exigences sont fixées à l'art. 81 LEtr) et se contente de propos rudimentaires et généraux sur les conditions de détention au centre LMC de Granges. Ces explications, qui suscitent au demeurant des doutes sérieux quant à la conformité des conditions de détention dans ce centre avec les standards applicables, ne permettent pas de saisir en quoi les conditions de détention du recourant auraient été conformes à l'art. 3 CEDH. Dans ces circonstances, le droit à une décision motivée au sens de l'art. 29 al. 2 Cst. et les exigences de l'<ref-law> ont été méconnus.
4.4. S'agissant de la deuxième critique du recourant, relative à l'administration des preuves, il convient de relever que le juge cantonal enfreint la garantie du droit d'être entendu découlant de l'art. 29 al. 2 Cst. lorsqu'il refuse toute administration de preuve sur des faits pertinents en droit (arrêts 2C_956/2016 du 7 avril 2017 consid. 3.1; 2C_5/2014 du 30 juin 2014 consid. 2.2; 2C_778/2012 du 19 novembre 2012 consid. 3.2 et les références citées).
4.5. L'autorité judiciaire chargée du contrôle de la décision de détention administrative doit examiner notamment les conditions d'exécution de la détention (cf. art. 80 al. 4 LEtr; cf. <ref-ruling> consid. 5 p. 52 ss; 299 consid. 3 ss p. 302 ss; arrêts 2C_37/2011 du 1er février 2011 consid. 1.2; 2C_128/2009 du 20 mars 2009 consid. 3.2; 2C_169/2008 du 18 mars 2008 consid. 4.3).
En matière pénale, il est admis que l'autorité chargée du contrôle de la détention, si elle est saisie d'une allégation défendable de mauvais traitements au sens de l'art. 3 CEDH, se doit de vérifier si la détention a lieu dans des conditions acceptables; dans de telles situations, l'art. 3 CEDH, combiné avec l'art. 1 ou 13 CEDH, donne à l'individu un droit de nature procédurale à ce que les agissements dénoncés fassent immédiatement l'objet d'une enquête prompte et sérieuse (cf. <ref-ruling> consid. 3.4.2 p. 356; <ref-ruling> consid. 3.4 p. 45; <ref-ruling> consid. 3.1.1 p. 88; <ref-ruling> consid. 1.2.5 p. 462; arrêt 1B_56/2014 du 10 avril 2014 consid. 1.2). Compte tenu du devoir de l'autorité chargée du contrôle de la décision de détention administrative d'examiner les conditions d'exécution de celle-ci, il n'y a aucune raison que l'exigence de procéder immédiatement à une enquête prompte et sérieuse ne trouve pas application dans le domaine de la détention administrative lorsque la personne détenue allègue de manière défendable que ses conditions de détention seraient contraires à ses droits fondamentaux. Ce n'est en effet qu'au moyen d'une telle enquête qu'il est possible pour l'autorité chargée du contrôle de la détention d'élucider les faits et, partant, de se prononcer sur la conformité des conditions de détention.
4.6. En l'occurrence, faute d'éléments de faits suffisants dans l'arrêt entrepris, le Tribunal fédéral relèvera qu'il résulte du dossier cantonal que le recourant a fait état, à l'audience du 7 avril 2017, notamment de problèmes d'hygiène et d'aération de sa cellule, d'un manque d'occupation et, de manière générale, d'un régime de la détention plus sévère selon lui que celui réservé aux détenus de droit commun (cf. <ref-law>; procès-verbal de l'audience du 7 avril 2017 p. 3). Il a produit à l'appui de ses critiques des rapports émanant d'organismes officiels, soit un rapport du Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants (institué par la Convention européenne de 1987 pour la prévention de la torture et des peines ou traitements inhumains ou dégradants [RS 0.106]) et trois rapports de la Commission nationale de prévention de la torture (instituée par la loi fédérale du 20 mars 2009 [RS 150.1] en application du Protocole facultatif du 18 décembre 2002 se rapportant à la Convention contre la torture et autres peines ou traitements cruels, inhumains ou dégradants [RS 0.105.1]). Ces rapports, dont le dernier date de 2016, contiennent notamment plusieurs observations et recommandations au sujet des conditions de détention au centre LMC de Granges (cf. <ref-law>). Du fait de leur caractère général, de tels rapports ne peuvent en principe être à eux seuls déterminants pour se prononcer sur les conditions de détention dans un cas concret (cf., au sujet des rapports du CPT, arrêt de la CourEDH Kaja c. Grèce du 27 juillet 2006 [req. no 32927/03], § 48). Ils fournissent toutefois des indications utiles sur d'éventuelles violations du droit (cf. PETER UEBERSAX, Die EMRK und das Migrationsrecht aus der Sicht der Schweiz, in Breitenmoser/Ehrenzeller (éd.), La CEDH et la Suisse, 2010, p. 203 ss, p. 209). Dans le cas d'espèce, ces rapports permettent d'établir que le recourant a allégué de manière défendable avoir été détenu dans des conditions contraires aux standards applicables et à ses droits fondamentaux.
Il en découle que le Juge unique du Tribunal cantonal était tenu de procéder aux investigations nécessaires pour déterminer dans quelles conditions la détention du recourant se déroulait et si ses critiques étaient fondées. Tout en rejetant le recours sans autre examen, le Juge unique du Tribunal cantonal se limite à indiquer dans son arrêt que le Service cantonal s'est engagé à établir un rapport sur les griefs du recourant. Cette mention ne suffit manifestement pas à satisfaire à l'exigence d'une enquête immédiate, puisqu'il n'est imparti aucun délai au Service cantonal pour fournir son rapport. En ne procédant pas aux actes d'instruction qui s'imposaient dans les circonstances d'espèce et en rejetant les critiques du recourant sans autre examen, le Juge unique du Tribunal cantonal a méconnu tant le droit d'être entendu du recourant que son droit à une enquête prompte et impartiale. Les griefs du recourant sur ce point sont également bien fondés.
5.
Concernant la requête de récusation du Juge unique du Tribunal cantonal, il convient de constater que le droit du recourant à un tribunal indépendant et impartial (art. 30 Cst.) a été violé.
Concernant les griefs du recourant en lien avec ses conditions de détention, il y a lieu de constater que le droit du recourant à une décision motivée découlant de l'art. 29 al. 2 Cst. et les exigences de l'<ref-law> ont été méconnus. Faute de faits suffisants, le Tribunal fédéral n'est pas en mesure de se prononcer sur une éventuelle violation de l'art. 3 CEDH sur le plan des conditions matérielles de détention du recourant. Il constate en revanche une violation de l'art. 3 CEDH sous l'angle procédural, du fait de l'absence d'enquête immédiate et sérieuse sur les conditions de détention du recourant, alors que des éléments concrets laissaient douter de leur conformité avec ses droits fondamentaux.
Dans ces circonstances, il convient d'admettre le recours, d'annuler l'arrêt du 7 avril 2017 du Juge unique du Tribunal cantonal et de constater que les droits procéduraux du recourant ont été violés.
6.
Le canton du Valais, qui succombe, n'a en principe pas à supporter les frais judiciaires (cf. art. 66 al. 1 et 4 LTF). Toutefois, compte tenu des vices de la décision cantonale et du fait que l'attention du Juge unique a déjà été attirée à plusieurs reprises sur les exigences de motivation en matière de détention, il se justifie en l'espèce de mettre les frais à la charge du canton du Valais (cf. <ref-law>; cf. arrêts 2C_517/2016 du 28 juin 2016 consid. 5; 2C_237/2013 du 27 mars 2013 consid. 6.2). Celui-ci supportera également les dépens alloués au recourant, qui obtient gain de cause avec l'aide d'un mandataire professionnel (cf. art. 68 al. 1 et 2 LTF), ce qui a pour conséquence de rendre la demande d'assistance judiciaire pour la procédure fédérale sans objet.
La cause est renvoyée à l'autorité précédente pour qu'elle statue à nouveau sur les dépens de la procédure accomplie devant elle, le cas échéant dans le cadre de la demande d'assistance judiciaire (cf. art. 67 et 68 al. 5 LTF).
La cause étant ainsi jugée, la requête d'instruction et de mesures provisionnelles est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis.
2.
L'arrêt du 7 avril 2017 du Juge unique du Tribunal cantonal est annulé. Il est constaté, dans le sens des considérants, que les droits procéduraux du recourant ont été violés.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du canton du Valais.
4.
Une indemnité de 2'500 fr., à payer au recourant à titre de dépens pour la procédure devant le Tribunal fédéral, est mise à la charge du canton du Valais.
5.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les dépens de la procédure antérieure.
6.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrations et au Tribunal cantonal du canton du Valais, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 3 août 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber