Faits : A. Le 30 mai 2014, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a révoqué l'autorisation d'établissement de A._, ressortissant du Cap-Vert né en 1984, et prononcé son renvoi de Suisse (cf. art. 105 al. 2 LTF). Cette décision entrée en force, un délai au 31 décembre 2014 a été imparti à l'intéressé pour quitter la Suisse (cf. art. 105 al. 2 LTF). Par décision du 15 août 2016 du Service cantonal, confirmée le 17 août 2016 par le Juge unique de la Cour de droit public du Tribunal cantonal du Valais (ci-après: le Juge unique du Tribunal cantonal), A._ a été placé en détention administrative au centre de détention LMC de Granges, en Valais (ci-après: le centre LMC de Granges), en vue de son renvoi (cf. art. 105 al. 2 LTF). Le 7 septembre 2016, A._ a déposé une demande de reconsidération de l'arrêt du 17 août 2016 confirmant son maintien en détention. Cette demande a été rejetée par le Juge unique du Tribunal cantonal par arrêt du 20 septembre 2016 (cf. art. 105 al. 2 LTF). Contre cet arrêt, A._ a formé un recours en matière de droit public auprès du Tribunal fédéral. Après avoir refusé, les 7 septembre et 1er novembre 2016, de prendre un avion pour regagner son pays d'origine, l'intéressé a été libéré le 2 novembre 2016, l'organisation d'un vol spécial ne paraissant plus envisageable dans un délai raisonnable. Le 22 novembre 2016, il a retiré son recours au Tribunal fédéral contre l'arrêt du 20 septembre 2016, ce dont il a été pris acte, la cause étant rayée du rôle, par ordonnance du Président de la IIe Cour de droit public du Tribunal fédéral du 23 novembre 2016 (cause 2C_984/2016). B. B.a. Par décision du 6 avril 2017, le Service cantonal a placé immédiatement A._ en détention, au centre LMC de Granges, en vue de son renvoi. Le dossier a été transmis au Juge unique du Tribunal cantonal Jean-Bernard Fournier pour qu'il examine la légalité et l'adéquation de cette décision. Le même jour, A._ a déposé auprès du Président du Tribunal cantonal (cf. art. 105 al. 2 LTF) une demande de récusation du Juge unique Jean-Bernard Fournier, au motif que celui-ci avait accordé, le 5 avril 2017, une autorisation de perquisition au sens de l'art. 70 al. 2 LEtr (RS 142.20), partant à tort du principe qu'il se cachait et préjugeant de la sorte de la question de la mise en détention administrative, fondée sur le risque qu'il se soustraie à son renvoi (cf. art. 76 al. 1 let. b ch. 3 LEtr). B.b. A l'audience du 7 avril 2017 devant le Juge unique du Tribunal cantonal Jean-Bernard Fournier, A._ a sollicité, sans succès, la suspension de l'examen de sa mise en détention jusqu'à droit connu sur sa demande de récusation. Le recourant s'est en outre plaint de ses conditions de détention au centre LMC de Granges, faisant valoir qu'elles étaient contraires à l'art. 3 CEDH, qui prohibe la torture et les traitements inhumains ou dégradants (cf. art. 105 al. 2 LTF). A l'appui de ses critiques, il a produit un rapport de 2007 du Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants, ainsi que trois rapports de la Commission nationale de prévention de la torture, de 2010, 2012 et 2016, ayant notamment pour objet les conditions de détention au centre LMC de Granges (cf. art. 105 al. 2 LTF). B.c. Par arrêt du 7 avril 2017, le Juge unique du Tribunal cantonal a approuvé la décision du 6 avril 2017 du Service cantonal et rejeté les conclusions de A._. C. Contre l'arrêt du 7 avril 2017, A._ forme, le 26 avril 2017, un recours en matière de droit public au Tribunal fédéral, auquel il demande préalablement de venir inspecter le centre de détention LMC de Granges et d'ordonner, à titre de mesures provisionnelles, sa libération immédiate, subsidiairement son transfert vers un établissement voué exclusivement à la détention administrative. Au fond, il conclut, sous suite de frais et dépens, principalement à l'annulation de l'arrêt entrepris, à sa mise en liberté immédiate et à l'octroi de l'assistance judiciaire tant sur les plans cantonal que fédéral, et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour qu'il rende une nouvelle décision après avoir établi les faits conformément aux prescriptions légales. Il se plaint de la violation du droit fédéral et international, notamment des art. 3 et 5 CEDH. Par ordonnance du 27 avril 2017, la Juge présidant de la IIe Cour de droit public du Tribunal fédéral a renoncé à percevoir une avance de frais, tout en attirant l'attention du recourant sur le défaut de motivation et d'offres de preuve de sa demande d'assistance judiciaire, et a imparti des délais d'échange d'écritures. Par courrier du 3 mai 2017, le Service cantonal a informé le Tribunal fédéral que A._ avait été renvoyé vers le Cap-Vert par vol spécial le 26 avril 2017. Par ordonnance de la Juge instructrice du 10 mai 2017, le Tribunal fédéral a imparti un délai au 29 mai 2017 au recourant et au Service cantonal pour déposer d'éventuelles observations sur la suite de la procédure, en particulier sur le maintien de l'intérêt actuel au recours. Le Tribunal cantonal a renoncé à se déterminer sur le recours. Le Secrétariat d'Etat aux migrations a déclaré ne pas avoir d'observations à formuler sur le recours en raison du renvoi de l'intéressé. Le 26 mai 2017, A._, sous la plume de son conseil, a motivé sa demande d'assistance judiciaire.