Considérant en fait et en droit :
1.
Ressortissante française née en 1972, Y._ est entrée en Suisse le 1er juillet 2013. L'intéressée réside dans la Commune de A._ (Valais), au bénéfice d'une autorisation de séjour UE/AELE valable jusqu'au 30 juin 2018.
Le 23 mars 2016, Y._ et X._, ressortissant du Bénin né en 1981, ont signé une demande de publication des bans et de délivrance d'un certificat de capacité à mariage à l'intention du Consulat général de France. Le 29 juin 2016, l'Office d'état civil de B._ (Valais) a informé le conseil des intéressés que l'ouverture d'une procédure préparatoire de mariage nécessitait la production de pièces attestant de la légalité de leur séjour en Suisse.
Le 27 décembre 2016, X._ a été interpellé au poste-frontière de C._ à son arrivée en Suisse dans une voiture conduite par Y._. A cette occasion, l'intéressé a déclaré qu'il vivait chez sa fiancée depuis deux ans sans titre de séjour.
Le 28 décembre 2016, le Service de la population et des migrants du canton du Valais (ci-après: le Service de la population) a ordonné à la police cantonale de remettre à X._ une carte de sortie lui indiquant son obligation de quitter la Suisse avant le 31 décembre 2016. Une attestation de départ a été délivrée en date du 1er janvier 2017.
Le 13 février 2017, X._ a à nouveau été interpellé. L'intéressé a indiqué aux autorités qu'il se rendait à l'Office de l'état civil de B._ pour déposer sa demande de mariage. Le même jour, l'Office de l'état civil de B._ a rappelé à Y._ que les fiancés étrangers avaient l'obligation d'apporter, au cours de la procédure préparatoire de mariage, la preuve de la légalité de leur séjour en Suisse. L'autorité lui a imparti un délai au 20 mars 2017 pour établir la légalité du séjour de X._.
2.
Par décision du même jour, le Service de la population a prononcé le renvoi de X._. Un délai lui a été imparti au 17 février 2017 pour quitter la Suisse. Par arrêt du 21 mars 2017, le Juge unique du Tribunal cantonal du Valais a rejeté le recours formé par X._ contre la décision de renvoi du Service de la population.
3.
Agissant par la voie du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de frais et dépens, l'annulation de l'arrêt du 21 mars 2017 et le renvoi de la cause au Service de la population afin qu'il se prononce sur l'octroi à l'intéressé d'une autorisation de séjour en vue de son mariage. Il demande par ailleurs l'effet suspensif ainsi que l'assistance judiciaire.
Le 4 mai 2017, le Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal cantonal a renoncé à se déterminer. Le recourant n'a pas formulé d'observations. Le 11 avril 2017, le Service de la population a déposé une nouvelle pièce.
4.
Au vu de l'art. 83 let. c ch. 4 LTF, c'est à bon droit que le recourant a déposé un recours constitutionnel subsidiaire. En effet, seul le recours constitutionnel subsidiaire est ouvert contre les décisions cantonales de dernière instance rendues séparément sur la question des obstacles liés à l'exécution d'un renvoi.
5.
Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 et 117 LTF). L'ordonnance pénale du 17 janvier 2017, produite pour la première fois devant le Tribunal fédéral, est partant irrecevable.
6.
Comme la personne sous le coup d'une décision de renvoi ne dispose pas, en cas d'obstacles à son renvoi, d'un droit à ce que le canton demande une admission provisoire à l'Office fédéral qui est exclusivement compétent pour décider en cette matière, seule peut être invoquée la violation de droits constitutionnels spécifiques (protection de la vie humaine, protection contre les traitements cruels, inhumains ou dégradants, etc.) ou la violation de droits de parties dont le manquement équivaut à un déni de justice formel (ATF 137 II 305 consid. 3.3 p. 310).
En l'espèce, le recourant se plaint d'un déni de justice formel au sens de l'art. 29 al. 1 Cst. Il reproche au Service de la population d'avoir refusé de donner suite à sa demande d'autorisation de séjour en vue du mariage tant que la question du renvoi n'était pas réglée. Ce grief, qui se fonde sur un élément de fait qui ne ressort pas de l'arrêt attaqué sans que le recourant n'invoque l'arbitraire dans la constatation des faits (cf. art. 97 LTF), est irrecevable. Même à supposer qu'une demande d'autorisation de séjour ait été déposée par le recourant, celle-ci ne fait pas l'objet de la présente procédure (cf. art. 42 al. 2 LTF). Quant à la critique portant sur le droit à un procès équitable (art. 29 al. 1 Cst.), elle n'est pas motivée conformément aux exigences accrues de l'art. 106 al. 2 LTF, applicable par le biais de l'art. 117 LTF.
Le recourant invoque également la violation des art. 14 Cst. et 12 CEDH en relation avec l'obtention d'une autorisation de séjour en vue du mariage. Un tel grief est cependant irrecevable contre une décision de renvoi rendue séparément qui seule fait l'objet de la présente procédure. Il en va de même de l'interdiction de l'arbitraire que le recourant invoque en relation avec l'application de l'art. 17 al. 2 LEtr, qui n'est pas un droit constitutionnel spécifique. Pour le reste, le recourant ne se plaint d'aucun grief qui lui permettrait de s'opposer à la décision de renvoi: il n'invoque ni la violation d'un droit de partie ni celle d'un droit constitutionnel au sens de la jurisprudence exposée ci-dessus. Le recours constitutionnel subsidiaire est par conséquent irrecevable.
7.
Les considérants qui précèdent conduisent à l'irrecevabilité du recours constitutionnel subsidiaire. Le recours étant d'emblée dénué de chance de succès, la requête d'assistance judiciaire doit être rejetée (art. 64 LTF). Succombant, le recourant doit supporter les frais de la procédure fédérale (art. 66 al. 1 LTF), qui seront toutefois fixés en tenant compte de sa situation. Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et des migrations du canton du Valais, au Tribunal cantonal du canton du Valais, Cour de droit public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 23 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor