Faits :
A.
A.a. A._, ressortissant portugais né le [...] 1992, est arrivé en Suisse le 20 juillet 1997, accompagné de son frère et de ses parents. Le 1er janvier 2006, il a été mis au bénéfice d'une autorisation d'établissement UE/AELE, dont le délai de contrôle est fixé au 30 avril 2020.
A.b. Durant son séjour en Suisse, A._ a fait l'objet de deux condamnations pénales. Le 8 novembre 2010, l'Office régional du Juge d'instruction du Valais central l'a condamné à un travail d'intérêt général de 180 heures, peine assortie d'un sursis avec délai d'épreuve de deux ans, et à une amende de 300 fr., pour remise à des enfants de substances nocives (<ref-law>). Le 1er mai 2015, le Tribunal de district de Martigny/St-Maurice l'a reconnu coupable de contrainte sexuelle et de viol et lui a infligé une peine privative de liberté de deux ans, sous déduction de la détention préventive de trois jours, peine assortie d'un sursis avec délai d'épreuve de quatre ans. Ce même tribunal a par ailleurs révoqué le sursis accordé le 8 novembre 2010.
A.c. A._ a entrepris plusieurs formations et apprentissages, sans toutefois les mener à terme. À compter du 18 juin 2014, il a accompli plusieurs missions temporaires en qualité de manoeuvre. Il s'est toutefois trouvé au chômage du mois de janvier 2015 au mois de mars 2015, avant de retrouver un emploi temporaire à partir du 13 avril 2015. Depuis le 1 er août 2016, il effectue un apprentissage de maçon.
A._, qui vit au domicile de ses parents, n'émarge pas à l'aide sociale et ne fait pas l'objet de poursuites ni d'acte de défaut de biens.
B.
Par décision du 8 octobre 2015, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a révoqué l'autorisation d'établissement de A._ et a, simultanément, prononcé son renvoi de Suisse. Le 9 novembre 2015, ce dernier a recouru contre cette décision devant le Conseil d'Etat du canton du Valais, lequel a toutefois rejeté le recours ainsi déposé par décision du 3 mai 2017 et confirmé la décision du Service cantonal. Par arrêt du 7 novembre 2017, la Cour de droit public du Tribunal cantonal du Valais (ci-après : Tribunal cantonal) a également rejeté le recours formé consécutivement contre ce prononcé.
C.
A._ interjette un recours en matière de droit public auprès du Tribunal fédéral. Il demande en substance, outre l'effet suspensif, l'annulation de l'arrêt du 7 novembre 2017 du Tribunal cantonal et le maintien de son autorisation d'établissement UE/AELE.
Par ordonnance du 8 décembre 2017, le Président de la Cour de céans a admis la demande d'effet suspensif.
Le Tribunal cantonal renonce à formuler des observations. Le Conseil d'Etat conclut au rejet du recours. Le Secrétariat d'Etat aux migrations n'a pas déposé de déterminations. Le recourant n'a pas produit d'observations finales.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.2. En vertu de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4; arrêts 2C_970/2017 du 7 mars 2018 consid. 1; 2C_308/2017 du 21 février 2018 consid. 1.1). En outre, en sa qualité de ressortissant portugais, le recourant peut en principe prétendre à un titre de séjour en Suisse, en vertu de l'ALCP (RS 0.142.112.681; cf. <ref-ruling> consid. 1.1 p. 179 s.; arrêt 2C_991/2017 du 1er février 2018 consid. 1.1). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF. Aucune autre clause d'irrecevabilité figurant à l'<ref-law> n'étant donnée, la voie du recours en matière de droit public est ouverte.
1.3. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377; arrêts 2C_970/2017 du 7 mars 2018 consid. 2; 2D_37/2017 du 8 février 2018 consid. 2). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (cf. <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6.2 p. 288; arrêts 2C_970/2017 du 7 mars 2018 consid. 2; 2D_37/2017 du 8 février 2018 consid. 2).
2.2. Dans la mesure où le recourant présente une argumentation partiellement appellatoire, en opposant sa propre version des faits à celle du Tribunal cantonal ou en complétant librement l'état de fait, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il sera donc statué sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
2.3. Quant à l'attestation de travail du 17 novembre 2017 et au certifi-cat de scolarité du 20 novembre 2017 déposés par le recourant en même temps que son recours, le Tribunal fédéral n'en tiendra pas compte, dès lors que ces pièces sont postérieures à l'arrêt entrepris. En effet, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
Le litige porte sur le point de savoir si la révocation de l'autorisation d'établissement UE/AELE du recourant, qui a fait l'objet de deux condamnations pénales, est conforme au droit.
4.
4.1. La LEtr (RS 142.20) ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. <ref-law>; arrêt 2C_991/2017 du 1 er février 2018 consid. 4.1). Toutefois, dès lors qu'il constitue une limite à la libre circulation des personnes, le retrait de l'autorisation d'établissement doit être conforme aux exigences de l'ALCP (cf. arrêts 2D_37/2017 du 8 février 2018 consid. 3; 2C_365/2017 du 7 décembre 2017 consid. 4.1).
4.2. A teneur de l'<ref-law>, et sous réserve de l'<ref-law> (cf. infra consid. 4), l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans, comme c'est le cas du recourant, ne peut être révoquée que pour les motifs mentionnés à l'art. 63 al. 1 let. b LEtr et à l'art. 62 al. 1 let. b LEtr. Selon l'art. 62 al. 1 let. b LEtr, l'autorité compétente peut révoquer une autorisation notamment si l'étranger a été condamné à une peine privative de liberté de longue durée. Constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 2.1 p. 147; arrêt 2C_970/2017 du 7 mars 2018 consid. 3).
En l'occurrence, il n'est pas contesté que le recourant a été condamné à une peine privative de liberté de deux ans assortie d'un sursis avec délai d'épreuve de quatre ans. Cela étant, le recourant remplit pleinement le motif permettant de révoquer son autorisation d'établissement en application de l'art. 62 al. 1 let. b LEtr par renvoi de l'art. 63 al. 2 LEtr.
5.
Le recourant, qui conteste en revanche l'existence d'un risque de récidive caractérisé, invoque une violation de l'<ref-law>.
5.1. Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law> (cf. <ref-ruling> consid. 5.3 p. 125 s.; arrêt 2C_308/2017 du 21 février 2018 consid. 5.2).
Conformément à la jurisprudence rendue en rapport avec cette disposition, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en-dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société. L'évaluation de cette menace doit se fonder exclusivement sur le comportement personnel de celui qui fait l'objet de la mesure, et non sur des motifs de prévention générale détachés du cas individuel. La seule existence d'antécédents pénaux ne permet pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut donc procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle d'une certaine gravité pour l'ordre public. Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important. A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 125 s.; <ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_308/2017 du 21 février 2018 consid. 5.2).
5.2. En l'occurrence, le recourant a été condamné à une peine privative de liberté de deux ans pour contrainte sexuelle et viol. De telles infractions sont très graves, car dirigées contre un bien juridique particulièrement important, raison pour laquelle la jurisprudence se montre spécialement rigoureuse en ce domaine, comme cela a été mentionné dans le considérant précédent. Il importe à cet égard peu que l'intéressé se prévale, dans son recours, de l'absence de "violence physique" lors de la commission des infractions en question. Il ressort de l'arrêt attaqué qu'il a fait preuve d'une intention et d'un comportement criminels particulièrement répréhensibles et odieux et qu'aucune circonstance atténuante n'a été reconnue par le juge pénal à sa décharge. Le 1 er janvier 2012, le recourant a en effet saisi celle qui allait devenir sa victime par un bras et l'a tirée en arrière alors qu'elle avait manifesté son intention de s'en aller. Alors que la jeune femme criait et appelait au secours, il l'a ensuite bâillonnée de sa main et l'a menacée de manière réitérée dès lors qu'elle refusait d'exécuter les actes demandés. Il a opéré de sorte à installer un climat de peur propice à obtenir de la victime qu'elle assouvisse ses désirs sexuels (masturbation, fellation, caresse des seins, vaginales et anales puis pénétration), les faits s'étant déroulés dans un endroit isolé où personne dans les alentours ne pouvait entendre les cris de la jeune femme. Ce n'est enfin qu'après avoir été confronté au résultat du test ADN que le recourant a cessé de nier son implication dans l'accomplissement du viol exposé ci-avant. Le recourant a ainsi démontré un manque de prise de conscience quant à la gravité de ses actes. Dans ses différents mémoires de recours, dont celui déposé devant la Cour de céans, le recourant souligne d'ailleurs davantage les incidences importantes qu'a eues la procédure pénale sur sa formation et son avenir professionnels qu'il ne formule de regrets quant à son comportement.
5.3. Compte tenu de la gravité du comportement du recourant, l'instance précédente pouvait se montrer spécialement rigoureuse dans l'évaluation du risque de récidive. Il convient à cet égard de relever d'emblée que, contrairement à ce que le recourant semble soutenir, il n'est pas possible de qualifier les actes délictueux susmentionnés de simples erreurs de jeunesse, étant rappelé que la condamnation pénale du 1 er mai 2015 porte sur des faits commis à l'âge adulte (cf. à cet égard arrêt 2C_974/2015 du 5 avril 2016 consid. 3.3). Quoi qu'en dise le recourant, son âge lors de la commission de l'infraction n'est de toute façon pas déterminant en soi pour apprécier le risque de récidive (arrêt 2C_991/2017 du 1er février 2018 consid. 5.3), ni d'ailleurs le fait de n'avoir pas été condamné pénalement à plus de deux reprises. Au contraire, un risque de récidive s'impose d'autant plus en l'occurrence que les infractions de viol et de contrainte sexuelle susmentionnées ont été commises durant le sursis avec délai d'épreuve de deux ans dont le recourant avait bénéficié lors de sa condamnation du 8 novembre 2010. Comme le relève l'instance précédente, le recourant a ainsi fait fi du but préventif et dissuasif de cette première sanction en commettant ultérieurement un crime beaucoup plus grave, jetant par là-même un réel discrédit sur sa véritable capacité à se conformer à l'ordre juridique helvétique. Le fait que le recourant n'a plus commis d'infractions après 2012 ne permet pas de considérer le contraire. C'est le moins que l'on puisse attendre de lui compte tenu des poursuites pénales engagées à son encontre et du sursis de quatre ans assortissant la peine privative de liberté de deux ans à laquelle il a été condamné le 1 er mai 2015 (cf. <ref-ruling> consid. 4.3 p. 24; arrêt 2C_644/2015 du 27 août 2015 consid. 4.4).
C'est pour le reste en vain que le recourant invoque le sursis complet que les juges pénaux lui ont accordé le 1 er mai 2015, sursis qui démontrerait, selon lui, qu'il ne constitue pas de menace actuelle et réelle pour l'ordre public. A cet égard, il sied de rappeler, à l'instar du Tribunal cantonal, que les juges pénaux ont, plus de trois ans après la survenance des faits incriminés, révoqué le sursis octroyé au recourant le 8 novembre 2010 d'une part et ont fixé le délai d'épreuve de la nouvelle peine à quatre ans, soit proche du maximum de cinq ans prévu par la loi, d'autre part. Or, le risque de récidive est l'un des critères déterminants pour fixer la durée du délai d'épreuve (cf. notamment arrêt 6B_423/2013 du 27 juin 2013 consid. 5.1). Il ressort en outre des constatations de fait du Tribunal cantonal - non contestées par le recourant - que la relative clémence de la sanction du 1 er mai 2015 découle exclusivement de la violation du principe de célérité durant l'enquête pénale. Le recourant ne peut dès lors rien déduire en sa faveur du jugement pénal du 1 er mai 2015, avec lequel le jugement attaqué n'aurait de toute façon pas dû coïncider en tout point (cf. supra consid. 5.1). Il en va évidemment de même du versement, à la victime, d'une indemnité pour réparation du tort moral. Ce versement constituait, contrairement à ce que semble croire le recourant, un aspect de la condamnation pénale (cf. arrêt 2C_801/2012 du 23 février 2013 consid. 4.3).
5.4. Compte tenu des éléments qui précèdent, le Tribunal cantonal n'a pas violé l'<ref-law> en admettant que le recourant constituait une menace actuelle et suffisamment grave pour l'ordre et la sécurité publics justifiant la révocation de son autorisation d'établissement. Les faits pour lesquels le recourant a été condamné sont d'une gravité telle que le risque de récidive n'avait pas à s'imposer avec une acuité particulière pour conduire à la mise en oeuvre de la mesure de sauvegarde que constitue la révocation de l'autorisation d'établissement. Il est en effet justifié que les États membres puissent se protéger contre la réalisation de risques relatifs à des biens juridiques aussi importants que la vie, l'intégrité physique ou sexuelle (arrêt 2C_801/2012 du 23 février 2013 consid. 4.3).
6.
Le recourant fait également valoir une violation de l'art. 96 LEtr. Il conteste le résultat de l'examen de la proportionnalité effectué par le Tribunal cantonal. Il estime en outre qu'un avertissement aurait dû lui être adres sé avant que son autorisation d'établissement ne soit révoquée.
6.1. Selon l'art. 96 al. 1 LEtr - aussi applicable au domaine régi par l'ALCP (cf. art. 2 al. 2 LEtr; cf. arrêts 2C_44/2017 du 28 juillet 2017 consid. 6.1; 2C_1097/2016 du 20 février 2017 consid. 5.1) -, les autorités compétentes tiennent compte, en exerçant leur pouvoir d'appréciation, des intérêts publics, de la situation personnelle de l'étranger, ainsi que du degré d'intégration de celui-ci.
De jurisprudence constante, la question de la proportionnalité d'une révocation d'autorisation doit être tranchée au regard de toutes les circonstances du cas d'espèce, les critères déterminants se rapportant notamment à la gravité de l'infraction, à la culpabilité de l'auteur, au temps écoulé depuis l'infraction, au comportement de celui-ci pendant cette période, au degré de son intégration et à la durée de son séjour antérieur, ainsi qu'aux inconvénients qui le menacent, lui et sa famille, en cas de révocation (<ref-ruling> consid. 2.3.3 p. 34 ss; <ref-ruling> consid. 4.3 p. 381 s.; arrêts 2C_970/2017 du 7 mars 2018 consid. 4.1; 2C_991/2017 du 1er février 2018 consid. 6.1). Lorsque la mesure de révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts (<ref-ruling> consid. 2.2.1 p. 19 s.; <ref-ruling> consid. 4.3 p. 381 s.). La durée de séjour en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. ATF <ref-ruling> consid. 4.4 et 4.5 p. 382 s.). La révocation de l'autorisation d'établissement d'un étranger né et élevé en Suisse (un étranger dit de la deuxième génération) n'est pas a priori exclue, mais n'entre en ligne de compte que si l'intéressé a commis des infractions très graves, en particulier en cas de violence, de délits sexuels, de graves infractions à la loi fédérale sur les stupéfiants, ou en cas de récidive. On tiendra alors particulièrement compte de l'intensité des liens de l'étranger avec la Suisse et des difficultés de réintégration dans son pays d'origine (arrêts 2C_970/2017 du 7 mars 2018 consid. 4.1; 2C_991/2017 du 1er février 2018 consid. 6.1 et les références citées).
Enfin, pour les étrangers issus de la deuxième génération qui ont commis plusieurs infractions, mais pour qui les condamnations n'ont pas (encore) constitué un cas de révocation, il est généralement admis qu'un avertissement doit tout d'abord leur être adressé, afin d'éviter les mesures mettant fin à leur séjour en Suisse. Un avertissement peut également être donné lorsque les conditions de révocation sont certes réunies, mais que le retrait de l'autorisation apparaît comme étant une mesure disproportionnée (art. 96 al. 2 LEtr; cf. arrêts 2D_37/2017 du 8 février 2018 consid. 6.2; 2C_27/2017 du 7 septembre 2017 consid. 4.1; 2C_94/2016 du 2 novembre 2016 consid. 3.4 et référence).
6.2. Comme on l'a vu précédemment, le recourant a été condamné à deux reprises. Compte tenu de la gravité des infractions de viol et de contrainte sexuelle ainsi que de l'importance de la faute, qui a été qualifiée de moyenne à lourde par les juges pénaux, il convient de retenir que les arguments d'intérêt public en faveur de l'éloignement de Suisse du recourant sont clairs, même s'ils doivent être mis en balance avec l'intérêt personnel du recourant à demeurer en Suisse. À ce second égard, il faut reconnaître qu'un départ de Suisse ne sera assurément pas facile pour le recourant. Le fait est que celui-ci, quand bien même il ne peut se prévaloir d'aucune intégration particulière, tant sur un plan social que professionnel, vit dans ce pays depuis l'âge de cinq ans et que ses parents, chez qui il réside toujours, ainsi que son frère et d'autres membres de sa famille, y sont aussi établis. Il en va de même de son amie. Il n'en demeure pas moins que le recourant, dont la relation avec celle-ci est récente, est jeune et en excellente santé; il parle le portugais et pourra mettre à profit l'expérience professionnelle acquise lors de son apprentissage, qu'il devrait finir, selon ses dires, en août de cette année, pour obtenir un travail dans son pays d'origine qu'il connaît bien, dès lors qu'il y passe plusieurs semaines un an sur deux. Il y retrouvera d'ailleurs ses grand-parents, des oncles et tantes - et leurs familles - ainsi que des amis qui pourront l'aider à s'installer lors de son arrivée et ainsi faciliter son intégration. Finalement, l'éloignement du recourant ne l'empêchera pas d'avoir des contacts avec sa famille et son amie résidant en Suisse, par le biais des moyens modernes de communication ou de séjours touristiques.
En résumé, on ne voit pas en quoi l'intérêt du recourant à demeurer en Suisse surpasserait l'intérêt public tendant à éloigner un étranger condamné à deux ans de peine privative de liberté pour viol et contrainte sexuelle, de sorte que la révocation de l'autorisation d'établissement de l'intéressé n'apparaît pas disproportionnée. Partant, le grief de violation de l'article 96 LEtr doit être rejeté.
6.3. Enfin, le principe de proportionnalité n'impliquait en l'occurrence pas nécessairement que le Service cantonal avertisse le recourant du risque de révocation de son autorisation d'établissement. Il sied du reste de relever, comme l'a fait l'instance précédente, que le recourant s'est rendu coupable de viol et de contrainte sexuelle début janvier 2012, un an après la condamnation pénale assortie d'un sursis prononcée à son encontre le 8 novembre 2010. Or, celle-ci constituait en elle-même un avertissement. Même sans avertissement formel émanant de la police des étrangers, il devait être clair pour le recourant que son nouveau comportement pénal, hautement répréhensible, risquait de compromettre son droit à séjourner en Suisse (cf. arrêts 2D_37/2017 du 8 février 2018 consid. 7; 2C_453/2015 du 10 décembre 2015 consid. 5.3). Partant, au regard de l'ensemble des circonstances, en particulier de la gravité des actes du recourant et de l'absence d'effet d'un précédent sursis accordé sur un plan pénal, le Tribunal cantonal n'a pas non plus violé l'art. 96 al. 2 LEtr en refusant implicitement de commuer la mesure de révocation de l'autorisation d'établissement du recourant en un simple avertissement (cf. arrêts 2C_169/2017 du 6 novembre 2017 consid. 4.5; 2C_480/2013 du 24 octobre 2013, consid. 4.5.3; 2C_935/2010 du 7 juin 2011, consid. 3.1).
7.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Conseil d'Etat, au Tribunal cantonal du canton du Valais, Cour de droit public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 2 août 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat