Faits :
A.
A._, ressortissant marocain né le 1 er janvier 1991, est entré en Suisse le 9 septembre 2003 afin d'aller vivre à Genève auprès de sa mère marocaine, mariée à un ressortissant suisse. Il a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Le 3 avril 2008, il a obtenu une autorisation d'établissement.
Sitôt arrivé en Suisse, l'intéressé a été pris en charge par sa tante. Il n'a ainsi jamais vécu à Genève, mais à Martigny, où il ne s'est annoncé que le 18 février 2010. Suite à cela, il a demandé au Service de la population et des migrations du canton du Valais (ci-après: le Service de la population) d'agréer un changement de canton.
Par jugement du Tribunal des districts de Martigny et de St-Maurice du 9 septembre 2011, l'intéressé a été condamné à une peine privative de liberté de 16 mois, avec sursis pendant 2 ans, pour vol, tentative de vol, dommage à la propriété, violation de domicile et brigandage. Le 9 octobre 2013, il a été reconnu coupable, par le Tribunal de district de Sion, d'incendie intentionnel, de vol d'usage et de conduite sans permis de conduire. Pour ces infractions, il a été condamné à une peine privative de liberté de 6 mois assortie du sursis pendant 3 ans, ainsi qu'à une amende de 500 fr.
B.
Le 16 avril 2012, le Service de la population a rejeté la demande de changement de canton de l'intéressé, ordonnant simultanément à celui-ci de quitter le Valais et de reprendre résidence à Genève dans un délai de 30 jours. Le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a confirmé ce prononcé dans une décision sur recours du 18 septembre 2013. L'intéressé a contesté cette dernière le 24 octobre 2013 auprès du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal).
Par arrêt du 7 février 2014, le Tribunal cantonal a rejeté le recours de A._. Il a considéré que les condamnations de celui-ci constituaient des motifs de révocation de l'autorisation d'établissement et que la mesure prononcée était proportionnée, éléments excluant un changement de canton.
C.
Agissant par la voie du recours constitutionnel subsidiaire, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de réformer la décision du 7 février 2014 du Tribunal cantonal et de l'autoriser à s'établir dans le canton du Valais, subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque une violation de l'interdiction de l'arbitraire.
Par ordonnance du 20 mars 2014, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer sur le recours. Le Conseil d'Etat et l'Office fédéral des migrations concluent à son rejet.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 6 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent le déplacement de la résidence dans un autre canton même si l'étranger a un droit au changement de canton (arrêts 2D_7/2013 du 30 mai 2013 consid. 1.1; 2D_17/2011 du 26 août 2011 consid. 1.1; 2C_140/2010 du 17 juin 2010 consid. 2.3). C'est dès lors à juste titre que l'intéressé a déposé un recours constitutionnel subsidiaire (art. 113 LTF).
1.2. La qualité pour former un recours constitutionnel subsidiaire suppose un " intérêt juridique " à l'annulation ou à la modification de la décision attaquée (art. 115 let. b LTF).
L'art. 37 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) dispose que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr. Le recourant peut ainsi faire valoir un intérêt juridique à la modification de la décision cantonale. Selon l'art. 62 let. b LEtr, applicable par renvoi de l'art. 63 al. 1 let. a LEtr, l'autorisation d'établissement peut être révoquée lorsque l'étranger a été condamné à une peine privative de liberté de longue durée. Savoir si l'autorisation sollicitée peut être refusée pour un tel motif est une question de fond et non de recevabilité.
1.3. Pour le surplus, interjeté par une partie qui a succombé dans ses conclusions, le présent recours, déposé dans le délai (art. 117 et 100 al. 1 LTF) et dans la forme (art. 42 LTF) prévus, est en principe recevable, puisqu'il est dirigé contre un jugement final (art. 117 et 90 LTF) rendu par un tribunal supérieur statuant en dernière instance cantonale (art. 114 et 86 al. 1 let. d et al. 2 LTF).
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 118 al. 1 LTF). Il peut néanmoins rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation du droit au sens de l'art. 116 LTF (art. 118 al. 2 LTF), ce que le recourant doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation posées à l'art. 106 al. 2 LTF (<ref-ruling> consid. 3.2 p. 444 s.; arrêt 2C_144/2009 du 15 juin 2009, consid. 2.2). Sont ainsi d'emblée irrecevables les références faites par le recourant au montant des poursuites dont il fait l'objet et à sa situation professionnelle actuelle; s'en prévalant de façon appellatoire, le recourant n'en traite en effet pas en lien, en particulier, avec l'interdiction de l'arbitraire garantie à l'art. 9 Cst. (art. 106 al. 2 LTF).
3.
Le recourant estime qu'en lui refusant l'autorisation de s'établir dans le canton du Valais, le Tribunal cantonal est tombé dans l'arbitraire et a violé son droit au changement de canton tel que garanti à l'art. 37 LEtr.
3.1. Une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et reconnu, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que dans la mesure où celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du fait qu'une autre solution pourrait entrer en considération ou serait même préférable (<ref-ruling> consid. 7.1 p. 51, 305 consid. 4.4 p. 319; <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 5.1 p. 22; arrêt 4A_433/2013 du 15 avril 2014 consid. 2.1).
3.2. Selon l'art. 66 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), les étrangers ne peuvent disposer d'une autorisation de séjour, de courte durée ou d'établissement que dans un seul canton; les autorisations sont valables sur le territoire du canton qui les a délivrées. L'étranger qui souhaite changer de canton doit requérir une autorisation de changement de canton (art. 67 al. 1 OASA). L'autorisation dans le premier canton prend fin lorsque l'étranger obtient une autorisation dans un autre canton (art. 61 al. 1 let. b LEtr). Tant qu'il ne l'obtient pas, l'autorisation d'établissement est maintenue à moins qu'elle ne soit révoquée (art. 63 LEtr).
L'art. 37 al. 3 LEtr dispose que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr. En application de l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans peut notamment être révoquée s'il a été condamné à une peine privative de liberté de longue durée (art. 62 let. b LEtr). Par peine de longue durée, on entend, selon la jurisprudence, une peine privative de liberté de plus d'une année qui résulte d'un seul jugement pénal, indépendamment qu'elle ait été prononcée avec un sursis complet ou partiel, ou sans sursis (<ref-ruling> consid. 2.1 p. 18 s.; arrêt 2C_41/2014 du 16 juin 2014 consid. 2).
L'autorisation ne peut être refusée dans le nouveau canton au seul motif que le requérant peut rester dans l'actuel canton de domicile. Il doit exister un motif de révocation justifiant un renvoi de Suisse. Le nouveau canton est tenu d'examiner s'il existe un motif de révocation et (conditions cumulatives) si un renvoi de Suisse constituerait une mesure proportionnelle et raisonnablement exigible compte tenu de l'ensemble des circonstances (arrêts 2C_1103/2013 du 26 juillet 2014 consid. 5.2; 2C_386/2013 du 13 septembre 2013 consid. 2.2; 2D_17/2011 du 26 août 2011 consid. 3.3 et les références doctrinales citées; cf. également le Message du Conseil fédéral du 24 octobre 2007 concernant la loi sur les étrangers, qui précise que la nature juridique particulière de l'autorisation d'établissement doit être prise en compte [FF 2002 p. 3547]). Le refus du changement de canton n'a pour effet que de renvoyer le requérant dans le canton d'origine. Il n'implique pas la perte du titre de séjour en Suisse (cf. art. 61 al. 1 let. b LEtr et les Directives LEtr, ch. 3.1.8.2.1).
3.3. La question de la proportionnalité de la révocation d'une autorisation d'établissement doit être tranchée au regard de toutes les circonstances du cas d'espèce, les critères déterminants se rapportant notamment à la gravité de l'infraction, à la culpabilité de l'auteur, au temps écoulé depuis l'infraction, au comportement de l'auteur pendant cette période, au degré de son intégration et à la durée de son séjour antérieur, ainsi qu'aux inconvénients qui le menacent, lui et sa famille, en cas de révocation (<ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 2.3.1 p. 33; <ref-ruling> consid. 2.4 p. 149; arrêt 2C_1193/2013 du 27 mai 2014 consid. 2.3). Quand la mesure de révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts en présence. A ce propos, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. arrêts 2C_800/2013 du 27 février 2014 consid. 3.3; 2C_565/2013 du 6 décembre 2013 consid. 3.5; 2C_238/2012 du 30 juillet 2012 consid. 2.3 et les arrêts cités). Sous réserve de liens personnels ou familiaux prépondérants, il existe un intérêt public digne de protection à mettre fin au séjour d'un étranger, afin de préserver l'ordre public et à prévenir de nouveaux actes délictueux, le droit des étrangers n'exigeant pas que le public demeure exposé à un risque même faible de nouvelles atteintes à des biens juridiques importants (<ref-ruling> consid. 2.2.1 p. 20; <ref-ruling> consid. 2.3.2 p. 31). La durée de présence en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer la décision de révocation doivent être appréciées restrictivement (cf. <ref-ruling> consid. 4.4 et 4.5 p. 382 s.; arrêts 2C_816/2012 du 6 mars 2013 consid. 5.1; 2C_881/2012 du 16 janvier 2013 consid. 5.1).
3.4. En l'espèce, le recourant a été condamné en 2011 à une peine privative de liberté de 16 mois, avec sursis pendant 2 ans, de sorte que le motif de révocation de l'art. 62 let. b LEtr est rempli, ce qui n'est pas contesté.
Dans la pesée des intérêts, les juges cantonaux ont insisté sur la gravité des infractions commises et sur le fait que le recourant a intentionnellement incendié un véhicule alors qu'il était sous le coup d'une procédure pénale; ils ont relevé que le recourant avait été mis au bénéfice du sursis lors de ses deux condamnations et qu'il n'avait plus récidivé. Il ont cependant également mentionné que l'attitude du recourant lors des deux procédures pénales était de nature à susciter des doutes quant à sa capacité à s'amender. Au demeurant, le recourant n'a pas démontré une bonne intégration professionnelle, ayant été licencié pour faute grave en cours d'apprentissage et n'ayant par la suite pas obtenu d'activité lucrative stable. Celui-ci s'est ainsi retrouvé avec des poursuites et des actes de défaut de biens pour plus de 10'000 fr. L'instance précédente explique en outre que s'il a passé 10 ans en Suisse et se considère comme intégré, le recourant ne peut se targuer d'aucun signe ou témoignage d'intégration réussie qui permettrait d'étayer cette affirmation démentie par sa situation financière et professionnelle, ainsi que par son passé délictueux. Finalement, les juges cantonaux ont précisé que le recourant, célibataire, était âgé de 23 ans.
3.5. Le recourant insiste sur le fait que le Tribunal cantonal n'a pas suffisamment pris en compte le sursis total prononcé lors de sa condamnation et la collaboration dont il a fait preuve durant la procédure pénale. Au vu de ce qui précède, il s'avère au contraire que l'instance précédente a précisément pris en compte ces éléments. Elle a cependant considéré qu'ils n'étaient pas suffisants pour contrebalancer les autres éléments parlant en faveur d'une révocation de l'autorisation d'établissement du recourant. Cette instance a de plus relevé que s'il avait effectivement obtenu le sursis lors de ses deux condamnations et qu'il avait fait preuve d'une certaine collaboration au cours de la seconde procédure pénale, le recourant, lors de sa première procédure pénale, ne s'était expliqué en détails sur ses activités délictueuses qu'à l'occasion de son dernier interrogatoire devant la police et qu'il n'avait pas cherché à indemniser ses victimes. La pesée des intérêts qui figure dans l'arrêt attaqué n'est ainsi pas arbitraire dans son résultat. En effet, le recourant a été condamné en 2011 et 2013 à une peine totale de 22 mois de privation de liberté et ne s'est jamais intégré socialement en Suisse, accumulant des dettes et n'arrivant pas à trouver un travail. Par ailleurs, il est célibataire et il ne ressort pas de l'arrêt attaqué qu'il ait eu des enfants. Dans ces circonstances, il n'est pas insoutenable de considérer que les éléments qui pourraient parler en faveur du recourant ne sont pas suffisants pour contrebalancer l'intérêt public à l'éloigner de Suisse. Le grief d'arbitraire est donc rejeté.
4.
Sans savoir s'il entend en tirer un droit, le recourant cite encore l'art. 8 CEDH en expliquant que sa famille réside également en Valais.
Un étranger peut se prévaloir de la protection de la vie familiale découlant de l'art. 8 CEDH à condition qu'il entretienne une relation étroite et effective (cf. <ref-ruling> consid. 5 p. 269) avec une personne de sa famille ayant le droit de résider durablement en Suisse (ce qui suppose que cette personne ait la nationalité suisse, une autorisation d'établissement en Suisse ou un droit certain à une autorisation de séjour en Suisse, cf. <ref-ruling> consid. 1.3.1 p. 145 s.). Les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1d/aa p. 65). Enfin, outre ces cas, un étranger majeur ne peut se prévaloir de cette disposition que s'il se trouve dans un état de dépendance particulier par rapport à des membres de sa famille résidant en Suisse en raison, par exemple, d'un handicap (physique ou mental) ou d'une maladie grave (<ref-ruling> consid. 2 p.13 s.; <ref-ruling> consid. 1e p. 261 et la jurisprudence citée). En l'espèce, le recourant, majeur, célibataire, sans enfant, ne peut pas invoquer les relations qu'il entretient avec sa famille, avec laquelle il ne se trouve pas dans un état de dépendance particulier, pour poursuivre son séjour en Suisse.
5.
Au vu de ce qui précède, le recours constitutionnel subsidiaire formé par le recourant en vue d'obtenir le droit de changer de canton doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 4 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et des migrations, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 2 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette