Faits :
A.
Ressortissant italien, A._ est né le 4 décembre 1984 en Suisse. Il a été mis au bénéfice d'une autorisation d'établissement C UE/AELE dont le délai de contrôle était fixé au 30 septembre 2019.
Le 3 décembre 2003, le précité a été condamné par le Juge d'instruction pénale du Valais central à 15 jours d'emprisonnement, avec sursis pendant 2 ans, ainsi qu'à 700 fr. d'amende pour s'être rendu coupable de violation simple et grave des règles de la circulation routière (art. 90 ch. 1 et 2 LCR).
Le 18 avril 2005, il a été condamné par le Juge d'instruction pénale du Valais central à 5 jours d'emprisonnement, avec sursis pendant 2 ans, ainsi qu'à 300 fr. d'amende pour s'être rendu coupable de délit et contravention à la LStup (art. 19 ch. 1 et 19a ch. 1 LStup; RS 812.121).
Le 20 avril 2005, A._ a été condamné par le Juge d'instruction pénale du Bas-Valais à 150 fr. d'amende, avec délai d'épreuve de 2 ans pour la radiation de l'amende au casier judiciaire, pour s'être rendu coupable d'infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (art. 5 al. 1 let. b et 33 al. 1 let. a LArm; RS 514.54).
Le 16 mai 2006, il a été condamné par le Juge d'instruction pénale du Valais central à 4 mois d'emprisonnement, avec sursis pendant 4 ans, pour s'être rendu coupable de vols (<ref-law>), de délit manqué de vols (art. 22 al. 1 et 139 ch. 1 CP) ainsi que de délit et contravention à la LStup (art. 19 ch. 1 et 19a ch. 1 LStup).
Le 28 août 2006, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a adressé un avertissement à A._, le rendant attentif aux conséquences de ses actes sur son droit de séjour.
Le 22 novembre 2010, l'intéressé a été condamné par le Tribunal du district de Sion à une peine privative de liberté de 30 mois, sous déduction des 221 jours de détention préventive subis, cumulée à une amende de 300 fr., pour s'être rendu coupable de vol (<ref-law>), d'escroquerie (<ref-law>), de violation de domicile (<ref-law>), de faux dans les titres (<ref-law>), de violation grave de la LStup (<ref-law>), de consommation de produits stupéfiants (<ref-law>), de circulation sans permis de conduire (art. 95 ch. 1 et 2 LCR) et de vol d'usage (<ref-law>). Les magistrats ont, de plus, révoqué le sursis octroyé le 16 mai 2006 par le Juge d'instruction pénale du Valais central et suspendu la peine au profit d'une mesure thérapeutique institutionnelle dans un établissement pour le traitement des addictions (<ref-law>).
Le 9 juin 2011, le Service cantonal a adressé un sérieux avertissement à A._ l'informant que, s'il devait à nouveau être condamné par la justice pénale ou s'il devait violer les règles de conduite qui lui avaient été imposées, son autorisation d'établissement pourrait être révoquée.
Le 4 janvier 2012, l'intéressé a été condamné par l'Office régional du Valais central du Ministère public à une amende de 300 fr. pour contraventions à la LStup (<ref-law>).
Le 25 mai 2018, il a été condamné par l'Office central du Ministère public du canton du Valais à une peine pécuniaire de 30 jours-amende, avec sursis pendant 4 ans, ainsi qu'à 600 fr. d'amende pour s'être rendu coupable de conduite en état d'incapacité (<ref-law>) et contravention à la LStup (<ref-law>).
Le 16 octobre 2018, A._ a été condamné par l'Office régional du Valais central du Ministère public à une amende de 300 fr. pour contraventions à la LStup (<ref-law>) et vol d'importance mineure (art. 139 ch. 1 en lien avec l'art. 172 ter al. 1 CP).
Le 20 mars 2019, l'intéressé a été condamné par l'Office régional du Valais central du Ministère public à une peine pécuniaire de 50 jours-amende, avec sursis pendant 4 ans, ainsi qu'à 600 fr. d'amende pour s'être rendu coupable de conduite en état d'incapacité (<ref-law>), conduite sans autorisation (<ref-law>) et contravention à la LStup (<ref-law>), le sursis octroyé le 25 mai 2018 par l'Office central du Ministère public du canton du Valais ayant été, au surplus, révoqué.
Depuis le 1 er janvier 2017, A._ émarge à l'aide sociale. Il avait déjà été mis au bénéfice de l'aide sociale de janvier 2009 à avril 2011. Par ailleurs, en date du 27 juillet 2021, il faisait l'objet de poursuites pour une somme de 2'099 fr. 95 et des actes de défaut de biens avaient été délivrés à son encontre pour un montant total de 21'108 fr. 80.
B.
Le 7 novembre 2019, le Service cantonal a informé A._ qu'en raison de ses dernières condamnations pénales et du fait qu'il bénéficiait de l'aide sociale, il avait l'intention de révoquer son autorisation d'établissement et de prononcer son renvoi de Suisse. L'intéressé a fait part de ses observations au Service cantonal.
Par décision du 16 décembre 2019, le Service cantonal a révoqué l'autorisation d'établissement de A._ et a prononcé son renvoi de Suisse pour le 1 er février 2020.
Par décision du 3 février 2021, le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a rejeté le recours formé par l'intéressé à l'encontre de la décision du 16 décembre 2019 du Service cantonal.
Par arrêt du 12 octobre 2021, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté, dans la mesure de sa recevabilité, le recours interjeté par A._ à l'encontre de la décision du 3 février 2021 du Conseil d'Etat.
C.
A._ dépose un recours en matière de droit public devant le Tribunal fédéral. Il demande, outre l'octroi de l'effet suspensif et le bénéfice de l'assistance judiciaire, la réforme de l'arrêt du 12 octobre 2021 du Tribunal cantonal en ce sens que son autorisation d'établissement n'est pas révoquée et, subsidiairement, requiert l'annulation de l'arrêt attaqué, ainsi que le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Par ordonnance du 17 novembre 2021, le Président de la IIe Cour de droit public du Tribunal fédéral a octroyé l'effet suspensif au recours.
Le Tribunal cantonal et le Service cantonal renoncent à se déterminer. Le Conseil d'Etat, qui se rallie entièrement aux considérants de l'arrêt attaqué, conclut au rejet du recours. Le Secrétariat d'Etat aux migrations ne se détermine pas.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1; arrêt 2C_905/2021 du 14 décembre 2021 consid. 3).
1.2. En revanche, dans la mesure où le recourant invoque une violation de l'art. 20 de l'ordonnance du 22 mai 2002 sur la libre circulation des personnes entre la Suisse et l'Union européenne et ses Etats membres, entre la Suisse et le Royaume-Uni, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange (OLCP; RS 142.203) et de l'art. 30 al. 1 let. b LEI (RS 142.20), son recours est irrecevable.
En effet, ces dispositions prévoyant des dérogations aux conditions d'admission, le recours en matière de droit public est expressément exclu (art. 83 let. c ch. 5 LTF). Seul un recours constitutionnel subsidiaire serait ouvert. Or, le recourant ne fait pas valoir d'intérêt juridique protégé ni ne formule de griefs formels en lien avec l'<ref-law> et l'art. 30 al. 1 let. b LEI. Il n'y a partant pas lieu d'entrer en matière sur le recours s'agissant de ces dispositions, même en tant que recours constitutionnel subsidiaire (concernant l'<ref-law>, cf. arrêt 2C_433/2021 du 21 octobre 2021 consid. 1.3 et les références citées et, concernant l'art. 30 al. 1 let. b LEI, cf. arrêt 2C_580/2021 du 4 octobre 2021 consid. 1.2 et les références citées).
1.3. Pour le reste, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Le recourant, qui est le destinataire de l'arrêt attaqué, dispose d'un intérêt digne de protection à la modification de l'arrêt entrepris. Partant, la qualité pour recourir doit lui être reconnue (<ref-law>). En outre, le présent recours a été interjeté en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>).
Il convient donc d'entrer en matière, dans les limites qui précèdent.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b et 106 al. 1 LTF). Toutefois, les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrue (cf. <ref-law>). La partie recourante doit indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés (<ref-ruling> consid. 3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 2; <ref-ruling> consid. 6). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
2.3. En l'occurrence, à l'appui de son argumentation juridique, le recourant expose sa propre version des faits, sans invoquer ni a fortiori démontrer l'arbitraire des constatations cantonales. Il ne sera donc pas tenu compte des faits ainsi allégués. Partant, le Tribunal fédéral statuera exclusivement sur la base des faits retenus par le Tribunal cantonal.
3.
Le recourant ne conteste plus devant le Tribunal fédéral que la révocation de son autorisation d'établissement est justifiée au regard de l'art. 63 al. 1 let. c LEI, car il dépend durablement et dans une large mesure de l'aide sociale. Il ne nie pas non plus qu'en raison de ses condamnations pénales, la révocation de son autorisation d'établissement remplit également les conditions de l'art. 63 al. 1 let. a LEI qui renvoie à l'art. 62 al. 1 let. b LEI. Les dernières condamnations pénales du recourant ayant été prononcées par l'Office régional du Valais central du Ministère public, le juge administratif n'est pas lié par le fait que l'autorité pénale n'a pas ordonné le renvoi du recourant (cf. arrêt 2C_728/2021 du 4 mars 2022 consid. 5 et les références citées).
En outre, le recourant ne prétend pas, à juste titre, disposer d'un droit de séjour fondé sur l'ALCP qui s'opposerait à la révocation de son autorisation d'établissement. En effet, sans emploi depuis 2016, le recourant n'a plus été actif ensuite que de manière épisodique dans le cadre de mesures d'insertion sociale. Il ne bénéficie pas de prestations-chômage et n'a pas démontré avoir effectué une quelconque démarche pour trouver du travail. Il ne peut donc pas se prévaloir du statut de travailleur au sens de l'<ref-law> (<ref-ruling> consid. 3.1; <ref-ruling> consid. 2.2.1). Sous l'angle du regroupement familial, la relation familiale entre le recourant et son père, avec lequel il vit, n'est pas contestée. Toutefois, même si son père l'héberge et l'aide financièrement, l'entretien du recourant n'est pas garanti par sa famille, puisqu'il dépend actuellement de l'aide sociale, de sorte qu'il ne peut pas se prévaloir de l'<ref-law> en lien avec l'art. 7 let. d ALCP (<ref-ruling> consid. 3.1). Il en va de même concernant le droit de demeurer au sens de l'art. 4 al 1 Annexe I ALCP. En effet, le recourant ne soutient pas avoir perdu sa capacité de travail alors qu'il bénéficiait encore du statut de travailleur au sens de l'ALCP, étant précisé qu'il n'a pas établi qu'une raison de santé l'empêcherait d'exercer une activité adaptée (<ref-ruling> consid. 4; <ref-ruling> consid. 4). Enfin, émargeant à l'aide sociale depuis le 1er janvier 2017, il ne peut pas invoquer la réglementation sur le séjour des personnes n'exerçant pas une activité lucrative au sens de l'<ref-law> pour demeurer en Suisse (<ref-ruling> consid. 4; <ref-ruling> consid. 5.1).
4.
Le recourant fait cependant valoir que la révocation de son autorisation d'établissement violerait le droit au respect de la vie privée et familiale garanti par l'art. 8 CEDH, ainsi que les principes de proportionnalité et de l'intérêt public (art. 5 al. 2 Cst. et 96 al. 1 LEI).
4.1. Le recourant peut manifestement se prévaloir de l'art. 8 CEDH sous l'angle de la vie privée et familiale, dès lors qu'il est né en Suisse et y a vécu plus de trente ans au bénéfice d'un titre de séjour (<ref-ruling> consid. 3.4; <ref-ruling> consid. 2.2.2).
4.2. Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi - tel est le cas en l'espèce (cf. supra consid. 3) - et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Lors de l'examen de la proportionnalité de la mesure de révocation, il y a lieu de prendre en considération la gravité de la faute commise, le degré d'intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (ATF <ref-ruling> consid. 2.2.1; <ref-ruling> consid. 4.3).
4.3. Le Tribunal fédéral attache une importance particulière, du point de vue de la proportionnalité de la mesure, aux perspectives d'avenir concrètes pour la personne concernée si elle devait rester en Suisse, c'est-à-dire si et dans quelle mesure elle a tiré les leçons des sanctions pénales et des éventuels avertissements reçus en droit des étrangers et si elle peut démontrer de manière crédible un changement clair dans son projet de vie et son comportement futur ("revirement biographique"; " biographische Kehrtwende "). Si, au moment de la décision de révocation du droit de séjour en Suisse, l'étranger s'est établi professionnellement, il peut être disproportionné de révoquer son autorisation d'établissement après de nombreuses années de résidence en Suisse et de le contraindre ainsi à renoncer à ses racines sociales, culturelles, linguistiques et vraisemblablement aussi économiques et professionnelles en Suisse (arrêt 2C_85/2021 du 7 mai 2021 consid. 5.2.2 et les références citées).
4.4. La pesée globale des intérêts requise par l'art. 96 al. 1 LEI, qui est une concrétisation de l'art. 5 al. 2 Cst. (arrêt 2C_85/2021 du 7 mai 2021 consid. 5.2 et la référence citée), est analogue à celle requise par l'art. 8 par. 2 CEDH et peut être effectuée conjointement à celle-ci (<ref-ruling> consid. 2.3.2; <ref-ruling> consid. 4.3).
4.5. En l'occurrence, du point de vue de l'intérêt public à l'éloignement du recourant, il convient de relever que celui-ci a, à teneur de l'arrêt attaqué (<ref-law>), occupé régulièrement les autorités pénales depuis sa majorité, cumulant neuf condamnations pénales, notamment pour vols, escroquerie, violation de domicile, faux dans les titres, violation simple et grave de la circulation routière, conduite en état d'incapacité, conduite sans permis de conduire, infraction à la LArm ainsi que pour de nombreuses infractions à la LStup. Il a écopé de huit amendes allant de 150 fr. à 700 fr., de deux peine pécuniaires, l'une à 30 jours-amende et l'autre à 50 jours-amende, ainsi que de quatre peines privatives de liberté allant de 5 jours à 30 mois.
Pourtant, le 28 août 2006, à la suite de sa quatrième condamnation, un premier avertissement de l'autorité administrative avait rendu attentif le recourant aux conséquences de ses actes sur son droit de séjour. Malgré cela, le recourant n'a pas changé de comportement. Le 22 novembre 2010, il a notamment été condamné pour s'être adonné à un trafic de drogue qui portait sur plus de trois fois la quantité de cocaïne à partir de laquelle le cas doit être considéré comme grave. La faute du recourant avait été qualifiée de lourde et les actes qu'il avait commis de graves, son activité délictueuse s'étant déroulée sur une longe période et ayant eu des ramifications dans plusieurs cantons. A la suite de cette condamnation, la plus grave prononcée à l'encontre du recourant, le Service cantonal lui a adressé un sérieux avertissement l'informant que, s'il devait à nouveau être condamné par la justice pénale ou s'il devait violer les règles de conduite qui lui avaient été imposées, son autorisation d'établissement pourrait être révoquée. Depuis lors, le recourant s'est néanmoins fait condamner à quatre reprises, dont la dernière fois le 20 mars 2019, ce qui a conduit le Service cantonal a révoqué son titre de séjour. Le recourant s'est ainsi illustré par un comportement pénal défavorable constant, démontrant une volonté de ne pas s'amender durablement, nonobstant ses nombreuses condamnations pénales et les avertissements du Service cantonal. Si la condamnation la plus grave du recourant remonte à plus de dix ans, les manquements d'importance moins élevée du recourant, par leur répétition, démontrent une incapacité à se conformer à l'ordre établi. On relève encore qu'après quelques années sans que l'intéressé n'ait fait l'objet de sanctions pénales, les trois dernières condamnations prononcées à son encontre depuis 2018 ne laissent présager aucune diminution de ses difficultés à respecter l'ordre juridique suisse. Or, l'évolution du comportement du recourant joue un rôle important dans la pesée des intérêts en présence.
4.6. S'agissant de l'intégration socioprofessionnelle du recourant, celle-ci est qualifiée à juste titre par l'autorité précédente de mauvaise. En effet, le recourant n'a pas achevé de formation et n'a travaillé, durant son long séjour en Suisse, que de manière sporadique. Il ne possède donc aucun statut professionnel acquis en Suisse. D'un point de vue financier, le recourant émarge à l'aide sociale sans discontinuer depuis le 1er janvier 2017, après une première période de dépendance à l'assistance publique entre janvier 2009 et avril 2011. En tout, le recourant a perçu des prestations de l'aide sociale pour un montant de 71'208 fr. 40. Il a des poursuites pour une somme de 2'099 fr. 95 et des actes de défaut de biens ont été délivrés à son encontre pour un montant total de 21'108 fr. 80. D'après l'arrêt attaqué, le recourant n'a jamais mentionné un projet professionnel concret qui pourrait laisser espérer un changement de comportement. En outre, le fait que l'intéressé soit à nouveau dépendant à l'aide sociale depuis le début de l'année 2017 dénote une absence de prise de conscience de celui-ci et empêche de présager une modification de son comportement pour l'avenir, ce qui plaide également en faveur de l'intérêt public à son éloignement.
4.7. Par ailleurs, il ressort de l'arrêt querellé que le recourant n'a pas démontré avoir tissé des liens sociaux particulièrement intenses en Suisse, celui-ci étant célibataire, sans enfant et ne jouissant pas d'une intégration sociale exceptionnelle.
4.8. S'agissant de l'intérêt privé du recourant à demeurer dans notre pays, le Tribunal cantonal relève que celui-ci est né en Suisse, où se trouve son père, avec lequel il vit, et sa mère qui sont tout deux atteints dans leur santé, ainsi qu'un oncle, une tante et deux cousins et que, depuis 2007, il est encadré pour soigner sa dépendance aux stupéfiants. En sus de son trouble de l'usage d'opiacés, pour lequel il suit un traitement de substitution, il est également soigné pour un trouble dépressif. Ces éléments, bien que favorables au recourant en vue de son intérêt à pouvoir séjourner en Suisse, ne sont pas suffisants pour contrebalancer les éléments défavorables précédemment mentionnés. En effet, d'après les constatations cantonales, les problèmes de santé dont souffrent les parents de l'intéressé ne nécessitent pas sa présence en Suisse. En outre, les dernières condamnations du recourant démontrent l'inefficacité des traitements et l'impuissance du réseau qui l'entoure face à son comportement. Les juges cantonaux ont par ailleurs constaté que le recourant pourrait bénéficier en Italie d'une prise en charge médicale comparable aux traitements offerts en Suisse.
4.9. En ce qui concerne les possibilités de réintégration du recourant en Italie, l'autorité précédente a retenu que le retour dans ce pays exigerait indéniablement un effort d'adaptation, compte tenu du fait que l'intéressé n'y a jamais vécu. Toutefois, une réintégration ne paraît pas d'emblée insurmontable, l'Italie étant un pays dont la culture, le mode et le niveau de vie sont similaires à la Suisse. Par ailleurs, le recourant est encore jeune, célibataire et sans enfant. Il parle italien et a de la famille qui vit dans ce pays, notamment son frère, son oncle, des tantes et des cousins.
4.10. Sur la base des éléments qui précèdent, le Tribunal cantonal a effectué une pesée des intérêts conforme aux art. 8 par. 2 CEDH, 5 al. 2 Cst. et 96 al. 1 LEI en retenant que, compte tenu du passif criminel du recourant, de son défaut complet d'intégration professionnelle et de sa dépendance large et durable à l'aide sociale, l'intérêt public à l'éloignement de l'intéressé devait l'emporter sur les intérêts privés de celui-ci.
Partant, le grief tiré de la violation du principe de proportionnalité est infondé.
5.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable.
Le recourant, qui succombe, a demandé l'octroi de l'assistance judiciaire (<ref-law>). Son recours était cependant d'emblée dénué de chances de succès, de sorte que cette requête doit être rejetée (cf. arrêt 2C_1054/2021 du 16 mars 2022 consid. 7). Partant, les frais judiciaires, dont le montant prend en compte sa situation économique, seront mis à sa charge (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrations du canton du Valais, au Conseil d'Etat du canton du Valais, au Tribunal cantonal du canton du Valais, Cour de droit public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 3 mai 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : A. Wiedler