Faits :
A.
A._, ressortissant italien né à U._ en 1983 d'une mère d'origine italienne et d'un père d'origine congolaise, a grandi auprès de sa mère en Suisse où il a suivi sa scolarité. De douze à quatorze ans, il a vécu en République démocratique du Congo qu'il a quittée en raison de la guerre. Revenu en Suisse le 13 mars 1998, il a en dernier lieu été mis au bénéfice d'une autorisation d'établissement UE/AELE valable jusqu'au 12 mars 2014. Il a été condamné à plusieurs reprises par le Tribunal des mineurs et a été placé dans différentes institutions pour adolescents, avant d'aller vivre chez son père, établi à Montréal, pendant un an et demi. A cette occasion, il a entrepris une formation de gestionnaire de vente en électronique, sans toutefois la terminer. Il est revenu en Suisse en 2002.
Entre 2004 et 2012, A._ a été condamné à plusieurs reprises.
- Par jugement du 24 février 2004, le Tribunal correctionnel de Lausanne l'a condamné pour vol, tentative de vol, dommages à la propriété, violation de domicile, infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54), infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), violation grave des règles de la circulation routière, violation des devoirs en cas d'accident, vol d'usage, conduite sans être titulaire du permis de conduire, conduite sans permis de circulation ou plaques de contrôle, conduite sans assurance responsabilité civile, usage abusif de permis ou de plaques de contrôle, usurpation de plaques de contrôle ou de signes distinctifs pour cycles, à une peine d'emprisonnement de 20 mois.
- Par ordonnance du 24 novembre 2005, le Juge d'instruction de l'Est vaudois l'a condamné pour vol, dommages à la propriété, violation de domicile, recel, violation grave des règles de la circulation routière, infraction à la LStup, à 3 mois d'emprisonnement.
- Par décision du 5 mars 2007, le Tribunal correctionnel de Lausanne l'a condamné pour vol par métier et en bande, dommages à la propriété, violation de domicile, délit manqué d'escroquerie, escroquerie, infraction à la LStup, à une peine privative de liberté de 24 mois, dont l'exécution a été suspendue au profit d'un placement dans un établissement pour toxicomanes.
- Par décision du 10 octobre 2007, les Juges d'instruction de Fribourg l'ont condamné pour dommages à la propriété et vol, à une peine pécuniaire de 60 jours-amende à 50 fr. Cette peine a été convertie en peine privative de liberté.
- Par jugement du 15 septembre 2009, le Tribunal correctionnel de l'Est vaudois l'a condamné pour vol par métier et en bande, dommages à la propriété, utilisation frauduleuse d'un ordinateur, violation de domicile, tentative de violation de domicile, usurpation de plaques de contrôle ou de signes distinctifs pour cycles, infraction à la LStup, à une peine privative de liberté de 30 mois et à un traitement institutionnel des addictions.
- Par jugement du 4 mai 2012, le Tribunal correctionnel de l'arrondissement de Lausanne l'a condamné pour infraction à la LStup, recel, conduite en état d'incapacité, violation grave des règles de la circulation, vol en bande et par métier, dommages à la propriété, tentative de violation de domicile, violation de domicile, conduite en état d'ébriété, violation simple des règles de la circulation routière, conduite malgré un retrait de permis de conduire, usage abusif de permis ou de plaques de contrôle, infraction à la LArm et de défaut d'annonce en cas de trouvaille, à une peine privative de liberté ferme de 36 mois. Il a notamment été retenu que A._ n'avait pas pris conscience de la gravité de ses actes, ses cinq précédentes condamnations n'ayant eu aucun effet sur lui. De plus, à peine libéré, il a poursuivit son activité délictueuse au mépris de l'ordre juridique, mettant un soin particulier à choisir les lieux de vols par repérages en vue d'obtenir un butin maximum. Le Tribunal correctionnel a en outre relevé que A._ avait fait l'objet de sanctions disciplinaires alors qu'il était en détention. La responsabilité de l'intéressé a cependant été considérée comme légèrement diminuée.
Par décision du 13 avril 2005, le Service pénitentiaire du canton de Vaud a révoqué la libération conditionnelle qu'il lui avait accordée le 1er avril 2004, après l'avoir averti le 19 septembre 2004. Par décision du 19 juillet 2007, l'Office des juges d'application des peines a levé la mesure et ordonné l'exécution de la peine. Alors que A._ avait été placé de manière anticipée le 24 novembre 2008 dans une institution, celle-ci a décidé de mettre fin à son traitement le 7 juillet 2009 en raison d'une compliance insuffisante. Il y a toutefois à nouveau été placé le 28 octobre 2009 avant d'en fuguer le 3 février 2010. Il a alors été incarcéré le 6 août 2010. Par décision du 26 juillet 2010, le juge d'application des peines a converti des peines pécuniaires et amendes impayées par A._ en 11 jours de peine privative de liberté de substitution. Par jugement du 20 décembre 2012, le juge d'application des peines a libéré conditionnellement A._ dès le 5 janvier 2013 pour donner la priorité à sa réinsertion, malgré les avis défavorables de la direction de l'établissement pénitentiaire, de l'Office d'exécution des peines et du Ministère public. Le juge d'application des peines a statué en relevant que l'intéressé avait fait l'objet d'une nouvelle sanction disciplinaire le 27 octobre 2012 pour avoir conduit lors d'un congé alors qu'il était sous retrait de permis.
B.
Par décision du 4 mars 2013, le Chef du Département de l'Intérieur ( recte le Chef du Département de l'économie et du sport; ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de A._. Le 4 avril 2013, ce dernier a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Par arrêt du 27 décembre 2013, le Tribunal cantonal a rejeté le recours de A._ et confirmé la décision du Département. Il a en substance retenu que l'intéressé, au vu de ses condamnations, remplissait les motifs permettant de révoquer son autorisation d'établissement et qu'il existait notamment un risque sérieux que A._ récidive. Pour le surplus, les juges cantonaux ont estimé que l'intéressé ne pouvait pas se prévaloir de l'art. 8 CEDH et que la révocation de l'autorisation d'établissement était une mesure proportionnée.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de ne pas révoquer son autorisation d'établissement, subsidiairement d'annuler l'arrêt du 27 décembre 2013 et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il se plaint de violation des art. 63 et 96 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) ainsi que de l'art. 8 CEDH.
Par ordonnance du 7 février 2014, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Département se rallie à la position du Tribunal cantonal. L'Office fédéral des migrations conclut au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En sa qualité de ressortissant italien, le recourant peut prétendre à un titre de séjour en Suisse, en vertu de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681; cf. <ref-ruling> consid. 1.1 p. 179; <ref-ruling> consid. 4 p. 258 ss). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'art. 83 LTF. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), le présent recours, dirigé contre une décision finale (art. 90 LTF) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 2 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de " manifestement inexacte " correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Lorsque, comme en l'espèce, la partie recourante n'a pas expliqué de manière circonstanciée en quoi les deux conditions de l'art. 97 al. 1 LTF seraient réalisées, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué.
3.
Le litige porte sur le point de savoir si, compte tenu des condamnations pénales que le recourant a subies, la révocation de son autorisation d'établissement est conforme au droit.
3.1. La LEtr ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses États membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011 consid. 2.1).
Le recourant vit en Suisse sans interruption depuis 2002. Il ne peut donc pas se prévaloir de l'art. 63 al. 2 LEtr qui dispose que l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que pour les motifs mentionnés aux art. 63 al. 1 let. b et 62 let. b LEtr.
Aux termes de l'art. 63 al. 1 LEtr, l'autorisation d'établissement peut être révoquée si les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (let. a) ou si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. b). Aux termes de l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation notamment si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 4.2 p. 380 ss).
3.2. Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 al. 1 annexe I ALCP, dont le cadre et les modalités sont définis en particulier par la directive 64/221/CEE de la Communauté européenne du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes, devenue la Cour de justice de l'Union européenne (ci-après: la Cour de justice), rendue avant la signature de l'Accord le 21 juin 1999 (cf. art. 5 al. 2 annexe I ALCP en relation avec l'art. 16 al. 2 ALCP; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. 136 II 5 consid. 3.4 p. 12 s.).
Conformément à la jurisprudence rendue en rapport avec l'art. 5 annexe I ALCP, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'" ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). La seule existence d'antécédents pénaux ne permet donc pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 125 s.; <ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_862/2012 du 12 mars 2013 consid. 3.1), étant précisé que la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peuvent, selon les circonstances, atténuer cette position de principe (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). La Cour de céans a rejeté le recours formé par un ressortissant autrichien né en Suisse contre la révocation de son autorisation d'établissement; souffrant d'alcoolisme, ce dernier avait été, en l'espace de seize ans, condamné à six peines privatives de liberté variant entre 21 jours et 21 mois pour avoir commis de nombreux vols et dommages à la propriété; si le recourant n'avait pas perpétré d'actes violents, d'ordre sexuel ou en matière de stupéfiants, les récidives justifiaient la révocation de son permis (arrêt 2C_839/2011 du 28 février 2012 consid. 3.1 et 3.2).
4.
4.1. Il n'est pas contesté que le recourant remplit, de par ses nombreuses condamnations pénales, qui lui ont valu, depuis 2004, des peines privatives de liberté totalisant plus de neuf ans, les motifs permettant de révoquer son autorisation d'établissement, au sens des art. 63 al. 1 let. b et al. 2, ainsi que 62 let. b LEtr.
4.2. Le recourant conteste l'existence d'un risque de récidive. Il estime être bien intégré en Suisse et faire preuve, depuis sa libération, d'un comportement irréprochable et ne pas constituer une menace pour la société. Il mentionne à ce propos ne pas avoir été condamné pour des infractions graves à la LStup. Il relève en outre que le juge d'application des peines a considéré qu'il remplissait les conditions nécessaires à sa libération car il ne représentait pas de risque de récidive, ce qui est en contradiction avec l'appréciation de l'arrêt entrepris.
4.3. Le recourant perd de vue que le critère de la gravité peut également être réalisé par des actes qui présentent un degré de gravité comparativement moins élevé, mais qui, par leur répétition, démontrent une incapacité à se conformer à l'ordre établi. En huit ans, il a été condamné à six reprises par la justice pénale. La peine totale encourue dépasse les neuf ans. Ses peines ont régulièrement augmenté, la dernière ayant été fixée à trente-six mois. S'il est vrai qu'il n'a pas été condamné pour infraction grave à la LStup, il convient de relever la constance avec laquelle le recourant répète les mêmes infractions. La totalité des condamnations prononcées a ainsi un lien avec des infractions contre le patrimoine. Les circonstances aggravantes du métier et de la bande ont du reste été retenues dans pratiquement tous les cas. Par ailleurs, sur les six condamnations, trois concernaient également des infractions de violations graves des règles de la circulation routière. Ainsi, tant la multiplication des infractions que la durée totale des condamnations pénales, qui n'ont cessé de croître au fil les années, confirment la gravité des actes perpétrés par le recourant. L'intéressé n'a en outre pas tenu compte de la libération conditionnelle dont il avait bénéficié en 2005, puisque celle-ci a dû être révoquée. Cela démontre sa persévérance dans la délinquance, tout comme le fait que, faute de compliance de sa part, il n'a pas pu suivre le traitement institutionnel qui avait été ordonné par jugement du 15 septembre 2009. En octobre 2012, il a par ailleurs continué son activité délictuelle, pour laquelle il avait déjà été maintes fois condamné, alors qu'il se trouvait en exécution de peine.
Certes, une libération conditionnelle a été prononcée par le juge d'application des peines le 20 décembre 2012. Toutefois, la libération conditionnelle au sens de l'art. 86 CP est octroyée quasi automatiquement dès que les conditions formulées par la loi sont remplies. Une telle décision, qui se trouve d'ailleurs en porte-à-faux avec l'ensemble du dossier et le comportement criminel multirécidiviste du recourant, ne saurait pour le reste lier le Tribunal fédéral chargé d'analyser la dangerosité pour l'ordre public du recourant. Les autorités compétentes en matière de droit des étrangers sont libres de tirer leurs propres conclusions à ce sujet (cf. <ref-ruling> consid. 4.3.3 p. 187 ss). Le recourant ne peut par conséquent déduire aucun argument de cette décision quant à son droit de séjourner en Suisse. Ainsi, compte tenu de la gravité, de la fréquence et de la répétition systématique des mêmes infractions, c'est à juste titre que les juges cantonaux ont retenu un risque actuel pour l'ordre juridique au sens de l'art. 5 al. 1 annexe I ALCP.
5.
Il reste à examiner la proportionnalité de la mesure ordonnée, également contestée par le recourant.
5.1. Le principe de la proportionnalité découle notamment de l'art. 96 LEtr, applicable aussi au domaine régi par l'ALCP (cf. art. 2 al. 2 LEtr; cf. arrêt 2C_1045/2011 du 18 avril 2012 consid. 2.1). Il implique notamment de prendre en compte la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi. L'autorisation d'établissement d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue (<ref-ruling> consid. 2.3.1 p. 33 et les références citées).
La peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts (arrêt 2C_265/2011 du 27 septembre 2011 consid. 6.1.1). La durée de présence en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement. En ce sens, l'expulsion d'un étranger né et élevé en Suisse (soit d'un étranger dit de la deuxième génération) n'est pas a priori exclue, mais n'entre en ligne de compte que si l'intéressé a commis des infractions très graves, en particulier en cas de violence, de délits sexuels ou de graves infractions à la loi fédérale sur les stupéfiants, ou en cas de récidive. On tiendra alors particulièrement compte de l'intensité des liens de l'étranger avec la Suisse et des difficultés de réintégration dans son pays d'origine (<ref-ruling> consid. 2.3 p. 33 ss; <ref-ruling> consid. 4.4.2 p. 190; <ref-ruling> consid. 2b p. 523).
5.2. L'autorité précédente a dûment tenu compte de la durée du séjour du recourant en Suisse et des difficultés d'intégration dans son pays d'origine. Son appréciation selon laquelle le comportement général du recourant, en particulier la récurrence de son activité criminelle et le risque élevé de récidive, ne permettent pas de privilégier l'intérêt privé de celui-ci à poursuivre son séjour en Suisse par rapport à l'intérêt public à son éloignement, ne prête pas le flanc à la critique.
Célibataire, sans enfant, âgé de 30 ans, en bonne santé, au bénéfice d'une expérience professionnelle, le recourant dispose des atouts nécessaires pour s'installer sans difficultés particulières en Italie, pays limitrophe offrant des conditions d'existence proches de celles de la Suisse. Une intégration dans ce pays est assurément possible hors du cadre familial. L'affirmation du recourant selon laquelle il ne posséderait aucune chance de s'intégrer en Italie n'est ainsi pas crédible.
Le Tribunal cantonal n'a donc pas violé le principe de proportionnalité.
6.
Le Tribunal cantonal, retenant que le recourant était majeur, célibataire et sans enfant, a exclu que celui-ci puisse tirer de droit de ses relations familiales pour demeurer en Suisse, en vertu de l'art. 8 CEDH. Il a également exclu une application de cette disposition sous l'angle du respect au droit à la vie privée. Le recourant, au contraire, soutient qu'il peut se prévaloir de l'art. 8 CEDH. Selon lui, les liens étroits qu'il entretient avec sa mère, son frère et sa soeur en Suisse lui donnent le droit de résider dans ce pays. Il ajoute que les juges cantonaux auraient dû procéder à une pesée des intérêts publics et privés en présence et prendre en considération la gravité de la faute commise, le degré d'intégration, la durée de séjour effectuée en Suisse et le fait qu'il ne parle pas l'italien et ne possède aucune famille en Italie.
6.1. Un étranger peut se prévaloir de la protection de la vie familiale découlant de l'art. 8 CEDH à condition qu'il entretienne une relation étroite et effective (cf. <ref-ruling> consid. 5 p. 269) avec une personne de sa famille ayant le droit de résider durablement en Suisse (ce qui suppose que cette personne ait la nationalité suisse, une autorisation d'établissement en Suisse ou un droit certain à une autorisation de séjour en Suisse, cf. <ref-ruling> consid. 1.3.1 p. 145 s.). Les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1d/aa p. 65). Enfin, outre ces cas, un étranger majeur ne peut se prévaloir de cette disposition que s'il se trouve dans un état de dépendance particulier par rapport à des membres de sa famille résidant en Suisse en raison, par exemple, d'un handicap (physique ou mental) ou d'une maladie grave (<ref-ruling> consid. 2 p.13 s.; <ref-ruling> consid. 1e p. 261 et la jurisprudence citée). En l'espèce, le recourant, majeur, célibataire, sans enfant, ne peut pas invoquer les relations qu'il entretient avec sa mère, son frère et sa soeur, avec lesquels il ne se trouve pas dans un état de dépendance particulier, pour poursuivre son séjour en Suisse. Le fait qu'il réside avec sa mère n'y change rien.
6.2. Sous l'angle étroit de la protection de la vie privée, l'art. 8 CEDH n'ouvre le droit à une autorisation de séjour qu'à des conditions restrictives. L'étranger doit en effet établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres et en n'accordant qu'un faible poids aux années passées en Suisse dans l'illégalité (cf. <ref-ruling> consid. 3.2.1 p. 286 et les arrêts cités). Dans le cas particulier, le recourant, qui a passé une partie non négligeable de sa vie d'adulte en prison, ne démontre pas qu'il remplirait les conditions restrictives lui permettant d'invoquer le droit à la protection de la vie privée. Il n'allègue pas l'existence de liens socio-professionnels qui dépasseraient ceux résultant d'une intégration normale. Son départ de Suisse ne le priverait pas d'une situation personnelle particulièrement enviable qu'il aurait pu se créer dans le canton de Vaud.
Le recourant ne peut donc pas se prévaloir de l'art. 8 CEDH. Au demeurant, les conditions de l'art. 8 par. 2 CEDH justifiant une ingérence dans le droit au respect de la vie privée et familiale du recourant seraient réunies en l'espèce pour les motifs exposés ci-dessus (cf. consid. 5), de sorte que le recours devrait, le cas échéant, être rejeté sous cet angle également.
7.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 4 LTF) et n'a pas droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département de l'économie et du sport du canton de Vaud, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 17 juillet 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Tissot-Daguette