Faits : A. A._, ressortissant italien né à U._ en 1983 d'une mère d'origine italienne et d'un père d'origine congolaise, a grandi auprès de sa mère en Suisse où il a suivi sa scolarité. De douze à quatorze ans, il a vécu en République démocratique du Congo qu'il a quittée en raison de la guerre. Revenu en Suisse le 13 mars 1998, il a en dernier lieu été mis au bénéfice d'une autorisation d'établissement UE/AELE valable jusqu'au 12 mars 2014. Il a été condamné à plusieurs reprises par le Tribunal des mineurs et a été placé dans différentes institutions pour adolescents, avant d'aller vivre chez son père, établi à Montréal, pendant un an et demi. A cette occasion, il a entrepris une formation de gestionnaire de vente en électronique, sans toutefois la terminer. Il est revenu en Suisse en 2002. Entre 2004 et 2012, A._ a été condamné à plusieurs reprises. - Par jugement du 24 février 2004, le Tribunal correctionnel de Lausanne l'a condamné pour vol, tentative de vol, dommages à la propriété, violation de domicile, infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54), infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), violation grave des règles de la circulation routière, violation des devoirs en cas d'accident, vol d'usage, conduite sans être titulaire du permis de conduire, conduite sans permis de circulation ou plaques de contrôle, conduite sans assurance responsabilité civile, usage abusif de permis ou de plaques de contrôle, usurpation de plaques de contrôle ou de signes distinctifs pour cycles, à une peine d'emprisonnement de 20 mois. - Par ordonnance du 24 novembre 2005, le Juge d'instruction de l'Est vaudois l'a condamné pour vol, dommages à la propriété, violation de domicile, recel, violation grave des règles de la circulation routière, infraction à la LStup, à 3 mois d'emprisonnement. - Par décision du 5 mars 2007, le Tribunal correctionnel de Lausanne l'a condamné pour vol par métier et en bande, dommages à la propriété, violation de domicile, délit manqué d'escroquerie, escroquerie, infraction à la LStup, à une peine privative de liberté de 24 mois, dont l'exécution a été suspendue au profit d'un placement dans un établissement pour toxicomanes. - Par décision du 10 octobre 2007, les Juges d'instruction de Fribourg l'ont condamné pour dommages à la propriété et vol, à une peine pécuniaire de 60 jours-amende à 50 fr. Cette peine a été convertie en peine privative de liberté. - Par jugement du 15 septembre 2009, le Tribunal correctionnel de l'Est vaudois l'a condamné pour vol par métier et en bande, dommages à la propriété, utilisation frauduleuse d'un ordinateur, violation de domicile, tentative de violation de domicile, usurpation de plaques de contrôle ou de signes distinctifs pour cycles, infraction à la LStup, à une peine privative de liberté de 30 mois et à un traitement institutionnel des addictions. - Par jugement du 4 mai 2012, le Tribunal correctionnel de l'arrondissement de Lausanne l'a condamné pour infraction à la LStup, recel, conduite en état d'incapacité, violation grave des règles de la circulation, vol en bande et par métier, dommages à la propriété, tentative de violation de domicile, violation de domicile, conduite en état d'ébriété, violation simple des règles de la circulation routière, conduite malgré un retrait de permis de conduire, usage abusif de permis ou de plaques de contrôle, infraction à la LArm et de défaut d'annonce en cas de trouvaille, à une peine privative de liberté ferme de 36 mois. Il a notamment été retenu que A._ n'avait pas pris conscience de la gravité de ses actes, ses cinq précédentes condamnations n'ayant eu aucun effet sur lui. De plus, à peine libéré, il a poursuivit son activité délictueuse au mépris de l'ordre juridique, mettant un soin particulier à choisir les lieux de vols par repérages en vue d'obtenir un butin maximum. Le Tribunal correctionnel a en outre relevé que A._ avait fait l'objet de sanctions disciplinaires alors qu'il était en détention. La responsabilité de l'intéressé a cependant été considérée comme légèrement diminuée. Par décision du 13 avril 2005, le Service pénitentiaire du canton de Vaud a révoqué la libération conditionnelle qu'il lui avait accordée le 1er avril 2004, après l'avoir averti le 19 septembre 2004. Par décision du 19 juillet 2007, l'Office des juges d'application des peines a levé la mesure et ordonné l'exécution de la peine. Alors que A._ avait été placé de manière anticipée le 24 novembre 2008 dans une institution, celle-ci a décidé de mettre fin à son traitement le 7 juillet 2009 en raison d'une compliance insuffisante. Il y a toutefois à nouveau été placé le 28 octobre 2009 avant d'en fuguer le 3 février 2010. Il a alors été incarcéré le 6 août 2010. Par décision du 26 juillet 2010, le juge d'application des peines a converti des peines pécuniaires et amendes impayées par A._ en 11 jours de peine privative de liberté de substitution. Par jugement du 20 décembre 2012, le juge d'application des peines a libéré conditionnellement A._ dès le 5 janvier 2013 pour donner la priorité à sa réinsertion, malgré les avis défavorables de la direction de l'établissement pénitentiaire, de l'Office d'exécution des peines et du Ministère public. Le juge d'application des peines a statué en relevant que l'intéressé avait fait l'objet d'une nouvelle sanction disciplinaire le 27 octobre 2012 pour avoir conduit lors d'un congé alors qu'il était sous retrait de permis. B. Par décision du 4 mars 2013, le Chef du Département de l'Intérieur ( recte le Chef du Département de l'économie et du sport; ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de A._. Le 4 avril 2013, ce dernier a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 27 décembre 2013, le Tribunal cantonal a rejeté le recours de A._ et confirmé la décision du Département. Il a en substance retenu que l'intéressé, au vu de ses condamnations, remplissait les motifs permettant de révoquer son autorisation d'établissement et qu'il existait notamment un risque sérieux que A._ récidive. Pour le surplus, les juges cantonaux ont estimé que l'intéressé ne pouvait pas se prévaloir de l'art. 8 CEDH et que la révocation de l'autorisation d'établissement était une mesure proportionnée. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de ne pas révoquer son autorisation d'établissement, subsidiairement d'annuler l'arrêt du 27 décembre 2013 et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il se plaint de violation des art. 63 et 96 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) ainsi que de l'art. 8 CEDH. Par ordonnance du 7 février 2014, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif. Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Département se rallie à la position du Tribunal cantonal. L'Office fédéral des migrations conclut au rejet du recours.