Faits:
A. X._, ressortissant italien né en 1968, est arrivé en Suisse "dès son plus jeune âge". X._ est titulaire d'un permis d'établissement. Il a suivi sa scolarité obligatoire jusqu'à l'âge de 15 ans, sans obtenir de certificat de fin de scolarité, puis a commencé un apprentissage de maçon qu'il n'a pas terminé. Il a occupé divers emplois temporaires jusqu'en 2003. Il est le père d'une fille née en 2001. Il s'est séparé de la mère de son enfant peu après sa naissance.
B. X._ a fait l'objet des condamnations pénales suivantes:
- En 2002, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de trois mois pour vol, dommages à la propriété, tentative d'utilisation frauduleuse d'un ordinateur, vol d'usage, contravention à l'ordonnance sur les règles de la circulation et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121).
- En 2003, le Juge d'instruction de Fribourg l'a condamné à une peine d'emprisonnement de quinze jours, avec sursis pour vol, contravention à la loi fédérale sur le séjour et l'établissement des étrangers, contravention à la LStup et utilisation d'un cycle ou cyclomoteur sans droit.
- En janvier 2006, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de quatre mois pour vol par métier, dommages à la propriété, violation de domicile, défaut d'avis en cas de trouvaille et contravention à la LStup. A cette occasion, le sursis octroyé en 2003 a été révoqué.
- En juin 2006, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de deux mois pour vol, vol par métier, violation de domicile et contravention à la LStup (peine partiellement complémentaire au jugement du 30 janvier 2006).
- En 2008, le Juge d'instruction du Nord vaudois l'a condamné à un travail d'intérêt général de 180 heures et une amende de 450 fr pour vol d'importance mineure et violation de domicile.
- En 2009, le Tribunal correctionnel de La Broye et du Nord vaudois l'a condamné à une peine privative de liberté de neuf mois et une amende de 200 fr pour vol par métier, violation de domicile, délit contre la LStup et contravention à la LStup.
- En 2011, le Tribunal correctionnel de La Broye et du Nord vaudois l'a condamné à une peine privative de liberté de 30 mois pour vol, vol en bande, tentative de vol en bande, vols d'importance mineure, dommages à la propriété, violation de domicile, vol d'usage, conduite d'un véhicule automobile sans permis de conduire ou malgré un retrait et contravention à la LStup. A cette occasion, la libération conditionnelle accordée le 3 avril 2009 a été révoquée dès lors que les infractions ont été partiellement commises pendant le délai d'épreuve. X._ a purgé sa peine jusqu'au 5 mai 2012, la libération conditionnelle lui ayant été refusée.
C. Le 6 juillet 2011, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a signifié à X._ qu'il entendait proposer au Chef du Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) de prononcer la révocation de son autorisation d'établissement ainsi que son renvoi de Suisse.
Par décision du 13 décembre 2011, le Département cantonal a révoqué l'autorisation d'établissement de X._ et lui a imparti un délai immédiat pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise. La décision retient un risque de récidive important, une très grave atteinte à la sécurité et l'ordre publics et le fait que l'intéressé ne peut pas se prévaloir d'une intégration réussie en Suisse puisqu'il n'a pas obtenu de certificat de scolarité ni achevé de formation professionnelle, qu'il est sans emploi et dépend de l'aide sociale depuis 2003.
La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours formé par X._ par arrêt du 12 juillet 2012 et a annulé la décision du chef du Département cantonal du 13 décembre 2011.
D. Agissant par la voie du recours en matière de droit public, l'Office fédéral des migrations demande au Tribunal fédéral d'annuler l'arrêt du 12 juillet 2012. Il dénonce une violation de l'art. 63 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) en relation avec l'art. 5 al. 1 de l'annexe I à l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681).
Le Tribunal cantonal se réfère aux considérants de l'arrêt entrepris. Le Département cantonal et le Service cantonal proposent d'admettre le recours. Invité à répondre, l'intimé ne s'est pas déterminé.

Considérant en droit:
1. 1.1 Le recours est dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par un tribunal supérieur de dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF).
En vertu de l'art. 14 al. 2 de l'ordonnance fédérale du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), l'Office fédéral a qualité pour recourir devant le Tribunal fédéral (<ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant la révocation de l'autorisation d'établissement de l'intimé, la décision attaquée peut faire l'objet d'un recours en matière de droit public, dès lors qu'il existe en principe un droit, du point de vue de l'étranger intimé, au maintien d'une telle autorisation (cf. <ref-ruling> consid. 1.2.1 p. 4; arrêts 2C_238/2012 du 30 juillet 2012 consid. 1.1; 2C_656/2011 du 8 mai 2012 consid. 1.1; 2C_478/2010 du 17 novembre 2010 consid. 2, non publié in <ref-ruling>); en sa qualité de ressortissant italien, l'intimé peut en outre prétendre à l'octroi d'une autorisation de séjour en Suisse, en vertu du droit à la libre circulation que lui confère l'ALCP (<ref-ruling> consid. 1.1 p. 179; <ref-ruling> consid. 4 p. 258 ss; arrêts 2C_656/2011 du 8 mai 2012 consid. 1.1; 2C_492/2011 du 6 décembre 2011 consid. 1.2). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Déposé au surplus dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable.
2. 2.1 Aux termes de son art. 2 al. 2, la LEtr n'est applicable aux ressortissants des Etats membres de la Communauté européenne, aux membres de leur famille et aux travailleurs détachés par un employeur ayant son siège ou son domicile dans un de ces Etats que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque ladite loi contient des dispositions plus favorables. Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011 consid. 2.1).
2.2 Selon l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que s'il attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 63 al. 1 let. b LEtr) ou s'il a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP (art. 62 let. b LEtr). Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, étant précisé qu'elle doit résulter d'un seul jugement pénal (<ref-ruling> consid. 4.2 p. 380 s.).
2.3 En l'espèce, il n'est pas contesté que le motif de révocation de l'autorisation d'établissement des art. 62 let. b et 63 al. 2 LEtr est réalisé, puisque l'intimé a été condamné le 20 janvier 2011 à une peine privative de liberté de trente mois.
3. 3.1 Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse pour y exercer une activité lucrative ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law>. L'alinéa 2 de cette disposition se réfère à cet égard aux directives correspondantes de la Communauté européenne, en particulier la directive 64/221/CEE du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Conformément à la jurisprudence de la Cour de Justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société. La seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 4.2 p. 20; <ref-ruling> consid. 4.3 p. 24). Selon les circonstances, la jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 3.4.1 p. 184). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque, qui est essentiel, ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20; <ref-ruling> consid. 3.3 p. 499 ss; arrêt 2C_238/2012 du 30 juillet 2012 consid. 2.3).
Pour évaluer la menace que représente un étranger condamné pénalement, le Tribunal fédéral se montre particulièrement rigoureux - en suivant en cela la pratique de la Cour européenne des droits de l'homme - en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (arrêts 2C_492/2011 du 6 décembre 2011 consid. 4.1; 2C_473/2011 du 17 octobre 2011 consid. 2.2; 2A.308/2004 du 4 octobre 2004 consid. 3.3). La gravité qualifiée de l'atteinte peut également être réalisée en cas de violation répétée, grave et sans scrupule de la sécurité et de l'ordre publics par des comportements relevant du droit pénal et montrant que l'étranger n'a ni la volonté ni la capacité de respecter à l'avenir le droit (<ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_373/2012 consid. 3.2). La Cour de céans a rejeté le recours formé par un ressortissant autrichien né en Suisse contre la révocation de son autorisation d'établissement; souffrant d'alcoolisme, ce dernier avait été, en l'espace de seize ans, condamné à six peines privatives de liberté variant entre 21 jours et 21 mois pour avoir commis de nombreux vols et dommages à la propriété; si le recourant n'avait pas perpétré d'actes violents, d'ordre sexuel ou en matière de stupéfiants, les récidives justifiaient la révocation de son permis (arrêt 2C_839/2011 du 28 février 2012 consid. 3.1 et 3.2).
3.2 Selon le Tribunal cantonal, le comportement de l'intimé ne constitue pas une menace réelle propre à affecter un intérêt fondamental de la société. Il a retenu en substance que l'intimé n'avait pas perpétré d'actes violents ou d'ordre sexuel et s'il avait été condamné à plusieurs reprises pour infractions à la LStup, il n'avait jamais participé à un véritable trafic de stupéfiant. Le Tribunal cantonal en a conclu que les infractions commises par l'intimé contre le patrimoine ne constituaient pas des infractions graves mettant en danger la sécurité publique.
Ce raisonnement perd de vue que le critère de la gravité peut également être réalisé par des actes qui présentent un degré de gravité comparativement moins élevé, mais qui, par leur répétition, démontrent chez l'intimé une incapacité à se conformer à l'ordre établi. En neuf ans, l'intimé a été condamné à sept reprises par la justice pénale. La peine totale encourue avoisine les quatre années, la dernière ayant été fixée à trente mois. S'il est vrai que le délit en matière de stupéfiants constitue un cas isolé, il convient de relever la constance avec laquelle l'intimé répète les mêmes infractions. Il a non seulement été condamné à six reprises pour contravention à la LStup, mais la totalité des condamnations prononcées a un lien avec des infractions contre le patrimoine. La circonstance aggravante du métier a du reste été retenue dans deux cas. Ainsi, tant la multiplication des infractions que la durée totale des condamnations pénales, qui n'ont cessé de croître au fil les années, confirment la gravité des actes perpétrés par l'intimé. Il n'a en outre pas tenu compte du sursis et de la libération conditionnelle, ce qui démontre sa persévérance dans la délinquance. Le sursis qui lui avait été accordé en 2003 ainsi que la libération conditionnelle dont il avait bénéficié en 2009 ont tous deux dû être révoqués. L'intimé a par ailleurs purgé sa dernière peine jusqu'en mai 2012, la libération conditionnelle lui ayant été refusée. Enfin, il sied de relever que la naissance de sa fille ne l'a pas empêché de se lancer dans ses activités délictueuses. Ainsi, compte tenu de la gravité, de la fréquence et de la répétition systématique des mêmes infractions, c'est à tort que les juges cantonaux n'ont pas retenu de risque actuel pour l'ordre juridique au sens de l'<ref-law>.
4. Le recourant soutient que, contrairement à ce qui ressort de l'arrêt attaqué, l'intimé ne peut pas se prévaloir de la protection de la vie privée découlant de l'art. 8 CEDH.
4.1 Aux termes de l'art. 8 CEDH, toute personne a notamment droit au respect de sa vie privée et familiale. Sous l'angle de la protection de la vie privée, l'art. 8 par. 1 CEDH n'ouvre le droit à une autorisation de séjour qu'à des conditions très restrictives. L'étranger doit en effet établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire (cf. <ref-ruling> consid. 3.2.1 p. 286; arrêt 2C_75/2011 du 6 avril 2011 consid. 1.1.2). Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres (cf. <ref-ruling> consid. 3.2.1 p. 286 s. et les arrêts cités).
La jurisprudence a notamment déduit de l'art. 8 par. 1 CEDH, sous le seul aspect de la vie privée, un droit à une autorisation de séjour en faveur d'un étranger installé depuis plus de onze ans en Suisse; il a notamment retenu que l'intéressé avait développé dans notre pays des liens particulièrement intenses dans les domaines professionnel (création d'une société à responsabilité limitée; emploi à la Délégation permanente de l'Union africaine auprès de l'ONU) et social (cumul de diverses charges auprès de l'Eglise catholique) (cf. arrêt 2C_266/2009 du 2 février 2010). A l'inverse, le Tribunal fédéral a estimé qu'un étranger ayant vécu pendant seize ans en Suisse en y développant normalement ses relations privées ne pouvait en déduire aucun droit à une autorisation de séjour sous l'angle de la protection de la vie privée (cf. arrêt 2P.253/1994 du 3 novembre 1994 consid. 2b).
4.2 En l'espèce, il est douteux que l'intimé puisse se prévaloir de l'art. 8 par. 1 CEDH. Il est vrai que la durée du séjour en Suisse est importante: au moment où l'arrêt attaqué a été rendu, le recourant admet que l'intimé séjournait en Suisse depuis 43 ans. Ce seul critère ne suffit toutefois pas à justifier l'application de l'art. 8 par. 1 CEDH. Il convient également de prendre en compte l'intégration sociale et professionnelle de l'intimé. Or, il ressort de l'arrêt attaqué qu'en dépit de son long séjour, l'intimé ne s'y est intégré ni socialement ni professionnellement. De 2002 à 2011, il n'a cessé d'occuper les forces de l'ordre et les tribunaux pénaux. Hormis la famille, il ne ressort pas de l'arrêt attaqué que l'intimé aurait tissé des liens particuliers avec la Suisse. S'agissant de l'intégration professionnelle, il n'a pas de certificat de fin de scolarité ni terminé de formation professionnelle et vit de l'aide sociale depuis 2003. La question peut toutefois rester indécise, la mesure de révocation étant de toute façon proportionnée.
5. La protection découlant de l'art. 8 CEDH n'est pas absolue. En effet, une ingérence dans l'exercice du droit au respect de la vie privée et familiale est possible selon l'art. 8 par. 2 CEDH, "pour autant que cette ingérence est prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui". La question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit être résolue sur la base d'une pesée de tous les intérêts privés et publics en présence (<ref-ruling> consid. 3.2.2 p. 252; <ref-ruling> consid. 4.1.1 p. 249; <ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 2 p. 5 ss). Dans le cadre de cette pesée d'intérêts, il y a notamment lieu de prendre en compte la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi (<ref-ruling> consid. 4.3 et 4.5; arrêt 2C_370/2012 du 29 octobre 2012 consid. 3.1.3). L'autorisation d'établissement d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue. Une telle révocation n'est toutefois pas exclue en cas d'activité pénale grave ou répétée, même si l'étranger est né en Suisse où il a passé toute son existence (arrêts 2C_370/2012 du 29 octobre 2012 consid. 3.1.3; 2C_839/2011 du 28 février 2012 consid. 2.3; 2C_562/2011 du 21 novembre 2011 consid. 3.3). En cas d'actes pénaux graves et de récidive, respectivement en cas de délinquance persistante, il existe en général un intérêt public important à mettre un terme à la présence de l'étranger en Suisse dans la mesure où ce type de comportement porte atteinte à la sécurité et à l'ordre publics (arrêts 2C_839/2011 du 28 février 2012 consid. 2.3; 2C_903/2010 du 6 juin 2011 consid. 3.1, non publié in <ref-ruling>; <ref-ruling> consid. 4.4.2 p. 190).
5.1 Au vu de la gravité des faits reprochés à l'intimé et sa persistance à ne pas respecter l'ordre juridique suisse, le maintien du droit de demeurer en Suisse n'aurait pu se justifier qu'en présence de circonstances tout à fait particulières, qui font manifestement défaut en l'espèce (arrêt 2C_238/2012 du 30 juillet 2012 consid. 4.3). La durée du séjour en Suisse de l'intimé est certes très longue: arrivé en Suisse à l'âge de un an, l'intimé n'a pratiquement jamais vécu en Italie. L'intimé souffre par ailleurs de toxicomanie et il n'apparaît pas qu'il puisse compter sur l'appui de membres de sa famille ou d'amis dans son pays d'origine, contrairement à la Suisse, où résident ses parents, son frère et sa fille. Il est vrai, dans ces circonstances, qu'un retour en Italie sera difficile. Cela étant, ces éléments sont contre-balancés par les nombreuses condamnations pénales et par le fait qu'en dépit du sursis et de la libération conditionnelle accordés par les autorités, l'intimé a persévéré dans ses agissements criminels. Il ressort par ailleurs des faits établis par les juges cantonaux que l'intimé n'est pas particulièrement bien intégré; il n'a pas achevé sa formation professionnelle et n'a jamais, durablement du moins, occupé d'emploi (supra consid. 3.2). De surcroît, l'Italie étant un pays limitrophe, il pourra maintenir des contacts réguliers avec sa famille, de visu et à distance (cf. arrêt 2C_845/2012 du 13 février 2013 consid.5.2.3).
5.2 Compte tenu de l'ensemble des circonstances, il apparaît que l'intérêt public à l'éloignement l'emporte sur l'intérêt privé de l'intimé à poursuivre sa vie en Suisse. Sous l'angle de la proportionnalité également, l'arrêt attaqué ne peut être suivi.
6. Au vu de ce qui précède, le recours doit être admis, l'arrêt attaqué annulé et la décision du Département cantonal du 13 décembre 2011 rétablie. Aucun dépens ne sera alloué (art. 68 al. 1 et 3 LTF). L'intimé, qui succombe, supportera les frais judiciaires, même s'il a renoncé à se déterminer (<ref-law>; <ref-ruling> consid. 3 p. 158; arrêt 5A_572/2012 du 15 novembre 2012 consid. 7). Il sera toutefois tenu compte de sa situation financière (<ref-law>). Enfin, l'affaire sera renvoyée au Tribunal cantonal afin qu'il fixe à nouveau les frais de la procédure qui s'est déroulée devant lui (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal cantonal du 12 juillet 2012 est annulé et la décision du Département cantonal du 13 décembre 2011 rétablie.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de l'intimé.
3. L'affaire est renvoyée au Tribunal cantonal afin qu'il fixe à nouveau les frais de la procédure qui s'est déroulée devant lui.
4. Le présent arrêt est communiqué aux parties, au Département de l'économie du canton de Vaud, Secrétariat général, au Service de la population du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 12 mars 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: McGregor