Faits: A. X._, ressortissant italien né en 1968, est arrivé en Suisse "dès son plus jeune âge". X._ est titulaire d'un permis d'établissement. Il a suivi sa scolarité obligatoire jusqu'à l'âge de 15 ans, sans obtenir de certificat de fin de scolarité, puis a commencé un apprentissage de maçon qu'il n'a pas terminé. Il a occupé divers emplois temporaires jusqu'en 2003. Il est le père d'une fille née en 2001. Il s'est séparé de la mère de son enfant peu après sa naissance. B. X._ a fait l'objet des condamnations pénales suivantes: - En 2002, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de trois mois pour vol, dommages à la propriété, tentative d'utilisation frauduleuse d'un ordinateur, vol d'usage, contravention à l'ordonnance sur les règles de la circulation et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121). - En 2003, le Juge d'instruction de Fribourg l'a condamné à une peine d'emprisonnement de quinze jours, avec sursis pour vol, contravention à la loi fédérale sur le séjour et l'établissement des étrangers, contravention à la LStup et utilisation d'un cycle ou cyclomoteur sans droit. - En janvier 2006, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de quatre mois pour vol par métier, dommages à la propriété, violation de domicile, défaut d'avis en cas de trouvaille et contravention à la LStup. A cette occasion, le sursis octroyé en 2003 a été révoqué. - En juin 2006, le Juge d'instruction du Nord vaudois l'a condamné à une peine d'emprisonnement de deux mois pour vol, vol par métier, violation de domicile et contravention à la LStup (peine partiellement complémentaire au jugement du 30 janvier 2006). - En 2008, le Juge d'instruction du Nord vaudois l'a condamné à un travail d'intérêt général de 180 heures et une amende de 450 fr pour vol d'importance mineure et violation de domicile. - En 2009, le Tribunal correctionnel de La Broye et du Nord vaudois l'a condamné à une peine privative de liberté de neuf mois et une amende de 200 fr pour vol par métier, violation de domicile, délit contre la LStup et contravention à la LStup. - En 2011, le Tribunal correctionnel de La Broye et du Nord vaudois l'a condamné à une peine privative de liberté de 30 mois pour vol, vol en bande, tentative de vol en bande, vols d'importance mineure, dommages à la propriété, violation de domicile, vol d'usage, conduite d'un véhicule automobile sans permis de conduire ou malgré un retrait et contravention à la LStup. A cette occasion, la libération conditionnelle accordée le 3 avril 2009 a été révoquée dès lors que les infractions ont été partiellement commises pendant le délai d'épreuve. X._ a purgé sa peine jusqu'au 5 mai 2012, la libération conditionnelle lui ayant été refusée. C. Le 6 juillet 2011, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a signifié à X._ qu'il entendait proposer au Chef du Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) de prononcer la révocation de son autorisation d'établissement ainsi que son renvoi de Suisse. Par décision du 13 décembre 2011, le Département cantonal a révoqué l'autorisation d'établissement de X._ et lui a imparti un délai immédiat pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise. La décision retient un risque de récidive important, une très grave atteinte à la sécurité et l'ordre publics et le fait que l'intéressé ne peut pas se prévaloir d'une intégration réussie en Suisse puisqu'il n'a pas obtenu de certificat de scolarité ni achevé de formation professionnelle, qu'il est sans emploi et dépend de l'aide sociale depuis 2003. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours formé par X._ par arrêt du 12 juillet 2012 et a annulé la décision du chef du Département cantonal du 13 décembre 2011. D. Agissant par la voie du recours en matière de droit public, l'Office fédéral des migrations demande au Tribunal fédéral d'annuler l'arrêt du 12 juillet 2012. Il dénonce une violation de l'art. 63 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) en relation avec l'art. 5 al. 1 de l'annexe I à l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Le Tribunal cantonal se réfère aux considérants de l'arrêt entrepris. Le Département cantonal et le Service cantonal proposent d'admettre le recours. Invité à répondre, l'intimé ne s'est pas déterminé.