Faits:
A. A.a X._, ressortissant de Bosnie et Herzégovine né le *** 1985 à Srebrenica, est arrivé en Suisse le 12 avril 1993 avec sa mère. Son père, fait prisonnier pendant la guerre, les a rejoints dans le courant de l'année 1996 et a obtenu l'asile le 29 janvier 2001. Au bénéfice d'une admission provisoire, X._ et sa mère ont, le 9 mars 2001, été mis au bénéfice de l'asile et du statut de réfugié par regroupement familial. L'intéressé a obtenu une autorisation d'établissement pour résider en qualité de réfugié, en date du 28 mai 2001. Il a accompli sa scolarité obligatoire en Suisse, mais n'a pas obtenu de diplôme de formation professionnelle.
Par jugement du 30 mars 2006, le Tribunal correctionnel de l'arrondissement de Lausanne (ci-après: le Tribunal correctionnel) a condamné X._ à 18 mois de détention avec sursis pendant 5 ans pour des infractions commises entre le 3 mars 2004 et le 26 avril 2005, soit pour, notamment, voies de fait, mise en danger de la vie d'autrui, vol, abus de confiance, menaces, obtention frauduleuse d'une prestation, violation de domicile, vol d'usage, circulation sans permis de conduire, usage abusif de permis et contravention à la loi fédérale du 3 octobre 1952 sur les stupéfiants (ci-après: LStup). Le tribunal a en outre prononcé son expulsion du territoire suisse pour une durée de 3 ans avec sursis pendant 5 ans.
Le 18 septembre 2008, le Tribunal correctionnel a condamné X._ à une peine privative de liberté de 27 mois et à une amende de 1'000 francs; cette peine sanctionnait des infractions perpétrées entre le 22 avril 2006 et le 12 décembre 2007, soit, principalement, des abus de confiance, vol, escroquerie, circulation sans permis de conduire et infraction à la LStup; le sursis accordé le 30 mars 2006 a été révoqué. Consommateur régulier et compulsif de cocaïne, il s'est vu imposer un traitement ambulatoire.
X._ a été libéré conditionnellement le 9 mars 2009. Le même mois, il a donné lieu à des dénonciations. Il s'est, de plus, soustrait aux conditions assortissant sa libération conditionnelle qui consistaient, notamment, dans des contrôles d'abstinence de stupéfiants et un traitement ambulatoire.
Par jugement du 9 décembre 2009, le Tribunal correctionnel a constaté que X._ s'était rendu coupable, entre le 17 mars et le 22 mai 2009, d'abus de confiance et de conduite sans permis; il l'a condamné à une peine privative de liberté de 10 mois et à une amende de 500 fr. Le tribunal a souligné que, malgré son jeune âge, l'accusé avait un casier judiciaire impressionnant et que le pronostic le concernant était sombre.
X._ a été libéré le 1er mai 2010 au terme de l'exécution de sa peine.
A.b Entre-temps, par décision du 9 mars 2010, confirmée sur recours le 19 mai 2010 par le Tribunal administratif fédéral, l'Office fédéral des migrations (ci-après: l'Office fédéral) a révoqué l'asile accordé à X._ au motif que les infractions commises, compte tenu de leur nombre, leur répétition et leur gravité, constituaient des actes particulièrement répréhensibles.
A.c Le Chef du Département de l'intérieur du canton de Vaud (ci-après: le Chef du Département) a ordonné, le 15 décembre 2010, la révocation de l'autorisation d'établissement de X._ et lui a imparti un délai immédiat pour quitter la Suisse.
Le 5 avril 2011, X._ ayant reconnu au moins une trentaine d'infractions commises entre le 17 juin 2010 et le 6 mars 2011, il a été arrêté et placé en détention provisoire, détention remplacée par une mesure de substitution sous la forme d'un traitement ambulatoire comprenant des contrôles d'abstinence aux stupéfiants.
Une expertise psychiatrique du 22 juillet 2011, émanant de A._, a diagnostiqué un trouble de la personnalité mixte, à traits narcissiques et antisociaux et une dépendance à la cocaïne; selon le rapport, si une psychothérapie était possible, les possibilités de mener à bien cette mesure étaient faibles, l'expertisé ne reconnaissant pas la nécessité d'un tel suivi; une tentative de traitement ambulatoire de la dépendance restait la seule perspective thérapeutique réaliste, bien que ses chances de succès soient toujours faibles et que le risque de récidive d'actes de même nature restait important.
X._ a été arrêté le 3 octobre 2011: il avait admis un délit commis en août, tout en en contestant d'autres, et a reconnu qu'il continuait à conduire sans être titulaire du permis requis et qu'il consommait toujours de la cocaïne. Il a alors été remis en détention, la révocation des mesures de substitution ayant été ordonnée.
B. Le 30 janvier 2012, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours contre la décision du 15 décembre 2010 du Chef du Département ordonnant la révocation de l'autorisation d'établissement de X._. Il a en substance jugé que c'était à bon droit que l'autorisation d'établissement de l'intéressé, multirécidiviste, avait été révoquée, compte tenu de la répétition des condamnations infligées et de leur gravité; en outre, la qualité de réfugié de X._ ne s'opposait pas à son renvoi et ne violait pas le principe de non-refoulement; finalement, il ne remplissait pas les conditions d'octroi d'une admission provisoire.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer l'arrêt du 30 janvier 2012 du Tribunal cantonal en ce sens que son autorisation d'établissement est maintenue, subsidiairement, d'annuler son renvoi et de lui octroyer une admission provisoire et, plus subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants.
Le Service de la population du canton de Vaud et le Chef du Département renoncent à se déterminer, alors que le Tribunal cantonal et l'Office fédéral concluent au rejet du recours.
Par ordonnance du 6 mars 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit:
1. 1.1 Le recourant est titulaire d'un permis d'établissement qui, sans la révocation litigieuse, continuerait à déployer ses effets. En ce sens, il peut se prévaloir d'un droit au maintien de cette autorisation au sens de l'art. 83 let. c ch. 2 LTF et son recours échappe au motif d'irrecevabilité prévu par cette disposition (cf. <ref-ruling> consid. 1.2.1 p. 4).
1.2 1.2.1 En ce qui concerne l'art. 8 CEDH, il faut relever que le recourant est majeur, qu'il n'est pas marié et n'a pas d'enfant. Le seul fait de vivre avec sa mère ne lui permet pas de tirer de droit de cette disposition sous l'angle de la protection de la vie familiale, seules étant protégées, en principe, les relations entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146). Un étranger majeur ne peut se prévaloir d'une telle protection que s'il se trouve dans un état de dépendance particulier par rapport à un parent établi en Suisse en raison par exemple d'un handicap (physique ou mental) ou d'une maladie grave (<ref-ruling> consid. 1d/e p. 261; <ref-ruling> consid. 2c p. 5), ce qui n'est pas le cas en l'espèce. L'existence de liens particuliers avec une fiancée, telle qu'alléguée dans le recours, ne ressort au surplus nullement de l'arrêt entrepris dont les faits lient le Tribunal fédéral (art. 105 al. 1 LTF).
1.2.2 Le recourant se prévaut également du droit au respect de sa vie privée, également garanti par l'art. 8 § 1 CEDH. S'agissant d'un jeune adulte qui est venu en Suisse alors qu'il avait 8 ans et qui a passé plus de 18 ans dans le pays d'accueil, il n'est pas exclu que, selon les circonstances, il puisse déduire un droit de séjour de la garantie liée au respect de sa vie privée (<ref-ruling> consid. 3.2.1 p. 286 et les références citées). Il convient d'admettre que le recours est également recevable sous cet angle, étant précisé que le point de savoir si X._ peut effectivement se prévaloir d'un tel droit relève du fond et non de la recevabilité.
1.3 Par contre, en tant que le recourant demande à être mis au bénéfice d'une admission provisoire (art. 83 LEtr), son recours est irrecevable en vertu de l'art. 83 let. c ch. 3 LTF.
1.4 Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF, le recours en matière de droit public est par conséquent recevable.
2. Est en cause, la révocation de l'autorisation d'établissement du recourant. Il faut relever ici que si, par décision du 9 mars 2010, l'Office fédéral a révoqué l'asile accordé au recourant, celui-ci a conservé sa qualité de réfugié. Le droit d'asile et le droit des étrangers étant étroitement liés en ce qui concerne le séjour et l'établissement, leur application doit être coordonnée.
2.1 Quiconque a obtenu l'asile en Suisse et y séjourne légalement depuis cinq ans au moins a droit à une autorisation d'établissement (art. 60 de la loi fédérale du 26 juin 1998 sur l'asile [ci-après: la loi sur l'asile ou LAsi; RS 142.31]). L'Office fédéral peut, selon l'art. 63 al. 1 et 2 LAsi, révoquer l'asile ou retirer la qualité de réfugié; une telle révocation lie les autorités fédérales et cantonales (art. 63 al. 3 LAsi). Cependant, cette révocation ne conduit pas directement à celle de l'autorisation de séjour ou d'établissement octroyée précédemment; la décision de révocation d'une telle autorisation doit, en effet, être prise sur la base des dispositions du droit des étrangers et par les autorités cantonales compétentes (<ref-ruling>10 consid. 3.1 p. 116).
Dans le cas où l'Office fédéral non seulement révoque l'asile mais retire également la qualité de réfugié à une personne, celle-ci n'est alors plus soumise à la loi sur l'asile; son droit au séjour ou à l'établissement ne relève plus que du droit des étrangers. Par contre, une personne dont seul l'asile a été révoqué, et qui continue de bénéficier de la qualité de réfugié, demeure soumise à la loi sur l'asile et à la convention du 28 juillet 1951 relative au statut des réfugiés (ci-après: la Convention; RS 0.142.30). Ainsi, l'autorité cantonale compétente pour se prononcer sur l'éventuelle révocation d'une autorisation d'établissement doit tenir compte, lors de son appréciation d'ensemble, des aspects du droit d'asile.
Sous réserve du principe de non-refoulement (art. 5 LAsi), le réfugié ne peut être expulsé que s'il compromet la sûreté intérieure ou extérieure de la Suisse ou s'il a porté gravement atteinte à l'ordre public (art. 65 LAsi, cf. aussi art. 32 de la Convention); la possibilité d'expulser un réfugié est ainsi limitée. A cet égard, les conditions posées par l'art. 65 LAsi sont semblables à celles posées pour la révocation de l'asile de l'art. 63 al. 2 LAsi (<ref-ruling>10 consid. 3.1 p. 116), selon lequel l'Office fédéral révoque l'asile si le réfugié a porté atteinte à la sécurité intérieure ou extérieure de la Suisse, s'il les compromet ou s'il a commis des actes délictueux particulièrement répréhensibles. Si elles sont remplies mais que l'expulsion ou le renvoi n'est pas possible, pas licite ou ne peut pas être raisonnablement exigé, l'Office fédéral des migrations admet provisoirement l'étranger (art. 83 de la loi fédérale du 16 décembre 2005 sur les étrangers [LEtr; RS 142.20]). L'autorité cantonale, qui décide de la révocation de l'autorisation d'établissement, doit donc examiner, dans le cadre de la pesée des intérêts, le point de savoir si, avec la perte du droit de présence du droit des étrangers, le renvoi probable pourra être effectué; elle peut, dans ce cadre, demander à l'Office fédéral des migrations si, à son avis, d'éventuels empêchements n'y feraient pas obstacle (art. 43 LAsi; <ref-ruling>10 consid. 3.2 p. 116). La question de l'exigibilité de l'exécution du renvoi se recoupe ainsi avec la pesée des intérêts prévue, dans le cadre la procédure de révocation de l'autorisation, par l'art. 96 LEtr (cf. infra consid. 2.2).
2.2 Selon l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que lorsque:
- il attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 63 al. 1 let. b LEtr);
- l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 du code pénal (art. 62 let. b LEtr).
Il suffit que l'un de ces deux motifs soient réalisés (arrêt 2C_750/2011 du 10 mai 2012 consid. 3.1).
En ce qui concerne le premier, une personne attente "de manière très grave" à la sécurité et à l'ordre publics lorsque ses actes lèsent ou compromettent des biens juridiques particulièrement importants comme l'intégrité corporelle, psychique ou sexuelle. Des violations de moindre gravité peuvent, considérées dans leur ensemble, être qualifiées de "très graves" (<ref-ruling> consid. 3.3 p. 304). Il peut aussi exister un motif de révocation lorsqu'une personne a violé de manière répétée, grave et sans scrupule la sécurité et l'ordre publics par des comportements relevant du droit pénal et montre ainsi qu'elle n'a ni la volonté ni la capacité de respecter à l'avenir le droit. Dans de tels cas, il existe un intérêt public majeur à éloigner et à tenir éloignées des personnes titulaires d'une autorisation d'établissement. En tant qu'elles lèsent ou compromettent l'intégrité corporelle des personnes, qui est un bien juridique particulièrement important, les infractions à la LStup, en particulier le trafic de stupéfiants, constituent en règle générale une atteinte "très grave" à la sécurité et à l'ordre publics; or, une telle atteinte justifie la révocation d'un permis d'établissement au sens de l'art. 63 al. 1 let. b LEtr (arrêt 2C_655/2011 du 7 février 2012 consid. 9.2; cf. <ref-ruling> consid. 3.3 p. 303).
Selon la jurisprudence, une peine est considérée comme de longue durée lorsqu'elle dépasse un an d'emprisonnement indépendamment du fait qu'elle ait été prononcée avec un sursis complet ou partiel, respectivement sans sursis (<ref-ruling> consid. 4.5 p. 383; <ref-ruling> consid. 2.1 p. 299).
Le refus de l'autorisation de séjour ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (cf. art. 96 al. 1 LEtr). Ce faisant, il convient de prendre en considération notamment la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (<ref-ruling> consid. 4.3 p. 381 s.). La pesée globale des intérêts commandée par l'art. 8 CEDH est analogue à celle requise par l'art. 96 al. 1 LEtr (arrêt 2C_655/2011 du 7 février 2011 consid. 10.2).
3. 3.1 Le recourant ne conteste pas l'existence du motif de révocation de son autorisation d'établissement, prévu à l'art. 63 al. 1 let. a LEtr (en lien avec avec l'art. 62 let. b LEtr), dans la mesure où il a été condamné à des peines privatives de liberté de 18 et 27 mois d'emprisonnement.
En outre, l'intéressé remplit également le motif de révocation de l'art. 63 al. 1 let. b LEtr. Le recourant a été reconnu coupable d'une infraction concernant une atteinte à l'intégrité corporelle des personnes (mise en danger de la vie d'autrui et voies de fait). Il a, en outre, commis un nombre important d'infractions contre le patrimoine. Si ces dernières peuvent, au regard des intérêts juridiques protégés, être considérées comme de gravité moyenne, leur régularité et leur accumulation démontrent l'indifférence certaine de leur auteur envers l'ordre juridique suisse. En outre, si les condamnations subies par le recourant ne sont pas particulièrement importantes puisqu'elles sont au nombre de trois, elles sanctionnent d'innombrables infractions. Le nombre de personnes lésées par les actes délictueux du recourant est, ainsi, impressionnant puisque les plaignants, dans le cadre des trois jugements [cf. partie "faits" let. A.a], étaient plus de cinquante. Il apparaît que l'intéressé a, notamment, érigé l'abus de confiance et le vol en mode de vie afin de se procurer de petites sommes d'argent ou des biens matériels de plus ou moins grande valeur. A cela s'ajoutent des infractions à la LStup. Finalement, on remarque que les sanctions pénales et avertissements répétés (sursis) n'ont pas eu d'effet dissuasif, le recourant commettant de nouvelles infractions juste après ses condamnations et ses sorties de prison.
3.2 Comme susmentionné, le recourant bénéficie encore de la qualité de réfugié. Cette qualité ne lui est, cependant, d'aucune aide. En effet, la décision de révocation du 9 mars 2010 de l'Office fédéral est fondée sur l'art. 63 al. 2 LAsi, au regard du "nombre d'infractions commises, de leur gravité et de leur récidive". En outre, le Tribunal administratif fédéral, dans son arrêt du 19 mai 2010 confirmant la révocation de l'asile, a relevé que le recourant avait été condamné pour, notamment, mise en danger de la vie d'autrui, vol, abus de confiance et escroquerie, soit des infractions qui, étant punissables de cinq ans de privation de liberté, constituaient des crimes (art. 10 al. 2 CP) et qui, partant, entraient dans la catégorie des actes particulièrement répréhensibles de l'art. 63 al. 2 LAsi. Compte tenu de ces éléments, des activités délictuelles du recourant telles que décrites ci-dessus et du fait qu'elles représentent des atteintes "très graves" à la sécurité et à l'ordre publics au sens de l'art. 63 al. 1 let. b LEtr (consid. 3.1), le motif d'expulsion de l'art. 65 LAsi pour atteinte grave à l'ordre public est également réalisé.
3.3 Le recourant invoque la violation du principe de la proportionnalité, sous l'angle des art. 96 LEtr et 8 CEDH.
3.3.1 Comme on l'a vu ci-dessus (consid. 1.2.1), le recourant ne peut pas de tirer de droit de l'art. 8 CEDH relativement à la vie familiale. Il est douteux qu'il puisse le faire en ce qui concerne la vie privée: bien qu'il faille tenir compte de son séjour de 18 ans en Suisse, pays où il a passé toute sa vie depuis l'âge de 8 ans, son intégration dans notre pays n'est pas bonne. Quoiqu'il en soit, une ingérence dans l'exercice du droit au respect de la vie privée est possible selon l'art. 8 par. 2 CEDH (cf. <ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 4.3 p. 381 et les références citées) et, en l'espèce, elle apparaît comme étant proportionnée.
3.3.2 Le Tribunal cantonal a exposé avec soin la situation du recourant en prenant en considération tous les éléments pertinents. Il suffit, dès lors, pour l'essentiel de répondre aux arguments avancés par le recourant.
Au vu de la gravité des faits reprochés au recourant et de sa persistance à ne pas respecter l'ordre juridique suisse, le maintien du droit de demeurer en Suisse ne pourrait se justifier qu'en présence de circonstances tout à fait particulières, lesquelles font manifestement défaut en l'espèce pour les raisons suivantes. Le recourant, qui n'a pas de formation, a dépendu de l'aide sociale et a vécu grâce aux bénéfices tirés de ses infractions. Il ne possède à l'évidence pas un haut degré d'intégration en Suisse. Son retour en Bosnie et Herzégovine ne sera pas facile puisqu'il n'y a plus d'attache, dès lors qu'il vit en Suisse depuis son enfance, pays où résident également ses parents; il n'apparaît cependant pas qu'il doive quitter un pays où il possède une situation stable pour se rendre dans un lieu où une intégration paraît d'emblée compromise. En outre, les pronostics concernant l'évolution du recourant ne sont pas bons, comme cela ressort de l'expertise psychiatrique du 22 juillet 2011 (cf. partie "Faits" let. Ac.) et du rapport du 23 février 2011 de la Fondation de probation, cité par l'arrêt attaqué. Celui-ci mentionne que le bilan du suivi et de l'engagement de l'intéressé dans une prise de conscience de ses problèmes de dépendance est "plus que désastreux"; il parle "d'une attitude plus qu'ironique et méprisable envers les différents intervenants professionnels et les représentants de la justice" décrivant le recourant comme quelqu'un qui n'avait "jamais démontré un effort de réflexion sur son comportement délictueux" et qui est "tout à fait capable de continuer sur la voie de la récidive, ce qu'il fait d'ailleurs depuis plusieurs années". Ces éléments démontrent que le recourant n'a jamais montré le moindre désir de se sortir de sa situation, ni saisi les possibilités qui s'offraient à lui pour ce faire, estimant qu'il n'avait pas besoin de traitement. Dans ces conditions, la volonté, mise en avant par l'intéressé, de s'amender, de trouver un travail, et de recommencer une nouvelle vie malgré ses problèmes de toxicomanie, n'est pas convaincante. Finalement, compte tenu de son manque total de collaboration lors des différents traitements et suivis mis en place dans le cadre des condamnations, l'argument selon lequel il ne pourrait pas bénéficier d'un traitement médical adéquat pour traiter son trouble de la personnalité et sa dépendance à la cocaïne en Bosnie et Herzégovine ne peut être retenu.
Ainsi, aucune circonstance particulière ne permet de contre-balancer les actes qui sont reprochés au recourant et le risque que son maintien en Suisse représente pour l'ordre public. Dès lors, le grief doit être rejeté.
4. Les considérants qui précèdent conduisent au rejet du recours, dans la limite de sa recevabilité.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF) et n'a pas droit à des dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Département de l'intérieur, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 25 septembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon