Faits:
A. A.a Né en 1986 au Kosovo, X._ est arrivé en Suisse en 1988, afin d'y rejoindre ses parents. Il a été mis au bénéfice d'une autorisation d'établissement.
Le 29 octobre 2004, X._ a épousé au Kosovo une compatriote, A._, qui est arrivée en Suisse en 2005 au bénéfice d'une autorisation de séjour par regroupement familial. Le couple s'est installé chez les parents de X._ et a cohabité avec les quatre frères et soeurs de ce dernier. Le *** 2006, X._ et son épouse ont eu une fille, B._, qui a été mise au bénéfice d'une autorisation d'établissement.
A la fin de l'année 2007, X._ a quitté le domicile conjugal et s'est installé avec son amie, C._.
X._ n'a pas achevé de formation et n'a connu que des emplois précaires. Pendant ses périodes d'inactivité, il a bénéficié de prestations de l'aide sociale qui se sont élevées au total à 94'861,60 fr. de janvier 2004 à août 2010. Il a par ailleurs contracté des dettes de l'ordre de 40'000 fr. en jouant et faisant la fête.
A.b Sur le plan pénal, X._ aurait, selon ses déclarations, été condamné, en tant que mineur, pour racket. Puis, entre juin 2005 et décembre 2007, il s'est vu infliger de trois amendes allant de 190 à 920 fr. pour violation des règles de la circulation routière.
Le 9 octobre 2009, le Tribunal correctionnel d'arrondissement de la Côte (ci-après: le Tribunal correctionnel) a prononcé à l'encontre de X._ une condamnation à quatre ans de peine privative de liberté pour lésions corporelles graves, simples et simples qualifiées, voies de fait qualifiées, agression, utilisation frauduleuse d'un ordinateur, recel, injure et tentative de contrainte. Il était reproché à X._, d'avoir contribué, avec son père et son frère à instaurer un climat de peur dans la famille, frappant régulièrement ses soeurs. Par ailleurs, il avait agressé gratuitement, verbalement et physiquement, une dizaine de tiers entre janvier 2007 et août 2008. Alors qu'il vivait " à moitié " avec C._, il avait retiré frauduleusement une somme de 4'800 fr. au moyen de deux cartes bancaires volées par cette dernière. Vu la gravité des faits, la lourde peine prononcée a été jugée incompatible avec un sursis, même partiel. Cette condamnation a été confirmée le 8 janvier 2010 par la Cour de cassation pénale du Tribunal cantonal vaudois.
Dans le cadre de cette procédure pénale, X._ a été soumis à une expertise psychiatrique. Dans ses conclusions de 2008, l'expert a notamment retenu que l'intéressé semblait incapable de s'adapter aux normes sociales de notre pays, bien qu'il soit arrivé en Suisse très jeune; il a relevé qu'il présentait une personnalité dyssociale, dont le traitement était extrêmement difficile voire impossible, les patients, souvent charmants, se montrant très manipulateurs; l'expert a qualifié le risque de récidive de grand.
Le 9 avril 2010, le Tribunal correctionnel a condamné X._ à douze mois de privation de liberté pour brigandage, violence et menaces sur les autorités et fonctionnaires, lésions corporelles simples et injure, pour des actes commis de mai 2008 à mai 2009. Il a été retenu que X._, s'il n'évoluait pas, demeurerait un danger public qui ne connaît que la violence gratuite. Selon cet arrêt, il faudrait encore bien quelque temps à X._ pour évoluer et penser peut-être à mieux faire.
Le recourant a eu un comportement en détention qualifié de " tout à fait adéquat ". Depuis le 3 décembre 2010, l'Office d'exécution des peines a autorisé X._ à poursuivre l'exécution de ses peines sous le régime de travail externe, puis, depuis le 9 août 2011, sous le régime de travail et de logement externes.
B. Le 2 septembre 2010, le Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement de X._ et lui a imparti un délai pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise.
Par arrêt du 9 décembre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours de l'intéressé à l'encontre de la décision du 2 septembre 2010.
C. A l'encontre de l'arrêt du 9 décembre 2011, X._ forme un recours en matière de droit public auprès du Tribunal fédéral en concluant à l'admission du recours, à l'annulation de l'arrêt attaqué et, principalement, au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, subsidiairement à sa réforme en ce sens que son permis d'établissement est maintenu et qu'il n'est pas astreint à quitter le territoire suisse.
Par ordonnance présidentielle du 20 janvier 2012, le Tribunal fédéral a admis la demande d'effet suspensif présentée par X._.
Le Département cantonal, le Service de la population du canton de Vaud et le Tribunal cantonal ont renoncé à se déterminer, ce dernier se référant aux considérants de l'arrêt attaqué. L'Office fédéral des migrations propose le rejet du recours, en renvoyant aux décisions cantonales.
Considérant en droit:
1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant une autorisation d'établissement, car il existe en principe un droit au maintien de cette autorisation (ATF 135 II 1 consid. 1.2.1 p. 4).
Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF, le présent recours en matière de droit public est en principe recevable.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (art. 106 al. 2 LTF). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire (cf. ATF 134 I 263 consid. 3.1 p. 265 s.; 134 II 124 consid. 4.1 p. 133). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF; cf. aussi art. 97 al. 1 LTF).
3. Le recourant invoque en premier lieu une violation de son droit d'être entendu (art. 29 al. 2 Cst.), reprochant aux juges cantonaux de ne pas avoir donné suite à des mesures d'instruction et d'avoir constaté les faits d'une manière inexacte et incomplète contraire à l'art. 9 Cst.
3.1 La jurisprudence a déduit de l'art. 29 al. 2 Cst., notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (ATF 132 V 368 consid. 3.1 p. 370). Le droit d'être entendu ne s'oppose cependant pas à ce que l'autorité mette un terme à l'instruction lorsque les preuves administrées lui permettent de se forger une conviction et que, procédant d'une façon non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient plus l'amener à modifier son opinion (ATF 136 I 229 consid. 5.3 p. 136; 134 I 140 consid. 5.3 p. 148).
L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
3.2 Le recourant reproche au Tribunal cantonal de n'avoir pas donné suite à ses requêtes tendant à la production d'un rapport actualisé de son comportement en détention, à l'établissement de son risque actuel de récidive et à l'audition de son épouse.
3.2.1 Contrairement à ce que soutient le recourant, l'arrêt attaqué mentionne que le Service pénitentiaire, dans un courrier du 24 novembre 2010, a souligné que son comportement général en détention était " tout à fait adéquat ", ce qui a permis à l'intéressé de bénéficier d'un régime de travail externe, associé, depuis le 9 août 2011, à un régime de logement externe. Partant, le recourant n'étant plus détenu, on ne voit pas en quoi un rapport actualisé de son comportement en détention serait pertinent. Par ailleurs, le régime d'exécution de peine avec travail et logement externes est un élément qui a été pris en compte en faveur du recourant.
3.2.2 En ce qui concerne le risque de récidive, les juges cantonaux ont retenu que celui-ci ne saurait être exclu, tout en soulignant qu'il ne constituait qu'un facteur à prendre en considération dans la pesée des intérêts en présence. Or, tant l'expert judiciaire qui s'est prononcé en 2008, que les juges pénaux dans leurs décisions d'octobre 2009 et avril 2010 ont tous retenu un risque de récidive, le qualifiant tantôt de grand, tantôt de patent, relevant en outre que le recourant ne se conformait à aucune norme sociale et que, s'il n'évoluait pas, il demeurerait un danger public. En pareilles circonstances, on ne voit pas que l'arrêt attaqué retienne de manière insoutenable l'existence d'un risque de récidive. Quant à procéder à des mesures d'instruction pour actualiser ce risque, les juges pouvaient sans arbitraire y renoncer, puisque la dernière évaluation date de 2010 et qu'ils ont surtout relativisé l'importance de ce facteur lorsqu'ils ont procédé à la pesée des intérêts en présence.
Toujours en relation avec le risque de récidive, le recourant reproche aussi aux premiers juges de ne pas avoir tenu compte du traitement psychiatrique qu'il aurait entrepris et du rapport produit en procédure cantonale, qui fait état d'une remise en question relative à son histoire de vie et à son rôle de mari et père. Ce faisant, il semble lui avoir échappé que l'arrêt attaqué fait état d'un suivi psychiatrique attestant d'une prise de conscience du recourant. C'est toutefois sans arbitraire que les juges ont tempéré cet élément en se fondant sur l'expertise psychiatrique, qui définit le recourant comme " extrêmement manipulateur ", ainsi que sur le jugement de la Cour de cassation pénale, qui a relevé le peu de repentir que celui-ci avait manifesté des actes commis, sa propension à minimiser ses agressions voire à les contester et le fait qu'il avait dû subir 443 jours de détention avant de présenter des excuses à ses victimes.
3.2.3 Enfin, le Tribunal cantonal a raisonné en admettant que des liens étroits liaient le recourant à son épouse et à sa fille. Le fait qu'il ait par ailleurs émis des doutes sur l'effectivité de ces liens n'est donc pas de nature à modifier le résultat de l'arrêt attaqué. Partant, en ne procédant pas à l'audition de l'épouse, les juges n'ont violé ni l'art. 9, ni 29 al. 2 Cst.
3.3 Le recourant considère que son degré d'intégration en Suisse a été établi de façon manifestement inexacte, dès lors qu'actuellement il dispose d'un travail stable, qu'il s'est bien comporté en détention et qu'il aurait produit des pièces le décrivant comme quelqu'un de poli, courtois et parfaitement intégré. Ce faisant, il perd de vue qu'il ne suffit pas, pour établir l'arbitraire, de présenter sa propre appréciation et quelques déclarations favorables, mais qu'il faut parvenir à démontrer que la position de l'autorité cantonale est insoutenable. Tel n'est manifestement pas le cas. En effet, en présence d'une personne qui, hormis son comportement pénal, n'a pas achevé de formation, n'a exercé que des emplois précaires, entrecoupés de périodes d'inactivité, a bénéficié de l'aide sociale à raison de plus de 94'000 fr. et a des dettes pour 40'000 fr., il n'est à l'évidence pas arbitraire de considérer, à l'instar de la Cour cantonale, qu'un tel individu ne présente pas un haut degré d'intégration en Suisse. Son comportement en détention est certes positif, mais ne signifie pas une intégration réussie dans la société.
3.4 Enfin, le recourant se plaint d'une appréciation erronée des faits en relation avec les conséquences d'un retour au Kosovo. Selon l'arrêt attaqué, l'intéressé semble parler et écrire la langue de ce pays, de sorte que son intégration au marché du travail n'apparaît pas irrémédiablement compromise. En outre, ne disposant pas de formation professionnelle achevée en Suisse, son renvoi ne le priverait pas d'un niveau de vie supérieur à celui qu'il pouvait acquérir en Suisse. Le recourant ne conteste pas ces constatations, mais reproche seulement aux juges de n'avoir pas suffisamment tenu compte des difficultés en cas de retour dans son pays. Ce point ne relève pas de l'arbitraire dans l'établissement des faits, mais de la pesée des intérêts qui sera examinée ci-après.
4. Sur le fond, le recourant invoque une violation de l'art. 8 CEDH et 62 ss LEtr, considérant que l'arrêt attaqué viole la proportionnalité.
4.1 Une autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que si l'étranger attente de manière très grave à la sécurité en Suisse, la met en danger, ou si l'étranger a été condamné à une peine privative de liberté de longue durée (art. 63 al. 2 LEtr, en relation avec les art. 63 al. 1 let. b et 62 let. b LEtr). Une peine privative de liberté est considérée de longue durée au sens de l'art. 62 let. b LEtr lorsqu'elle atteint une durée supérieure à un an (ATF 137 II 297 consid. 2.3.6 p. 302; 135 II 377 consid. 4.2 p. 379). Attente de manière très grave à l'ordre public ou le met en danger l'étranger dont les actes lèsent ou compromettent des biens juridiques particulièrement importants, tels que l'intégrité corporelle, physique ou sexuelle (ATF 137 II 297 consid. 3.3 p. 303).
En l'espèce, le recourant a été condamné à des peines privatives de liberté de quatre ans en 2009, puis d'un an en 2010. Celles-ci réprimaient notamment des actes de violence grave, en particulier des agressions physiques sur des membres de sa famille proche et des tiers de manière gratuite. Par conséquent, le recourant remplit à l'évidence les deux cas de figure permettant de révoquer son autorisation d'établissement au sens de l'art. 63 al. 2 LEtr.
4.2 La révocation de l'autorisation d'établissement ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée (cf. art. 96 LEtr; arrêt 2C_655/2011 du 7 février 2012 consid. 10.1). Dans le cadre de cette pesée d'intérêts, il y a notamment lieu de prendre en compte la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi de l'intéressé. L'autorisation d'établissement d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue. En cas d'activité pénale grave ou répétée, une telle révocation n'est toutefois pas exclue, même si l'étranger est né en Suisse ou y a passé presque toute son existence (arrêt 2C_839/2011 du 28 février 2012 consid. 2.3; arrêt 2C_562/2011 du 21 novembre 2011 consid. 3.3). En présence d'infractions pénales graves et de récidive, respectivement lors de délinquance persistante, il existe en général un intérêt public important à mettre un terme à la présence de l'étranger en Suisse dans la mesure où ce type de comportement porte atteinte à la sécurité et à l'ordre publics (arrêts 2C_980/2011 du 22 mars 2012 consid. 3.4; 2C_839/2011 du 28 février 2012 consid. 2.3; consid. 3.1 non publié de l'ATF 137 II 233 consid. 3.1).
4.3 La question de savoir si le recourant peut aussi se prévaloir de l'art. 8 CEDH est indécise, car le Tribunal cantonal a laissé ouverte la question de l'effectivité des relations du recourant avec son épouse et sa fille, condition indispensable pour bénéficier de la protection offerte par l'art. 8 par. 1 CEDH (ATF 129 II 193 consid. 5.3 p. 211).
Ce point n'a pas à être examiné plus avant. Dès lors qu'une ingérence dans l'exercice du droit au respect de la vie privée et familiale est néanmoins possible selon l'art. 8 par. 2 CEDH et que la pesée globale des intérêts commandée par cette disposition est analogue à celle requise par l'art. 96 al. 1 LEtr (cf. ATF 135 I 143 consid. 2.1 p. 147; arrêt 2C_655/2011 du 7 février 2012 consid. 10.2), savoir si le recourant peut ou non se prévaloir de l'art. 8 CEDH est en l'espèce sans incidence sur l'examen de la proportionnalité de la mesure.
4.4 La décision querellée, aux considérants de laquelle il peut être renvoyé, est conforme à la pratique du Tribunal fédéral. L'instance précédente a procédé à une pesée des intérêts en présence qui n'est pas critiquable au regard des art. 96 al. 1 LEtr et 8 par. 2 CEDH.
Au vu de la gravité des faits reprochés au recourant et de sa persistance à ne pas respecter l'ordre juridique suisse, le maintien du droit de demeurer en Suisse ne pouvait se justifier qu'en présence de circonstances tout à fait particulières, qui font manifestement défaut en l'espèce. En effet, le recourant a certes sa famille proche en Suisse, mais il a commis des actes graves à son encontre. Même si l'on admet que la communauté conjugale avec son épouse n'est pas rompue, ce seul élément n'est pas déterminant pour lui permettre de résider en Suisse, dès lors que son épouse, également ressortissante du Kosovo, est arrivée en Suisse en 2005. Quant à sa fille née en 2006, elle est en âge de s'adapter facilement si l'épouse décide de retourner avec le recourant dans leur pays d'origine commun. Comme l'a retenu sans arbitraire l'autorité cantonale, le recourant, qui n'a pas de formation, qui a dépendu de l'aide sociale pendant des années et a contracté des dettes pour se divertir, ne possède à l'évidence pas un haut degré d'intégration en Suisse (cf. supra consid. 3.3). Si son retour au Kosovo ne sera pas facile, dès lors que le recourant vit en Suisse depuis sa petite enfance, il n'apparaît toutefois pas qu'il doive quitter un pays où il possède une situation stable pour se rendre dans un lieu où une intégration paraît d'emblée compromise. Certes, le recourant s'est bien comporté en prison et a bénéficié d'un régime de travail et de séjour externes; il a en outre entrepris une thérapie l'amenant à réfléchir à son comportement. Ces éléments positifs ne constituent cependant pas des circonstances particulières de nature à contre-balancer les actes graves de violence gratuite qui lui sont reprochés et le risque que son maintien en Suisse représente pour l'ordre public.
Le recourant ne démontre d'ailleurs aucun élément déterminant qui aurait échappé aux autorités dans la pesée des intérêts. Celui-ci se contente de présenter de manière appellatoire sa propre appréciation de son comportement et fonde son raisonnement sur sa très grande intégration en Suisse, qui ne saurait être retenue au vu des faits constatés dans l'arrêt attaqué.
En pareilles circonstances, le recours ne peut qu'être rejeté.
5. Au vu de l'issue du recours, les frais seront mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de l'Intérieur, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 23 juillet 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat