Faits:
A. X._, ressortissant turc, né en 1979, est arrivé en Suisse en juillet 1993, dans le cadre d'un regroupement familial. Il a bénéficié d'une autorisation de séjour, puis d'une autorisation d'établissement dès le 24 novembre 2005.
Le 6 septembre 1999, il a épousé une compatriote en Turquie, laquelle l'a rejoint en Suisse, dans le canton de Fribourg, le 6 mai 2000. Trois enfants sont issus de cette union: A._, né le *** 2001, B._, né le *** 2003 et C._, né le *** 2005.
Dans le courant du mois d'août 2005, l'épouse et les trois enfants ont été placés d'urgence dans un foyer, suite aux violences conjugales de X._. Le 1er septembre 2005, le Tribunal d'arrondissement du Lac a prononcé la séparation des époux pour une durée indéterminée.
Le 19 septembre 2006, X._ a été condamné à quinze jours d'emprisonnement, avec sursis pendant deux ans, pour lésions corporelles et voies de fait.
En raison de cette condamnation et de la dépendance régulière de X._ à l'aide sociale, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal de la population), l'a menacé d'expulsion.
Le 13 décembre 2006, X._ a annoncé audit Service qu'il avait l'intention de quitter définitivement la Suisse avec sa famille, au mois de juin 2007.
Le 12 mars 2007, il a été placé en détention, à la suite d'une enquête pénale dont il faisait l'objet.
Par jugement du Tribunal pénal de l'arrondissement de la Sarine du 10 septembre 2007, X._ a été condamné à une peine privative de liberté de quarante-huit mois, sans sursis, et à une amende de 200 fr., pour lésions corporelles simples, vol, brigandage, brigandage muni d'une arme, dommages à la propriété, complicité d'escroquerie, extorsion et chantage par métier, menaces, délit contre la loi fédérale sur les armes et contravention à la loi fédérale sur les stupéfiants.
Le 14 octobre 2007, X._ a informé le Service cantonal de la population qu'il souhaitait demeurer en Suisse auprès de ses enfants qui ne voulaient pas aller en Turquie.
B. Par décision du 17 septembre 2008, le Service cantonal de la population a révoqué l'autorisation d'établissement de X._ et prononcé son renvoi dès qu'il aurait satisfait aux besoins de la justice en Suisse.
X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Fribourg.
Libéré à fin avril 2010, il a repris la vie commune avec son épouse et ses enfants. Le Service cantonal de la population a averti l'épouse de son intention de révoquer son autorisation de séjour et les autorisations d'établissement des enfants. La procédure en vue de la révocation de ces autorisations est actuellement toujours pendante.
Le 26 mai 2010, X._ a à nouveau fait l'objet d'une dénonciation pénale pour menace de mort et injure à caractère raciste à l'encontre d'un tenancier d'établissement public de la Ville de Fribourg.
Par arrêt du 31 août 2010, le Tribunal cantonal a rejeté le recours déposé par X._. Il a retenu en bref que la durée de son séjour en Suisse était sans incidence face à son manque d'intégration, tant sociale que professionnelle, et que, déjà menacé d'expulsion en 2003 en raison de sa situation financière obérée et de la commission répétée d'actes répréhensibles, il avait poursuivi dans la délinquance. Du point de vue de l'art. 8 CEDH, la juridiction cantonale a considéré que l'intérêt public à l'éloignement du recourant de Suisse prévalait sur son intérêt privé et celui de sa famille à demeurer dans ce pays.
C. X._ forme un recours en matière de droit public en langue allemande contre l'arrêt du Tribunal cantonal du 31 août 2010 et conclut à son annulation, sous suite de frais et dépens. Il demande également l'octroi de l'effet suspensif à son recours et présente une demande d'assistance judiciaire complète.
Le Service cantonal de la population se réfère aux considérants de l'arrêt attaqué. Le Tribunal cantonal et l'Office fédéral des migrations ont présenté des conclusions tardivement.
D. Par ordonnance présidentielle du 21 octobre 2010, l'effet suspensif a été attribué au recours.

Considérant en droit:
1. Le recourant a procédé en langue allemande (<ref-law>). Il n'y a cependant aucun motif de s'écarter en l'espèce de la règle générale de l'<ref-law>, selon laquelle la procédure est conduite dans la langue de la décision attaquée. La procédure ne démontre du reste aucune nécessité d'ordonner une traduction (<ref-law>).
2. Le Tribunal fédéral examine d'office sa compétence et la recevabilité des recours qui lui sont soumis (cf. <ref-law>; <ref-ruling> consid. 1 p. 472).
2.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, le litige porte sur la révocation de l'autorisation d'établissement du recourant qui, sans cela, déploierait encore ses effets. Le recours est donc recevable au regard de l'art. 83 let. c ch. 2 LTF (cf. <ref-ruling> consid. 1.2.1 p. 4).
Il est également recevable en vertu de l'art. 8 § 1 CEDH, qui garantit le respect de la vie privée et familiale. Le recourant a en effet repris la vie commune avec sa femme et ses enfants, titulaires, pour l'instant en tout cas, de titres de séjour durable en Suisse, la procédure en vue de leur révocation étant encore pendante. Il peut donc se prévaloir de cette disposition, qui suppose une relation étroite et effective au sens de la jurisprudence (<ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211).
2.2 Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il y a lieu dès lors d'entrer en matière sur le recours.
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il est lié par les constatations de fait de l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Le recourant qui entend s'écarter des faits retenus par l'autorité précédente (cf. <ref-law>), doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 6.2 p. 288). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de nature appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 1.4.3 p. 254 ss).
Bien que le recourant se plaigne de constatations inexactes de faits pertinents, il s'en prend en réalité non pas tant à l'établissement des faits qu'à leur appréciation juridique. Il s'agit donc là d'une question que le Tribunal fédéral revoit librement.
4. 4.1 Selon l'art. 63 al. 1 de la loi fédérale sur les étrangers (LEtr; RS 142.20), les autorisations d'établissement peuvent être révoquées, notamment si les conditions visées à l'art. 62 let. b LEtr sont remplies, soit si l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP. Examinant la genèse de l'art. 62 let. b LEt dans son arrêt du 25 septembre 2009 publié aux <ref-ruling> ss, le Tribunal fédéral a jugé qu'une peine privative de liberté était de longue durée lorsqu'elle dépassait un an d'emprisonnement (arrêt précité consid. 4.2 p. 379 ss).
En l'espèce, il n'est pas contesté que la condition de l'art. 62 let. b LEtr est réalisée et que l'autorisation d'établissement peut être révoquée, conformément à l'art. 63 al. 1 LEtr, dès lors que le recourant a été condamné le 10 septembre 2007 à une peine ferme de quarante-huit mois d'emprisonnement pour une accumulation de délits, dont plusieurs étaient d'une gravité certaine.
4.2 Encore faut-il examiner la proportionnalité de la mesure au vu de la situation personnelle du recourant, étant rappelé que le refus - ou la révocation - de l'autorisation ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître cette mesure comme proportionnée (arrêt 2C_273/2010 du 6 octobre 2010, publié in ZBl 112/2011 p. 96 ss, consid. 3.2 et les références citées). Lors de cet examen, il y a lieu de prendre en considération la gravité de la faute commise, le degré d'intégration, respectivement la durée du séjour effectué en Suisse, et le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (cf. art. 96 al. 1 LEtr; arrêts 2C_ 320/210 du 13 septembre 2010 consid. 3.1 et 2C_739/2009 du 8 juin 2010 consid. 4.2.1). Quand le refus d'octroyer une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (cf. arrêt 2C_464/2009 du du 21 octobre 2009 consid. 5).
Cette pesée des intérêts en présence, qui prend en compte toutes les circonstances particulières (cf. art. 96 LEtr), doit également être opérée dans le cadre de l'art. 8 § 2 CEDH, afin d'examiner si l'ingérence dans l'exercice au droit au respect de la vie privée et familiale garanti par l'art. 8 § 1 CEDH se justifie (cf. <ref-ruling> consid. 4.3 p. 381; <ref-ruling> consid. 2.1 p. 147, 153 consid. 2.1 et 2.2 p. 154 ss).
4.3 En présence d'une peine d'au moins deux ans de détention, la jurisprudence admet que l'intérêt public à l'éloignement l'emporte généralement sur l'intérêt privé à pouvoir rester en Suisse (cf. <ref-ruling> consid. 4.3 et 4.4 p. 381 ss; <ref-ruling> consid. 4.1 p. 185). Par ailleurs, en sa qualité de ressortissant turc arrivé en Suisse à l'âge de quatorze ans, le recourant ne peut être considéré aussi favorablement qu'un étranger né en Suisse (ATF <ref-ruling> consid. 4.4.2 p. 190 et les arrêts cités). La durée de son séjour en Suisse ne suffit donc pas, à elle seule, à contrebalancer son passé pénal, dont la gravité ne saurait être niée, en raison de l'accumulation des délits qui lui ont été reprochés .
Le recourant prétend certes qu'il a pris conscience de son comportement durant sa détention et qu'il est prêt à s'amender. Il a pourtant fait l'objet d'une dénonciation peu après sa libération conditionnelle, en mai 2010, pour menace de mort et injure, de sorte que l'on peut sérieusement douter qu'il ait mis un terme définitif à son comportement violent, du moins vis-à-vis des personnes étrangères à sa famille. Le dossier ne contient en effet aucun renseignement au sujet de l'épouse depuis la reprise de la vie commune, de sorte que l'on doit partir du principe que le recourant a cessé toute violence à son encontre. En plus de sa lourde condamnation pénale, il faut souligner que le recourant ne jouit d'aucune intégration sociale et professionnelle en Suisse, bien qu'il y soit arrivé à l'âge de quatorze ans et qu'il ait effectué un apprentissage de boucher. Il a ainsi arrêté de travailler dès 2003 pour se livrer à des activités délictueuses. Le recourant allègue que, depuis le 10 juin 2010, il travaillerait comme charpentier dans le cadre de l'agence d'emploi temporaire D._ SA, à E._. Il s'agit d'un fait nouveau irrecevable (<ref-law>). Au demeurant même si l'on en tenait compte, cela ne modifierait pas l'appréciation du Tribunal cantonal selon laquelle, bien qu'il soit arrivé en Suisse à l'âge de 14 ans, il n'a pas réussi à s'intégrer durablement sur le marché du travail. En outre, la situation financière du recourant est catastrophique, ayant accumulé des dettes privées pour près de 100'000 fr. auxquelles s'ajoutent des dettes sociales. Le comportement du recourant, envisagé dans son ensemble, et son faible degré d'intégration ne permettent donc pas d'affirmer qu'il ait la volonté et la capacité de s'adapter à l'ordre établi en Suisse (sur ce point, cf. arrêt précité 2C_273/2010, consid. 3.2).
A cela s'ajoute que, vers la fin de l'année 2006, le recourant a été menacé d'expulsion à la suite d'une première condamnation à quinze jours d'emprisonnement avec sursis, pour lésions corporelles et voies de fait, et parce qu'il dépendait régulièrement de l'aide sociale. Il avait alors annoncé son départ en Turquie avec sa femme et ses enfants, mais s'était ravisé moins d'une année après, car ces derniers ne voulaient plus quitter la Suisse. Il semble donc qu'il y a un peu plus de quatre ans, avant l'arrestation du recourant en mars 2007, la perspective d'un retour en Turquie était envisageable par la famille. On ne voit donc pas en quoi la situation se serait aujourd'hui modifiée au point de rendre un éventuel retour en Turquie impossible, car les trois enfants, âgés actuellement de moins de dix ans, sont encore susceptibles de s'adapter dans leur pays d'origine, de même que l'épouse, de nationalité turque. De toute façon, dans l'hypothèse où la famille refuserait de retourner en Turquie avec le recourant et aurait toujours le droit de vivre en Suisse, le recourant pourrait venir les trouver, car le nouveau droit permet de voyager en Suisse malgré la révocation d'une autorisation de séjour ou d'établissement (cf. arrêt 2C_832/2009 du 29 juin 2010, consid. 5).
4.4 Au vu de l'ensemble des circonstances, la révocation de l'autorisation d'établissement du recourant se justifie et n'apparaît pas comme une mesure disproportionnée. La juridiction cantonale n'a donc pas violé le droit fédéral, ni abusé de son pouvoir d'appréciation, en retenant que l'intérêt public à éloigner le recourant de Suisse l'emportait manifestement sur l'intérêt privé du recourant et celui de sa famille à demeurer dans ce pays.
5. Compte tenu de ce qui précède, le recours en matière de droit public doit être rejeté.
Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>). Son recours se révélant d'emblée dénué de chances de succès, il ne saurait bénéficier de l'assistance judiciaire (cf. <ref-law>). Les frais seront toutefois fixés en tenant compte de sa situation financière (cf. <ref-law>). Il n'est pas alloué de dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrants et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 8 mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat