Faits:
A. X._, ressortissant marocain, né en 1968, est arrivé en Suisse au mois de décembre 1990. Le 10 mai 1991, il a épousé une ressortissante suisse, Y._, née en 1948, et a obtenu une autorisation de séjour pour regroupement familial, puis un permis d'établissement, le 31 mai 1996. La naturalisation facilitée lui a ensuite été accordée, par décision du 16 octobre 2003.
B. Le 2 août 2006, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord Vaudois a condamné X._ à dix ans de réclusion pour recel, contravention et infraction grave à la loi fédérale sur les stupéfiants et les substances psychotropes (LStup; RS 812.121). Le tribunal a notamment retenu que X._ s'était livré à un important trafic de cocaïne et d'héroïne de 1994 à novembre 2004, "mis en place avec ruse et détermination". Ce jugement a été confirmé, le 22 décembre 2006, par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud et par le Tribunal fédéral (arrêt 6P.67/2007 et 6S.138/2007 du 12 octobre 2007).
Par décision du 14 septembre 2007, l'Office fédéral des migrations a prononcé, avec l'assentiment des autorités compétentes du canton de Fribourg, l'annulation de la naturalisation facilitée accordée à X._. Cette décision a été confirmée par le Tribunal administratif fédéral, le 31 mars 2010, puis par le Tribunal fédéral (arrêt 1C_247/2010 du 23 juillet 2010).
C. Par décision du 1er avril 2011, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de X._ et a prononcé son renvoi de Suisse, dès qu'il aurait satisfait à la justice pénale vaudoise.
Saisi d'un recours de X._ contre cette décision,le Tribunal cantonal du canton de Fribourg, Ie Cour administrative, l'a rejeté, par arrêt du 20 septembre 2011.
D. Agissant par la voie du recours en matière de droit public, X._ conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 20 septembre 2011 et au maintien de son autorisation d'établissement.
Le Tribunal cantonal et le Service de la population ont été invités à produire le dossier cantonal sans échange d'écritures.

Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral, ni le droit international, ne donnent droit. Il est cependant recevable contre les décisions révoquant une autorisation d'établissement ou constatant qu'une autorisation de ce type est caduque, parce qu'il existe en principe un droit au renouvellement de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4).
1.2 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2. 2.1 Aux termes de l'art. 63 al. 2 de la loi fédérale sur les étrangers (LEtr; RS 142.20), l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que s'il attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 63 al. 1 let. b LEtr), ou encore s'il a été condamné à une peine privative de liberté de longue durée, soit à une peine dépassant un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 380 ss), ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP (cf. art. 62 let. b LEtr, auquel renvoie l'art. 63 al. 1 let. a LEtr; cf. arrêt précité consid. 2.1 in fine).
Il est en l'espèce constant qu'au vu de la condamnation du recourant à dix ans de réclusion pour recel, contravention et infraction grave à la LStup, soit à une peine privative de liberté de très longue durée (cf. <ref-ruling> consid. 3.3 p. 303), pour s'être livré à un trafic de drogue pendant une dizaine d'années, le recourant remplit sans aucun doute les conditions de l'art. 63 al. 2 LEtr pour que son autorisation d'établissement soit révoquée. Reste à déterminer si la révocation de cette autorisation se justifie sous l'angle de la proportionnalité (cf. arrêt 2C_265/2011 du 27 septembre 2011, consid. 6.1).
2.2 Exprimé de manière générale à l'art. 5 al. 2 Cst. et découlant également de l'art. 96 LEtr, ce principe exige que la mesure prise par l'autorité soit raisonnable et nécessaire pour atteindre le but d'intérêt public ou privé poursuivi (cf. <ref-ruling> consid. 3.2 p. 91 s.; <ref-ruling> consid. 4.2 p. 380). C'est au regard de toutes les circonstances de l'espèce qu'il convient de trancher la question de la proportionnalité de la mesure de révocation. Lors de cet examen, il y a lieu de prendre en considération la gravité de la faute commise, le degré d'intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (<ref-ruling> consid. 4.3 p. 381; <ref-ruling> consid. 2.1 p. 154; arrêts 2C_432/2011 du 13 octobre 2011 consid. 3.1, 2C_265/2011 du 27 septembre 2011 consid. 6.1.1).
2.3 Un étranger peut aussi se prévaloir de l'art. 8 CEDH qui garantit le respect de sa vie privée et familiale, pour s'opposer à une éventuelle séparation de sa famille. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse soit étroite et effective (<ref-ruling> consid. 1.3.1 p. 145; <ref-ruling> consid. 3.1 p. 285 et les arrêts cités). Comme pour l'art. 63 LEtr, l'art. 8 § 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité (<ref-ruling> consid. 4.3 p. 381).
2.4 La peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts (arrêts précités 2C_432/2011 du 13 octobre 2011 consid. 3.1 et 2C_265/2011 du 27 septembre 2011, consid. 6.1.1). A cet égard, les premiers juges ont relevé que le recourant avait agi sans scrupule et par appât du gain, le trafic de drogue qu'il avait organisé dès 1994 n'ayant cessé qu'en raison de son arrestation, en septembre 2004. Dans ces conditions, le fait que le recourant se soit bien comporté en prison ne suffit pas à exclure la dangerosité qu'il représente pour l'ordre public. D'une manière générale, il y a lieu en effet d'apprécier le risque de récidive de façon d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20 et les références citées) et le Tribunal fédéral se montre particulièrement strict, lorsqu'il s'agit, comme en l'espèce, d'infractions à la législation fédérale sur les stupéfiants pouvant porter atteinte à l'intégrité corporelle ou psychique d'une personne (<ref-ruling> consid. 3.3 p. 303). Il ressort aussi de l'arrêt entrepris que le recourant n'avait pas encore donné suite aux exigences de l'Office d'exécution des peines de se plier à des contrôles d'abstinence à l'alcool et aux stupéfiants et qu'il faisait l'objet d'une ultime sommation avant qu'une éventuelle procédure de révocation de la libération conditionnelle, effective depuis le 10 mai 2011, ne soit introduite.
La durée de présence en Suisse d'un étranger constitue un autre critère important, mais cette durée doit être relativisée dans le cas du recourant, du moment qu'il a commencé son activité délictueuse en 1994 déjà et qu'il a séjourné en prison de septembre 2004, à mai 2011. Sans formation professionnelle, ni véritable intégration sociale, ses liens avec la Suisse restent très ténus. Le recourant fait certes valoir que son épouse, handicapée et au bénéfice d'une rente d'invalidité, a besoin de lui, mais celle-ci a dû s'organiser pour vivre seule dès 2004, lorsque son mari a été appréhendé. Le recourant ne démontre d'ailleurs nullement qu'elle serait dans un rapport de dépendance par rapport à lui, pas plus qu'il ne rend crédible le soutien réel qu'il serait en mesure de lui apporter. Le Tribunal cantonal a donc retenu à juste titre que la durée du séjour du recourant et la relation personnelle entre les époux n'étaient pas de nature à prévaloir sur l'intérêt public à son éloignement de Suisse. Quant aux difficultés de réintégration du recourant dans son pays d'origine, elles ne sont pas suffisantes pour quelqu'un qui a vécu au Maroc jusqu'à l'âge de vingt-deux ans et en a donc conservé la culture.
2.5 Dans ces circonstances, l'intérêt public à éloigner le recourant l'emporte sur l'intérêt privé de celui-ci et de son épouse à pouvoir vivre ensemble. Le Tribunal cantonal n'a donc pas violé l'art. 8 CEDH, ni le principe de proportionnalité (art. 5 al. 2 Cst.), en procédant à la pesée des intérêts en présence.
3. Au vu de ce qui précède, le recours doit être rejeté.
Succombant, le recourant doit supporter les frais judiciaires, qui seront fixés en tenant compte de sa situation financière (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrants du canton de Fribourg, à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg et à l'Office fédéral des migrations.
Lausanne, le 24 janvier 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat