Faits:
A. X._, ressortissant du Kosovo né en 1986, est entré en Suisse le 22 juillet 1999. Accompagné de sa mère et de ses frère et soeur, il y a rejoint son père et a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Une autorisation d'établissement lui a été délivrée le 8 août 2000.
Les parents de l'intéressé, ainsi que ses deux frère et soeur mineurs, nés dans notre pays, ont définitivement quitté la Suisse à destination de leur pays d'origine en date du 28 février 2005.
B. Après avoir occupé la justice pénale des mineurs, en 2002 et 2003, essentiellement pour vol d'usage d'un motocycle léger, X._ a été condamné par le Tribunal pénal de l'arrondissement de la Gruyère, le 19 janvier 2006, à une peine ferme de seize mois d'emprisonnement, pour vol, vol par métier et en bande, dommages à la propriété, violation de domicile, recel, actes d'ordre sexuel avec une enfant, désagréments causés par la confrontation à un acte d'ordre sexuel, contravention à la loi fédérale sur les stupéfiants (ci-après: LStup), contravention à la loi fédérale sur les transports publics, utilisation d'un cycle ou d'un vélomoteur sans droit et contravention au code de procédure pénale fribourgeois pour insoumission. Une mesure d'expulsion d'une durée de quatre ans a également été prononcée à son encontre.
Le 13 décembre 2006, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal de la population) a notifié à X._ une décision formelle de menace d'expulsion administrative.
Par jugement du 9 juin 2008, le Tribunal pénal de l'arrondissement de la Gruyère a condamné X._ à une peine privative de liberté d'ensemble de vingt mois, sans sursis, pour extorsion, chantage, vol, dommages à la propriété, violation de domicile, contravention à la LStup et contravention à la loi fédérale sur les transports publics. Sur appel interjeté par le Ministère public du canton de Fribourg, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a, par arrêt du 30 mars 2009, réformé le jugement du Tribunal pénal de l'arrondissement de la Gruyère du 9 juin 2008 en ce sens que X._ a été également reconnu coupable d'agression; la peine privative de liberté infligée a été portée à vingt-six mois.
Le 13 juillet 2009, le Service cantonal de la population a informé l'intéressé de son intention de révoquer son autorisation d'établissement.
Entendu le 23 janvier 2010 dans le cadre d'une enquête pénale pour infraction à la LStup, X._ a reconnu avoir acheté en novembre 2009 de la cocaïne pour une somme d'environ 500 fr. En outre, il ressort d'un rapport de police du 21 avril 2010 que l'intéressé était dénoncé comme prévenu d'infraction à la LStup à la suite de son interpellation du 31 mars 2010, qui avait révélé qu'il était en possession d'un sachet de seize grammes bruts de marijuana.
Par décision du 4 mars 2010, le Service cantonal de la population a révoqué l'autorisation d'établissement de X._. Il s'est notamment fondé sur les condamnations pénales prononcées à son encontre, le pronostic défavorable quant à son comportement futur et son absence de formation et de relations sociales importantes en Suisse. X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Fribourg.
C. Par arrêt du 18 novembre 2010, le Tribunal cantonal a rejeté le recours. A l'appui de son arrêt, il a retenu, en substance, que l'existence d'un motif de révocation de l'autorisation d'établissement de l'intéressé était manifestement établie au regard du jugement de la Cour d'appel du Tribunal cantonal fribourgeois du 30 mars 2009, que X._ présentait toujours un danger concret pour la sécurité et l'ordre publics, que ses relations avec ses frère et soeur domiciliés en Suisse et avec son amie n'apportaient aucune garantie de stabilité, qu'il ne pouvait pas se prévaloir de la protection conférée par l'art. 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101) et que sa réintégration au Kosovo serait favorisée par la présence de ses parents et de ses frère et soeur.
D. X._ forme un recours auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 18 novembre 2010 dont il requiert l'annulation. Il conclut, subsidiairement, au renvoi du dossier aux autorités cantonales pour nouvelle décision. L'intéressé conteste qu'il représente encore un danger pour l'ordre public suisse et que la peine prononcée à son encontre le 30 mars 2009 puisse être qualifiée de peine de longue durée. Invoquant une violation du principe de la proportionnalité, il fait valoir que les infractions commises en 2005 et 2007 s'expliquent par son jeune âge et la séparation d'avec ses parents et qu'il peut se prévaloir de la présomption d'innocence pour les infractions à la LStup qui lui sont reprochées pour les périodes de novembre 2009 et mars 2010.
Le Tribunal cantonal renvoie aux considérants de l'arrêt attaqué et conclut au rejet du recours. Le Service cantonal de la population se réfère à l'arrêt du Tribunal cantonal et l'Office fédéral des migrations propose le rejet du recours.
E. Le 28 avril 2001, Y._ s'est adressée spontanément au Tribunal fédéral pour exprimer ses sentiments à propos de la révocation de l'autorisation d'établissement de X._.

Considérant en droit:
1. Le recourant n'a pas indiqué par quelle voie de recours il entendait procéder au Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son mémoire peut être considéré comme un recours remplissant les conditions de la voie de droit qui lui est ouverte, celle du recours en matière de droit public en l'espèce (cf. <ref-ruling> consid. 1.2 p. 302).
2. 2.1 Titulaire d'une autorisation d'établissement qui, sans la révocation, déploierait toujours ses effets, le recourant a droit à cette autorisation, de sorte que son recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF (<ref-ruling> consid. 1.2.1 p. 4). La voie du recours en matière de droit public est donc en principe ouverte.
2.2 Dirigé contre un arrêt final (<ref-law>), rendu dans une cause de droit public (<ref-law>) par une autorité judiciaire cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), le recours a en outre été déposé dans le délai prévu par la loi (<ref-law>) et dans les formes prescrites (<ref-law>), par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>). Il convient donc d'entrer en matière.
2.3 L'écriture que l'amie du recourant a déposée après l'échéance du droit de recours, sans y avoir été invitée, est irrecevable (<ref-law>).
3. 3.1 Selon l'art. 63 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), les autorisations d'établissement peuvent être révoquées, notamment si les conditions visées à l'art. 62 let. b LEtr sont remplies, soit si l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP. Examinant la genèse de l'art. 62 let. b LEtr, le Tribunal fédéral a jugé qu'une peine privative de liberté était de longue durée lorsqu'elle dépassait un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss) et qu'il était contraire à la lettre de cette disposition de cumuler des peines privatives de liberté d'une année ou moins (arrêt 2C_415/2010 du 15 avril 2011, consid. 2, publication aux ATF prévue).
En l'espèce, il est établi que la condition de l'art. 62 let. b LEtr est réalisée et que l'autorisation d'établissement peut être révoquée, conformément à l'art. 63 al. 1 LEtr, dès lors que le recourant a été condamné à une peine ferme de privation de liberté de vingt-six mois le 30 mars 2009.
3.2 Encore faut-il examiner la proportionnalité de la mesure au vu de la situation personnelle du recourant, étant rappelé que le refus - ou la révocation - de l'autorisation ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître cette mesure comme proportionnée (arrêt 2C_273/2010 du 6 octobre 2010, publié in ZBl 112/2011 p. 96 ss, consid. 3.2 et les références citées). Lors de cet examen, il y a lieu de prendre en considération la gravité de la faute commise, le degré d'intégration, respectivement la durée du séjour effectué en Suisse, et le préjudice que l'intéressé et sa famille auraient à subir du fait de cette mesure (cf. art. 96 al. 1 LEtr; arrêts 2C_320/2010 du 13 septembre 2010 consid. 3.1 et 2C_739/2009 du 8 juin 2010 consid. 4.2.1). Quand le refus d'octroyer une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (cf. arrêt 2C_801/2010 du 8 mars 2011 consid. 4).
3.3 Le recourant invoque son jeune âge et la situation familiale difficile qu'il a vécue entre 2005 et 2007, période pendant laquelle il a commis les infractions ayant entraîné ses condamnations pénales. Il prétend que celles-ci l'ont amené à une prise de conscience salutaire et qu'il ne présente pas de risque de récidive.
3.3.1 Ces arguments ne sont pas convaincants. Les difficultés familiales alléguées ne sont pas établies. Elles ne ressortent pas du dossier du Service cantonal de la population et ne sont pas mentionnées par le Tribunal pénal de l'arrondissement de la Gruyère, que ce soit dans le jugement du 18 janvier 2006 ou celui du 9 juin 2008. Le recourant a été condamné par la Chambre pénale des mineurs les 5 juillet 2002 et 21 août 2003, pour des faits antérieurs à ces dates. Son activité délictueuse a donc débuté avant l'année 2005 et les difficultés familiales qu'il évoque. Cette activité s'est en outre poursuivie au-delà de sa majorité, les faits retenus à son endroit par le jugement du Tribunal pénal de l'arrondissement de la Gruyère du 9 juin 2008 s'étant déroulés durant la période comprise entre le 5 avril 2007 et le 13 février 2008, alors qu'il était âgé de plus de vingt ans. Au demeurant, la question du jeune âge du recourant a été examinée par le Tribunal pénal de l'arrondissement de la Gruyère dans son jugement du 18 janvier 2006. Les juges pénaux ont considéré, dans le cadre de la fixation de la peine, que le recourant ne pouvait pas se prévaloir de la circonstance atténuante prévue à l'art. 64 du Code pénal alors en vigueur relatif aux jeunes délinquants âgés de dix-huit à vingt ans ne possédant pas encore pleinement la faculté d'apprécier le caractère illicite de leurs actes. Ils ont retenu que le recourant était pleinement capable d'apprécier ce caractère et qu'il avait déclaré être conscient d'avoir adopté un comportement répréhensible.
3.3.2 Quant à la prise de conscience qu'il fait valoir, le recourant s'en est déjà prévalu à deux reprises, durant l'audience du Tribunal pénal de l'arrondissement de la Gruyère du 18 janvier 2006, lorsqu'il a fait part de ses regrets et de son intention de vouloir travailler pour rembourser tout ce qu'il avait volé et dans une lettre du 9 janvier 2007 dans laquelle il promettait au Service cantonal de la population de ne plus répéter les délits commis. Cette déclaration d'intention et cette promesse sont restées lettre morte et le recourant est retombé dans la délinquance, pour une longue période, dès le mois d'avril 2007. Les propos du recourant sont d'autant moins crédibles qu'il est à nouveau prévenu d'infraction à la LStup, pour des faits survenus en novembre 2009 et mars 2010. S'il est vrai qu'il n'a pas encore été jugé et qu'il bénéficie de la présomption d'innocence, il a néanmoins reconnu avoir acheté de la cocaïne et de la marijuana pour sa consommation, démontrant ainsi qu'il n'avait pas renoncé à ses habitudes ni quitté le milieu de la drogue. C'est également en vain que le recours fait référence à la libération conditionnelle obtenue le 20 juillet 2009 pour nier tout risque de récidive. En effet, il avait déjà été libéré conditionnellement, à l'occasion de sa première incarcération, ce qui ne l'avait pas empêché de commettre de nouveaux délits quelques mois plus tard. En outre, la menace d'expulsion prononcée à son encontre le 13 décembre 2006 ne l'a pas non plus incité à modifier son comportement et ne l'a pas détourné de la délinquance.
3.3.3 Pour le surplus, l'examen des critères applicables au respect du principe de proportionnalité, tel qu'il a été opéré par le Tribunal cantonal, ne prête pas le flanc à la critique: La durée du séjour en Suisse du recourant ne suffit pas, à elle seule, à contrebalancer son passé pénal. Les juges pénaux ont en effet retenu que le comportement du recourant était injustifiable et qu'il ne s'expliquait que par la cupidité et l'oisiveté. La culpabilité du recourant a été qualifiée de lourde. Le recourant n'a pas suivi de formation; son parcours professionnel a été chaotique et ponctué de longues périodes d'inactivité. Le recourant ne peut pas se prévaloir d'une intégration réussie; sa situation financière est obérée. Un retour dans son pays d'origine ne le priverait donc pas d'une situation enviable qu'il aurait pu construire en Suisse. On peut attendre du recourant, qui est célibataire, âgé de vingt-cinq ans et en bonne santé, qu'il retourne au Kosovo, où il a passé les treize premières années de sa vie et où vivent ses parents et certains de ses frères et soeurs.
3.4 Au vu de l'ensemble des circonstances, la révocation de l'autorisation d'établissement du recourant se justifie et n'apparaît pas comme une mesure disproportionnée. La juridiction cantonale n'a donc pas violé le droit fédéral, ni abusé de son pouvoir d'appréciation, en retenant que l'intérêt public à éloigner le recourant de Suisse l'emportait sur son intérêt privé à demeurer dans ce pays.
4. Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Service de la population et des migrants et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 6 juin 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Dubey