Faits: A. X._, ressortissant du Kosovo né en 1986, est entré en Suisse le 22 juillet 1999. Accompagné de sa mère et de ses frère et soeur, il y a rejoint son père et a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Une autorisation d'établissement lui a été délivrée le 8 août 2000. Les parents de l'intéressé, ainsi que ses deux frère et soeur mineurs, nés dans notre pays, ont définitivement quitté la Suisse à destination de leur pays d'origine en date du 28 février 2005. B. Après avoir occupé la justice pénale des mineurs, en 2002 et 2003, essentiellement pour vol d'usage d'un motocycle léger, X._ a été condamné par le Tribunal pénal de l'arrondissement de la Gruyère, le 19 janvier 2006, à une peine ferme de seize mois d'emprisonnement, pour vol, vol par métier et en bande, dommages à la propriété, violation de domicile, recel, actes d'ordre sexuel avec une enfant, désagréments causés par la confrontation à un acte d'ordre sexuel, contravention à la loi fédérale sur les stupéfiants (ci-après: LStup), contravention à la loi fédérale sur les transports publics, utilisation d'un cycle ou d'un vélomoteur sans droit et contravention au code de procédure pénale fribourgeois pour insoumission. Une mesure d'expulsion d'une durée de quatre ans a également été prononcée à son encontre. Le 13 décembre 2006, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal de la population) a notifié à X._ une décision formelle de menace d'expulsion administrative. Par jugement du 9 juin 2008, le Tribunal pénal de l'arrondissement de la Gruyère a condamné X._ à une peine privative de liberté d'ensemble de vingt mois, sans sursis, pour extorsion, chantage, vol, dommages à la propriété, violation de domicile, contravention à la LStup et contravention à la loi fédérale sur les transports publics. Sur appel interjeté par le Ministère public du canton de Fribourg, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a, par arrêt du 30 mars 2009, réformé le jugement du Tribunal pénal de l'arrondissement de la Gruyère du 9 juin 2008 en ce sens que X._ a été également reconnu coupable d'agression; la peine privative de liberté infligée a été portée à vingt-six mois. Le 13 juillet 2009, le Service cantonal de la population a informé l'intéressé de son intention de révoquer son autorisation d'établissement. Entendu le 23 janvier 2010 dans le cadre d'une enquête pénale pour infraction à la LStup, X._ a reconnu avoir acheté en novembre 2009 de la cocaïne pour une somme d'environ 500 fr. En outre, il ressort d'un rapport de police du 21 avril 2010 que l'intéressé était dénoncé comme prévenu d'infraction à la LStup à la suite de son interpellation du 31 mars 2010, qui avait révélé qu'il était en possession d'un sachet de seize grammes bruts de marijuana. Par décision du 4 mars 2010, le Service cantonal de la population a révoqué l'autorisation d'établissement de X._. Il s'est notamment fondé sur les condamnations pénales prononcées à son encontre, le pronostic défavorable quant à son comportement futur et son absence de formation et de relations sociales importantes en Suisse. X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Fribourg. C. Par arrêt du 18 novembre 2010, le Tribunal cantonal a rejeté le recours. A l'appui de son arrêt, il a retenu, en substance, que l'existence d'un motif de révocation de l'autorisation d'établissement de l'intéressé était manifestement établie au regard du jugement de la Cour d'appel du Tribunal cantonal fribourgeois du 30 mars 2009, que X._ présentait toujours un danger concret pour la sécurité et l'ordre publics, que ses relations avec ses frère et soeur domiciliés en Suisse et avec son amie n'apportaient aucune garantie de stabilité, qu'il ne pouvait pas se prévaloir de la protection conférée par l'art. 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101) et que sa réintégration au Kosovo serait favorisée par la présence de ses parents et de ses frère et soeur. D. X._ forme un recours auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 18 novembre 2010 dont il requiert l'annulation. Il conclut, subsidiairement, au renvoi du dossier aux autorités cantonales pour nouvelle décision. L'intéressé conteste qu'il représente encore un danger pour l'ordre public suisse et que la peine prononcée à son encontre le 30 mars 2009 puisse être qualifiée de peine de longue durée. Invoquant une violation du principe de la proportionnalité, il fait valoir que les infractions commises en 2005 et 2007 s'expliquent par son jeune âge et la séparation d'avec ses parents et qu'il peut se prévaloir de la présomption d'innocence pour les infractions à la LStup qui lui sont reprochées pour les périodes de novembre 2009 et mars 2010. Le Tribunal cantonal renvoie aux considérants de l'arrêt attaqué et conclut au rejet du recours. Le Service cantonal de la population se réfère à l'arrêt du Tribunal cantonal et l'Office fédéral des migrations propose le rejet du recours. E. Le 28 avril 2001, Y._ s'est adressée spontanément au Tribunal fédéral pour exprimer ses sentiments à propos de la révocation de l'autorisation d'établissement de X._.