Faits:
A. X._, son épouse Y._ et leurs enfants A._, né en 1987, B._, née en 1988, C._, né en 1992 et D._, né en 1998, ressortissants du Kosovo, sont entrés en Suisse le 26 janvier 1999 et y ont déposé une demande d'asile. Déboutés, ils ont quitté le territoire helvétique le 17 décembre 1999.
Par jugement du 20 mars 2006 du Tribunal régional de Prizren (Kosovo), le mariage des époux X._ a été dissous par le divorce. La garde des enfants a été attribuée au père.
Revenu illégalement en Suisse en 2001 pour y travailler, X._ a épousé, le 14 décembre 2007, E._, de nationalité suisse. Il a été mis au bénéfice d'une autorisation de séjour dans le canton de Fribourg au titre du regroupement familial dès le 27 mai 2008.
B. Le 27 juillet 2009, C._ et D._ ont déposé auprès de l'Ambassade de Suisse au Kosovo une demande d'entrée et de séjour en Suisse afin d'y rejoindre leur père.
Par décision du 20 décembre 2010, le Service de la population et des migrants du canton de Fribourg (ci-après le Service de la population) a rejeté les demandes présentées par les intéressés.
X._ a recouru au nom de ses fils contre cette décision auprès du Tribunal cantonal du canton de Fribourg (ci-après le Tribunal cantonal). Par arrêt du 9 juin 2011, ce dernier a rejeté le recours. Il a retenu, en substance, que la requête de regroupement familial déposée par C._ était tardive au sens de l'art. 47 LEtr (RS 142.20) et qu'en l'absence de relations familiales majeures, un regroupement familial différé ne pouvait pas être autorisé. En ce qui concerne la requête de D._, il a considéré que l'intérêt supérieur de cet enfant s'opposait à sa venue en Suisse.
C. Par acte du 8 juillet 2011, X._ a déposé un recours auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et de la décision du Service de la population du 20 décembre 2010 ainsi qu'à l'octroi d'une autorisation de séjour en faveur de ses deux fils.
Le Service de la population n'a pas formulé de remarques sur le recours et confirmé sa décision de refus d'autorisation. Le Tribunal cantonal s'est référé aux motifs de l'arrêt attaqué et a conclu au rejet du recours. L'Office fédéral des migrations propose le rejet du recours en se référant aux considérants des instances précédentes.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; cf. <ref-ruling> consid. 1 p. 472 et les arrêts cités).
1.1 Le recourant n'a pas indiqué par quelle voie de droit il agit devant le Tribunal fédéral. Cette imprécision ne saurait toutefois lui nuire si son recours remplit les conditions formelles de la voie de droit qui lui est ouverte (cf. <ref-ruling> consid. 3.1 p. 499).
1.2 Dans la mesure où il tend à l'annulation de la décision rendue le 20 décembre 2010 par le Service de la population, le recours est irrecevable, étant donné l'effet dévolutif du recours au Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 543). Seule la décision de dernière instance cantonale peut être attaquée devant le Tribunal fédéral (cf. art. 86 al. 1 let. d LTF).
1.3 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Aucun traité international n'étant applicable en l'espèce (cf. art. 2 LEtr; RS 142.20), le regroupement familial est régi par les art. 42 ss LEtr. En vertu du droit interne, lorsque la demande tend à ce qu'un enfant puisse vivre en Suisse avec l'un de ses parents seulement (regroupement familial partiel) et que celui-ci est (re)marié, le droit de l'enfant à séjourner en Suisse dépend du statut du parent concerné, indépendamment du statut ou de la nationalité du nouveau conjoint (cf. <ref-ruling> consid. 1.2 p. 286 s.). En l'occurrence, c'est donc la situation du recourant et non celle de son épouse, ressortissante suisse, qui est déterminante. Le recourant étant titulaire d'une autorisation de séjour depuis son mariage en décembre 2007, le regroupement familial doit être envisagé sous l'angle de l'art. 44 LEtr. Or, cette disposition ne confère pas un droit à une autorisation de séjour au sens de l'art. 83 let. c ch. 2 LTF, l'octroi d'une telle autorisation étant laissé à l'appréciation de l'autorité. Il s'ensuit que la voie du recours en matière de droit public n'est pas ouverte sur la base de cette disposition (cf. <ref-ruling> consid. 1.2 p. 286 s. et les arrêts cités).
1.4 Le recourant invoque implicitement l'art. 8 CEDH pour faire venir ses enfants en Suisse. Un étranger peut se prévaloir de la protection de la vie familiale découlant de l'art. 8 CEDH à condition qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (cf. <ref-ruling> consid. 1.3 p. 287 et les arrêts cités). Les relations familiales qui peuvent fonder, en vertu de l'art. 8 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (cf. <ref-ruling> consid. 1.3.2 p. 146). Un étranger majeur ne peut se prévaloir de cette disposition que s'il se trouve dans un état de dépendance particulier par rapport à des membres de sa famille résidant en Suisse en raison, par exemple, d'un handicap (physique ou mental) ou d'une maladie grave (<ref-ruling> consid. 2 p. 13 s. et la jurisprudence citée).
En tant qu'époux d'une citoyenne suisse, le recourant a en principe un droit au renouvellement de son autorisation de séjour en Suisse, pour autant qu'il fasse ménage commun avec son épouse (cf. art. 42 al. 1 LEtr) ou bénéficie d'une exception à cette exigence en vertu de l'art. 49 LEtr. L'arrêt attaqué ne retient pas que le recourant ne vivrait pas avec son épouse. Il a ainsi le droit de résider durablement en Suisse. Un droit au regroupement familial peut dès lors a priori découler de l'art. 8 CEDH en ce qui concerne son enfant mineur D._. Le recours en matière de droit public est par conséquent et en principe ouvert en ce qui concerne D._. La question de savoir si le regroupement familial doit en définitive être accordé relève en revanche du fond (cf. <ref-ruling> consid. 1.2 p. 180).
Quant à C._, il est né en 1992 et aujourd'hui âgé de près de 20 ans. Or, en ce qui concerne la recevabilité des demandes de regroupement familial fondées exclusivement sur l'art. 8 CEDH, c'est l'âge atteint au moment où le Tribunal fédéral statue qui est déterminant pour se prononcer sur la recevabilité du recours (cf. <ref-ruling> consid. 3.2 p. 499 s.; arrêt 2C_205/2011 du 3 octobre 2011 consid. 1). C._ étant aujourd'hui majeur, le regroupement familial ne peut plus être demandé en ce qui le concerne (cf. art. 44 LEtr). En outre, le recourant ne prétend pas que son fils serait dans un état de dépendance particulier, au sens de la jurisprudence, vis-à-vis de lui. Il s'ensuit que le recours est irrecevable dans la mesure où il tend à l'octroi d'une autorisation de séjour en faveur de C._.
1.5 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal que si ce grief a été invoqué et motivé par le recourant. En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>).
3. L'art. 8 CEDH constituant la base qui permettrait de fonder le droit au regroupement familial sollicité, il convient de déterminer, sous l'angle de cette disposition, s'il se justifie d'octroyer aux deux fils du recourant une autorisation de séjour à ce titre.
3.1 Aux termes de l'art. 8 CEDH, toute personne a notamment droit au respect de sa vie privée et familiale. Cette disposition ne confère cependant pas un droit à séjourner dans un État déterminé. Le fait de refuser un droit de séjour à un étranger dont la famille se trouve en Suisse peut toutefois porter atteinte au droit au respect de la vie privée et familiale garanti par cette disposition (<ref-ruling> consid. 1.3.1 p. 145, 153 consid. 2.1 p. 154 s.). Pour autant, les liens familiaux ne sauraient conférer de manière absolue, en vertu de l'art. 8 CEDH, un droit d'entrée et de séjour. Ainsi, lorsqu'un étranger a lui-même pris la décision de quitter sa famille pour aller vivre dans un autre État, ce dernier ne manque pas d'emblée à ses obligations de respecter la vie familiale s'il n'autorise pas la venue des proches du ressortissant étranger ou qu'il la subordonne à certaines conditions (cf. arrêt 2C_553/2011 du 4 novembre 2011 consid. 2.1 et les références citées).
3.2 Une ingérence dans l'exercice du droit au respect de la vie privée et familiale garanti par l'art. 8 CEDH est possible aux conditions de l'art. 8 par. 2 CEDH. La question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit être résolue sur la base d'une pesée de tous les intérêts publics et privés en présence (cf. <ref-ruling> consid. 2.1 p. 287 s. et les références citées).
S'agissant d'un regroupement familial partiel, il convient de tenir compte dans la pesée des intérêts notamment des exigences auxquelles le droit interne soumet celui-ci (cf. <ref-ruling> consid. 2.6 p. 292 s.). Il n'est en effet pas concevable que, par le biais de l'art. 8 CEDH, un étranger qui ne dispose, en vertu de la législation interne, d'aucun droit à faire venir sa famille proche en Suisse, puisse obtenir des autorisations de séjour pour celle-ci sans que les conditions posées par les art. 42 ss LEtr et en particulier lorsque les délais de l'art. 47 LEtr ont été respectés, celles figurant à l'art. 44 LEtr ne soient réalisées. Du reste, les conditions de logement et d'absence d'aide sociale posées par cette dernière disposition se retrouvent dans la législation relative au regroupement familial de la plupart des États parties à la Convention (cf. arrêt 2C_508/2009 du 20 mai 2010 consid. 4.2).
3.3 Il faut également tenir compte de l'intérêt de l'enfant, ainsi que l'exige l'art. 3 al. 1 de la Convention relative aux droits de l'enfant du 20 novembre 1989 (CDE; RS 0.107). Cette Convention implique de se demander si la venue en Suisse d'un enfant au titre du regroupement familial partiel n'entraînerait pas un déracinement traumatisant, ne reviendrait pas de facto à le couper de tout contact avec la famille résidant dans son pays d'origine et n'interviendrait pas contre sa volonté (cf. <ref-ruling> consid. 2.3.1 p. 290 s. et les arrêts cités). Toutefois, comme il appartient en priorité aux parents de décider du lieu de séjour de leur enfant, en prenant en considération l'intérêt de celui-ci, les autorités compétentes n'ont qu'un pouvoir d'examen limité à cet égard: elles ne peuvent et ne doivent refuser le regroupement familial que si celui-ci est manifestement contraire à l'intérêt de l'enfant (<ref-ruling> consid. 4.8 p. 86 ss). Cette jurisprudence ne s'applique pas seulement au regroupement familial fondé sur les art. 42 et 43 LEtr, mais aussi aux requêtes basées sur l'art. 44 LEtr (cf. <ref-ruling> consid. 2.3.2 p. 291).
Afin d'évaluer si le regroupement familial est manifestement contraire à l'intérêt de l'enfant, l'autorité compétente peut être amenée, selon les circonstances, à entendre l'enfant de façon appropriée (cf. art. 12 CDE) afin de vérifier que le regroupement n'intervient pas contre sa volonté clairement exprimée. Lorsque la procédure est essentiellement écrite, comme en droit des étrangers, il n'est pas indispensable que l'enfant soit entendu personnellement et oralement, à condition que son point de vue puisse s'exprimer de façon appropriée, soit par une déclaration écrite de l'enfant lui-même, soit par l'intermédiaire d'un représentant (cf. <ref-ruling> consid. 3c p. 368, confirmé récemment dans l'arrêt 2C_746/2009 du 16 juin 2010 consid. 4.1). Selon la jurisprudence en matière de droit des étrangers, la représentation des enfants peut souvent se faire par l'intermédiaire du ou des parents parties à la procédure, dès lors que les intérêts des deux parents et ceux de l'enfant coïncident (cf. arrêt 2C_746/2009 du 16 juin 2010 consid. 4.1 et les arrêts cités). Tel est le cas lorsque le regroupement tend à permettre à l'enfant de rejoindre ses deux parents ou son seul parent survivant, de sorte qu'il n'est pas nécessaire de recueillir formellement l'avis de l'enfant, sous réserve de l'hypothèse prévue à l'art. 47 al. 4 in fine LEtr.
3.4 En résumé, l'étranger qui bénéficie d'une autorisation de séjour durable est en droit de réclamer le regroupement familial selon l'art. 44 LEtr pour ses enfants en se prévalant de l'art. 8 CEDH (et de l'art. 13 Cst.) aux conditions cumulatives suivantes: (1) l'étranger souhaite vivre en ménage commun avec l'enfant (art. 44 let. a LEtr); (2) il dispose d'un logement approprié (art. 44 let. b LEtr); (3) il ne dépend pas de l'aide sociale (art. 44 let. c LEtr); (4) le regroupement familial est demandé dans les délais prévus à l'art. 47 LEtr; (5) le regroupement familial n'intervient pas en violation claire des intérêts et des relations familiales de l'enfant, la relation antérieure entre l'enfant et le parent qui requiert le regroupement devant faire l'objet d'une appréciation; (6) il n'y a pas d'abus de droit; (7) on n'est pas en présence d'une cause de révocation selon l'art. 62 LEtr (cf. <ref-ruling> consid. 2.7 p. 293 s.). Enfin, (8) le parent qui fait valoir le regroupement familial doit disposer de l'autorité parentale ou au moins du droit de garde sur l'enfant (cf. <ref-ruling> consid. 2.3.1 p. 290; confirmé in arrêts 2C_578/2011 du 1er décembre 2011 consid. 3.4.3; 2C_194/2011 du 17 novembre 2011 consid. 2.2.1; 2C_132/2011 du 28 juillet 2011 consid. 4). En effet, le regroupement familial doit être réalisé en conformité avec les règles du droit civil régissant les rapports entre parents et enfants et il appartient aux autorités compétentes en matière de droit des étrangers de s'en assurer (<ref-ruling> consid. 4.8 p. 86 ss). Une simple déclaration du parent resté à l'étranger autorisant son enfant à rejoindre l'autre parent en Suisse n'est en principe pas suffisante (cf. arrêts 2C_132/2011 du 28 juillet 2011 consid. 6.2.3; 2C_537/2009 du 31 mars 2010 consid. 4).
4. 4.1 L'art. 47 LEtr subordonne le regroupement familial au dépôt de la demande dans les cinq ans à partir de l'octroi de l'autorisation de séjour ou de l'établissement du lien familial, ce délai étant réduit à 12 mois pour les enfants de plus de 12 ans. Passé ces délais, le regroupement familial n'est autorisé que pour des raisons familiales majeures (art. 47 al. 4 LEtr).
En l'espèce, le recourant a été mis au bénéfice d'une autorisation de séjour dès le 27 mai 2008. En ce qui concerne D._, la demande de regroupement familial a par conséquent été déposée en temps utile. En effet, dès lors qu'il était âgé de moins de 12 ans au moment du dépôt de la requête, c'est le délai de cinq ans qui est pertinent et celui-ci n'était pas écoulé le 27 juillet 2009.
4.2 Le Tribunal cantonal a par ailleurs retenu que l'essentiel des conditions pour obtenir un regroupement familial était rempli, la requête ne pouvant être rejetée que si l'intérêt supérieur de l'enfant s'opposait à sa venue en Suisse. Tout en reconnaissant qu'il était très délicat de déterminer l'intérêt de l'enfant, les juges cantonaux ont considéré la solution la plus conforme à l'intérêt de l'enfant était de rester au Kosovo, où il avait tous ses repères affectifs et sociaux.
Le recourant conteste cette appréciation de l'instance précédente. Il relève qu'il a conservé, tout au long des années de séparation, une relation prépondérante avec son fils D._, en dirigeant son éducation depuis la Suisse, par le biais de directives et de conseils donnés aux personnes exerçant la garde de fait sur lui. Il estime qu'ainsi, le liens noués entre lui-même et son fils l'emportent sur les relations que celui-ci a tissé avec la personne qui en avait la garde effective au Kosovo. Il ajoute que le grand-père de l'enfant est très âgé de sorte qu'il n'est plus en mesure de prendre soin de D._ au quotidien.
4.3 Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, à savoir arbitrairement (cf. <ref-law>; <ref-ruling> consid. 2.4). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées; à défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF137 II 353 consid. 5.1 p. 356).
Le recourant méconnaît à l'évidence ces principes. Il fonde une partie de son argumentation sur des faits et sa propre interprétation des événements qui ne ressortent pas de l'arrêt attaqué, sans démontrer que cet acte serait manifestement inexact ou arbitraire. Le Tribunal fédéral n'est pas une autorité d'appel habilitée à revoir librement les faits. Partant, l'Autorité de céans se limitera à examiner si le droit fédéral a été correctement appliqué par le Tribunal cantonal sur la base des faits ressortant de l'arrêt entrepris.
4.4 Dans le cas particulier, le Tribunal cantonal a considéré qu'à l'exception de son père, toute la famille proche de D._ vivait au Kosovo. Une venue en Suisse le placerait par conséquent, isolé, dans un milieu social et culturel totalement différent dont il ne parle pas la langue. Le Tribunal cantonal a relevé également que cet enfant n'avait vu son père qu'épisodiquement ces dernières années alors qu'il vivait dans le même village que sa mère. Compte tenu du changement de vie considérable et déstabilisant qu'un départ de son pays d'origine imposerait à l'adolescent, le Tribunal cantonal a retenu qu'il était manifeste que son intérêt était de rester auprès de ses proches au Kosovo, l'âge avancé du grand-père n'étant pas suffisant pour modifier volontairement un dispositif de garde qui avait fait ses preuves.
Une telle position ne peut être suivie. Certes, D._ vit depuis plus de dix ans dans son pays d'origine, auprès de membres de sa famille, et il ne s'exprime qu'en langue albanaise. Dans ces conditions, son intégration en Suisse, alors qu'il entre dans l'adolescence, s'avérerait assurément difficile. L'adolescent est élevé par son grand-père, dans un entourage composé de ses frères et s?ur, ainsi que de sa mère qui habite le même village, alors qu'il n'a plus vécu avec son père depuis dix ans. Un transfert auprès de celui-ci serait constitutif d'un déracinement culturel et social, mais celui-ci est inhérent à tout regroupement familial et rien ne permet de conclure que le fils du recourant, qui a maintenant 13 ans, aurait des problèmes qui empêcheraient son adaptation. Du reste, le raisonnement du Tribunal cantonal reviendrait à considérer qu'un regroupement familial serait par principe contraire à l'intérêt d'un enfant qui a passé plus de dix ans dans son pays d'origine, ce qui va à l'encontre même du système des délais prévus à l'art. 47 LEtr qui autorise le regroupement familial quel que soit l'âge de l'enfant.
4.5 L'arrêt attaqué ne permet en revanche pas de savoir quelle est la position de D._ lui-même par rapport au regroupement familial demandé. Cette situation est d'autant plus insatisfaisante qu'au moment du dépôt de la requête, l'adolescent pouvait partir de l'idée qu'il viendrait rejoindre son père en compagnie de son frère ainé, ce qui lui permettait de ne pas perdre l'ensemble de ses repères. Le regroupement familial en faveur de C._ ayant été refusé, il convient de recueillir l'avis de D._ sur la permanence de son souhait de venir vivre en Suisse avec son père et l'épouse de celui-ci. Dans ce contexte, il sera utile d'examiner également la manière dont le recourant prévoit d'assurer la prise en charge et l'intégration personnelle et scolaire de son fils en Suisse, afin de s'assurer que l'adolescent ne sera pas livré à lui-même pendant la phase cruciale de son arrivée dans ce pays.
Au vu de ce qui précède, le recours en matière de droit public doit par conséquent être admis, la décision attaquée annulée et la cause renvoyée au Tribunal cantonal de Fribourg pour qu'il instruise ce point et statue à nouveau.
5. Le recours étant admis pour moitié et irrecevable pour le surplus, des frais de justice réduits seront mis à la charge du recourant (cf. <ref-law>). Par ailleurs, il n'y a pas lieu d'allouer des dépens, le recourant n'étant pas assisté d'un mandataire, (cf. arrêt 2C_899/2008 du 18 juin 2009 consid. 5.2 non publié aux <ref-ruling>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable en tant qu'il porte sur la requête de C._.
2. Le recours est admis dans la mesure où il est recevable et l'arrêt du Tribunal cantonal du canton de Fribourg du 9 juin 2011 annulé en tant qu'il porte sur la requête de D._.
3. La cause est renvoyée au Tribunal cantonal du canton de Fribourg afin qu'il statue à nouveau dans le sens des considérants.
4. Les frais judiciaires, arrêtés à CHF 1'000.-, sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au recourant, au Service de la population et des migrants du canton de Fribourg, au Tribunal cantonal du canton de Fribourg, Ie Cour administrative, et à l'Office fédéral des migrations.
Lausanne, le 13 mars 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti