Faits:
A. A.a E.X._, ressortissante du Cameroun née en 1979, a épousé le 8 octobre 2005, à Yaoundé, un ressortissant suisse né en 1952. Le 17 septembre 2006, E.X._, qui avait déjà séjourné illégalement en Suisse entre 2004 et 2005, y est revenue et a été mise au bénéfice d'une autorisation de séjour, au titre du regroupement familial avec son époux.
Le couple X._ a eu une fille, C._, née le 7 mars 2007. E.X._ est également la mère de D._, né le 8 février 1999, de A._, né le 16 juin 2000, et de B._, née le 3 novembre 2002, tous nés de père inconnu et ressortissants du Cameroun.
A.b Le 28 décembre 2009, A._ et B._ ont déposé, par l'entremise de l'Ambassade de Suisse au Cameroun, une demande d'entrée et de séjour pour vivre auprès de leur mère.
Par décision du 24 février 2011, le Service de la population et des migrants du canton de Fribourg (ci-après l'Administration cantonale) a rejeté la demande d'autorisation d'entrée et de séjour en faveur des deux enfants de E.X._.
B. E.X._, agissant pour elle et ses enfants, a recouru contre cette décision auprès du Tribunal cantonal de Fribourg (ci-après le Tribunal cantonal).
Le 6 décembre 2011, E.X._ a obtenu une autorisation d'établissement.
Par arrêt du 17 février 2012, le Tribunal cantonal a rejeté le recours et confirmé la décision de l'Administration cantonale.
C. Par acte du 14 mars 2012, A._ et B._ interjettent un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent, sous suite de dépens, à la modification de l'arrêt du Tribunal cantonal du 17 février 2012, la demande d'autorisation d'entrée et de séjour en leur faveur étant admise.
L'Administration cantonale n'a pas formulé de remarques sur le recours et confirmé sa décision de refus d'autorisation. Le Tribunal cantonal relève que, selon les informations fournies par E.X._, ses trois enfants ont vécu chez les grands-parents jusqu'en 2010 à tout le moins et que, pour le reste, l'intéressée n'a documenté aucune de ses affirmations, et a conclu au rejet du recours. L'Office fédéral des migrations propose le rejet du recours en se référant aux considérants des instances précédentes.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Lorsque la demande tend à ce qu'un enfant puisse vivre en Suisse avec l'un de ses parents seulement (regroupement familial partiel) et que celui-ci est (re)marié, le droit de l'enfant à séjourner en Suisse dépend du statut du parent concerné, indépendamment du statut ou de la nationalité du nouveau conjoint (cf. <ref-ruling> consid. 1.2 p. 286 s.). En l'occurrence, c'est donc la situation de la mère des recourants, et non celle de son époux, ressortissant suisse, qui est déterminante. Celle-ci étant titulaire d'une autorisation d'établissement depuis le 6 décembre 2011, le regroupement familial doit être envisagé sous l'angle de l'art. 43 LEtr, comme l'a retenu à juste titre le Tribunal cantonal. En vertu de l'art. 43 al. 1 et 3 LEtr, les recourants disposent normalement d'un droit à l'octroi d'une autorisation de séjour, voire d'une autorisation d'établissement, étant donné qu'ils étaient âgés de moins de douze ans lors du dépôt de la demande de regroupement familial et que leur mère dispose elle-même d'une autorisation d'établissement. Le motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF n'est dès lors pas opposable aux recourants et la voie du recours en matière de droit public est en principe ouverte. La question de la réalisation des conditions pour qu'une telle autorisation puisse être décernée relève du fond et non de la recevabilité (arrêt 2C_270/2009 du 15 janvier 2010 consid. 2.1 non publié aux <ref-ruling>).
1.2 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Le recours en matière de droit public a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par les destinataires de l'arrêt attaqué qui ont qualité pour recourir au sens de l'<ref-law> et qui agissent par l'entreprise de leur mère (art. 296 al. 1, 298 al. 1 et 304 al. 1 CC; cf. <ref-ruling> consid. 3.1.2 p. 57; <ref-ruling> consid. 1b p. 7 s.). Il est par conséquent recevable.
2. Dans un premier grief, les recourants se plaignent d'une appréciation arbitraire des preuves par le Tribunal cantonal. Ils allèguent que, bien qu'ils aient expliqué que leur frère ainé ne vivait pas avec eux, mais auprès d'une tante au Gabon, le Tribunal cantonal avait considéré que ce fait n'était pas établi. En outre, ils estiment que le Tribunal cantonal a méconnu la portée d'un jugement camerounais autorisant leur adoption par l'époux de leur mère.
2.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (cf. <ref-ruling> consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées (cf. <ref-law>); à défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356).
2.2 En l'espèce, le Tribunal cantonal a retenu que les recourants faisaient partie d'une fratrie de trois enfants dont l'ainé serait séparé de ses cadets si ces derniers étaient autorisés à venir en Suisse, et qu'aucune explication sérieuse n'avait été donnée pour justifier que cet enfant subisse un traitement et un destin différents des deux autres. Il a ajouté qu'il ne fallait pas négliger l'impact de cette séparation sur les recourants. Les enfants s'étant retrouvés seuls après le départ de leur mère, le Tribunal cantonal a admis qu'ils avaient dû, selon toute vraisemblance, nouer des attaches très solides entre eux pour surmonter l'épreuve de l'éloignement d'avec leur mère. Par ailleurs, l'instance cantonale a retenu que la mère des enfants n'avait fourni aucun élément permettant d'expliquer son choix de ne faire venir près d'elle que deux de ses enfants, ni établi le décès de la grand-mère qui se serait occupée des enfants et le prétendu départ de l'ainé auprès d'une tante au Gabon.
Devant le Tribunal fédéral, les recourants n'expliquent pas en quoi le Tribunal cantonal aurait arbitrairement retenu que les faits allégués n'avaient pas été prouvés. Ils n'indiquent en particulier pas d'éléments de preuve produits en procédure cantonale dont l'instance précédente aurait omis de tenir compte. Le jugement camerounais autorisant l'adoption des recourants par l'époux de leur mère n'est notamment pas propre à expliquer pour quelle raison leur frère ainé est traité différemment ni à démontrer que ce dernier ne vit actuellement pas avec ses cadets. Dans ces conditions, force est de constater que le Tribunal cantonal n'a pas constaté les faits de façon manifestement inexacte ou arbitraire. Le grief d'appréciation arbitraire des preuves et d'établissement inexact des faits doit par conséquent être rejeté.
3. Les recourants se plaignent également d'une violation de l'art. 43 al. 1 LEtr.
3.1 Aux termes de l'art. 43 al. 1 LEtr, les enfants célibataires étrangers de moins de dix-huit ans du titulaire d'une autorisation d'établissement ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui. Les enfants de moins de douze ans ont droit à l'octroi d'une autorisation d'établissement (art. 43 al. 3 LEtr). Le moment déterminant du point de vue de l'âge comme condition du droit au regroupement familial en faveur d'un enfant est celui du dépôt de la demande (<ref-ruling> consid. 3.7).
La loi sur les étrangers a introduit des délais pour requérir le regroupement familial. L'art. 47 al. 1 1ère phrase LEtr pose ainsi le principe selon lequel le regroupement familial doit être demandé dans les cinq ans. Pour les enfants de plus de 12 ans, le regroupement doit intervenir dans un délai de 12 mois (art. 47 al. 1 2ème phrase LEtr). Passé ce délai, le regroupement familial différé n'est autorisé que pour des raisons familiales majeures (art. 47 al. 4 LEtr; arrêt 2C_276/2011 du 10 octobre 2011 consid. 4 non publié aux <ref-ruling>). S'agissant de membres de la famille d'étrangers, le délai commence à courir lors de l'octroi de l'autorisation de séjour ou d'établissement ou lors de l'établissement du lien familial (art. 47 al. 3 let. b LEtr). Selon la disposition transitoire de l'art. 126 al. 3 LEtr, les délais prévus à l'art. 47 al. 1 LEtr commencent à courir à l'entrée en vigueur de la loi sur les étrangers, dans la mesure où l'entrée en Suisse ou l'établissement du lien familial sont antérieurs à cette date (<ref-ruling> consid. 4.2 p. 81).
3.2 Le respect des délais fixés pour demander le regroupement familial n'implique pas que celui-ci doive automatiquement être accordé. Le regroupement familial partiel peut en effet poser des problèmes spécifiques, surtout lorsque l'enfant pour lequel une autorisation de séjour en Suisse est requise vit à l'étranger avec l'autre parent ou dans sa famille. Trois éléments sont alors déterminants. Premièrement, le droit au regroupement familial ne doit pas être invoqué de manière abusive (art. 51 al. 1 let. a et al. 2 let. a LEtr). En deuxième lieu, le parent qui demande une autorisation de séjour pour son enfant, au titre de regroupement familial, doit bénéficier (seul) de l'autorité parentale ou, en cas d'autorité parentale conjointe, l'autre parent vivant à l'étranger doit avoir donné son accord exprès. Finalement, le regroupement familial partiel suppose de tenir compte de l'intérêt supérieur de l'enfant, comme l'exige l'art. 3 de la Convention relative aux droits de l'enfant du 2 novembre 1989 (CDE; RS 0.107). Cette Convention implique de se demander si la venue en Suisse d'un enfant au titre du regroupement familial partiel n'entraînerait pas un déracinement traumatisant, ne reviendrait pas de facto à le couper de tout contact avec la famille résidant dans son pays d'origine et n'interviendrait pas contre sa volonté (cf. <ref-ruling> consid. 2.3.1 p. 290 s. et les arrêts cités). Toutefois, comme il appartient en priorité aux parents de décider du lieu de séjour de leur enfant, en prenant en considération l'intérêt de celui-ci, les autorités compétentes n'ont qu'un pouvoir d'examen limité à cet égard: elles ne peuvent et ne doivent refuser le regroupement familial que si celui-ci est manifestement contraire à l'intérêt de l'enfant (<ref-ruling> consid. 4.8 p. 86 ss). Si le parent dont dépend le regroupement familial ne dispose que d'une autorisation de séjour, des conditions supplémentaires doivent être remplies en relation avec les conditions de séjour de l'enfant et la situation financière des parents (cf. art. 44 LEtr; cf. arrêt 2C_793/2011 du 22 février 2012 consid. 2.4).
Afin d'évaluer si le regroupement familial est manifestement contraire à l'intérêt de l'enfant, l'autorité compétente peut être amenée, selon les circonstances, à entendre l'enfant de façon appropriée (cf. art. 12 CDE), afin de vérifier que le regroupement n'intervient pas contre sa volonté clairement exprimée. Lorsque la procédure est essentiellement écrite, comme en droit des étrangers, il n'est pas indispensable que l'enfant soit entendu personnellement et oralement, à condition que son point de vue puisse s'exprimer de façon appropriée (cf. <ref-ruling> consid. 3c p. 368, confirmé récemment dans l'arrêt 2C_793/2011 du 22 février 2012 consid. 2.3). Selon la jurisprudence en matière de droit des étrangers, la représentation des enfants peut souvent se faire par l'intermédiaire du ou des parents parties à la procédure, dès lors que les intérêts des parents et ceux de l'enfant coïncident (cf. arrêt 2C_746/2009 du 16 juin 2010 consid. 4.1 et les arrêts cités). Tel est le cas lorsque le regroupement tend à permettre à l'enfant de rejoindre ses deux parents ou son seul parent survivant ou connu, de sorte qu'il n'est pas nécessaire de recueillir formellement l'avis de l'enfant, sous réserve de l'hypothèse prévue à l'art. 47 al. 4 in fine LEtr (arrêts 2C_793/2011 du 22 février 2012 consid. 2.3; 2C_752/2011 du 2 mars 2012 consid. 4.3; 2C_576/2011 du 13 mars 2012 consid. 3.3).
3.3 Lorsqu'un enfant n'a qu'un seul de ses parents, on ne pourra en règle générale pas admettre que son intérêt est de vivre séparé de ce parent. La question de savoir quelles relations sont prépondérantes, entre celles que les enfants entretiennent avec leur parent en Suisse et celles qu'ils ont avec d'autres personnes vivant dans leur pays d'origine, n'a en effet ici pas l'importance déterminante qu'elle prend lorsque c'est l'autre parent qui s'occupe de l'enfant dans ce pays (arrêt 2C_793/2011 du 22 février 2012 consid. 3.2). Un déracinement culturel et social est en outre inhérent à tout regroupement familial et ne suffit pas, à lui seul, à en justifier le refus. Tout raisonnement qui reviendrait à considérer qu'un regroupement familial serait par principe contraire à l'intérêt d'un enfant qui a passé plus de dix ans dans son pays d'origine irait à l'encontre même du système des délais prévus à l'art. 47 LEtr qui autorise le regroupement familial quel que soit l'âge de l'enfant (arrêts 2C_752/2011 du 2 mars 2012 consid. 7.2 et 2C_576/2011 du 13 mars 2012 consid. 4.4).
3.4 En l'espèce, la mère des recourants, dont le statut est déterminant pour examiner leur droit au regroupement familial (cf. supra consid. 1.1), a obtenu une autorisation de séjour le 17 septembre 2006 et une autorisation d'établissement le 6 décembre 2011. Les recourants sont nés le 16 juin 2000 et le 3 novembre 2002, de sorte qu'ils n'avaient pas atteint l'âge de 12 ans au moment de l'entrée en vigueur de la LEtr, le 1er janvier 2008. La requête tendant au regroupement familial ayant été déposée le 18 décembre 2009, soit moins de cinq ans après l'entrée en vigueur de la LEtr, elle a été introduite en temps utile au sens de l'art. 47 al. 1 1ère phrase LEtr en relation avec l'art. 126 al. 1 LEtr (cf. arrêt 2C_888/2011 du 20 juin 2012 consid. 2). Comme la mère des recourants a obtenu une autorisation d'établissement avant que le Tribunal cantonal ne statue, celui-ci a pris en compte, à juste titre, cet élément pour déterminer les conditions qui devaient être remplies pour le regroupement familial. Partant, les exigences supplémentaires posées par l'art. 44 LEtr, examinées par l'Administration cantonale qui s'est prononcée avant que la mère des recourants n'obtienne l'autorisation d'établissement, n'avaient plus à être prises en compte.
3.5 Dans le cas particulier, le Tribunal cantonal a retenu que la mère disposait seule de l'autorité parentale sur les deux enfants, que les relations unissant ces enfants à leur mère étaient effectives malgré l'éloignement et entretenues par le biais d'appels téléphoniques, que la situation financière de la mère et de son époux, un temps difficile, s'était améliorée et ne constituait plus en soi un obstacle majeur à la venue des enfants en Suisse. En outre, aucun des faits constatés ne permet de retenir que la demande de regroupement familial serait formée abusivement. Du reste, il ressort de l'arrêt attaqué que le conjoint de la mère des recourants a manifesté son soutien à leur démarche en adoptant les deux enfants au Cameroun, geste significatif de sa volonté d'accueillir ces derniers.
Les juges cantonaux ont cependant rejeté la demande au motif qu'il n'était pas dans l'intérêt des deux enfants concernés de venir en Suisse. Pour rejoindre une mère avec laquelle ils n'ont pas l'habitude de vivre, les enfants quitteraient en effet sans explication sérieuse un frère avec lequel ils ont grandi, ainsi que les membres de la famille, amis, connaissances et voisinage qui les ont entourés durant les sept dernières années. Les juges précédents ont relevé qu'il était exclu de négliger, dans une telle situation, l'impact que cette séparation allait avoir sur les frère et s?ur devant abandonner leur ainé, d'autant plus que les trois enfants avaient dû tisser des liens très solides entre eux pour surmonter l'épreuve de l'éloignement d'avec leur mère. Dans ces conditions, et au vu de l'absence de preuve des faits allégués, tels que le décès de la grand-mère qui se serait occupée des enfants et le prétendu départ du fils ainé auprès d'une tante au Gabon, les juges cantonaux ont conclu qu'il était impossible d'admettre qu'il était de l'intérêt des deux enfants à se voir exposés au choc d'un départ vers une mère de laquelle ils ont vécu séparés durant sept ans et extraits de tout leur réseau familial et social alors que leur frère ainé était abandonné à un sort incertain.
3.6 Un tel raisonnement ne peut être suivi. En effet, le Tribunal cantonal a examiné de son point de vue si la solution présentée était dans l'intérêt des recourants, alors que les autorités ne peuvent s'opposer à un regroupement familial décidé par les parents que si celui-ci est manifestement contraire à l'intérêt de l'enfant (cf. supra consid. 3.2). Or, tel n'est pas le cas ici. Les recourants, nés en 2000 et 2002, ont certes vécus éloignés de leur mère depuis sept années, mais les liens entre la mère et les enfants n'ont jamais été rompus. En outre, s'il est exact que les deux enfants seront séparés de leur frère ainé, pour lequel une autre solution de prise en charge a été privilégiée, leur venue en Suisse leur permettra de connaître leur petite s?ur, née en 2007, et de créer ainsi de nouveaux liens. Par ailleurs, il ressort de l'arrêt attaqué que la prise en charge actuelle des deux enfants au Cameroun est incertaine puisqu'il est allégué que leur grand-mère, qui s'en occupait précédemment, serait décédée. En outre, il ne faut pas perdre de vue que les recourants sont tous deux nés de père inconnu. Il est par conséquent dans leur intérêt de rejoindre leur mère en Suisse, même si cela implique un déracinement culturel et social (cf. supra consid. 3.3).
A la lumière de l'état de fait retenu dans la décision attaquée, le Tribunal cantonal ne pouvait ainsi pas conclure que le regroupement familial serait manifestement contraire à l'intérêt des deux enfants. L'arrêt attaqué retenant que toutes les autres conditions sont remplies, c'est donc à tort que le Tribunal cantonal a refusé le regroupement familial sollicité.
4. Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée au Service de la population et des migrants du canton de Fribourg pour qu'il accorde les autorisations nécessaires aux recourants (cf. art. 43 al. 3 LEtr; <ref-ruling> consid. 3.4 p. 503).
Il n'y a pas lieu de percevoir de frais de justice (cf. <ref-law>). Succombant, le canton de Fribourg versera aux recourants, créanciers solidaires, une indemnité à titre de dépens (cf. <ref-law>).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal cantonal du canton de Fribourg du 17 février 2012 est annulé et la cause renvoyée au Service de la population et des migrants du canton de Fribourg pour qu'il accorde les autorisations nécessaires aux recourants.
2. La cause est renvoyée au Tribunal cantonal du canton de Fribourg afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
3. Il n'est pas perçu de frais judiciaires.
4. Le canton de Fribourg versera aux recourants, créanciers solidaires, une indemnité de CHF 2'000.- à titre de dépens.
5. Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et des migrants du canton de Fribourg, au Tribunal cantonal du canton de Fribourg, Ie Cour administrative, et à l'Office fédéral des migrations.
Lausanne, le 2 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti