Faits:
A. Y.C._, née en 1962, originaire du Cameroun est arrivée en Suisse le 30 juin 2001. Elle s'est mariée à un ressortissant suisse, A.C._ et a été mise au bénéfice d'une autorisation de séjour au titre de regroupement familial. Le 25 février 2009, elle a acquis la nationalité suisse.
Dans son rapport d'arrivée en Suisse du 11 avril 2002, Y.C._ avait déclaré qu'elle était mère de neuf enfants, demeurés au Cameroun et élevés par des membres de sa famille. Par la suite, il s'est avéré qu'elle était mère d'un dixième enfant, X._, officiellement née en 1993, qui a été élevée au Cameroun par son père, B._, jusqu'au décès de ce dernier, survenu le 6 juin 2007.
Le 5 août 2007, X._ est entrée illégalement en Suisse, sous l'identité de X.B._. Elle a déclaré être née en 1982, puis en 1987, et a séjourné à Fribourg, où elle s'est livrée à la prostitution. Le 10 juin 2008, elle a été interpellée à Bâle-Ville, alors qu'elle venait de se légitimer sous l'identité de F._, ressortissante française, née en 1985; elle a été condamnée le même jour pour séjour illégal à une peine de 45 jours-amende à 30 fr., avec sursis pendant deux ans, ainsi qu'à une amende de 800 fr. Une mesure d'interdiction d'entrée en Suisse, valable trois ans dès le 26 juillet 2008, a également été prononcée à son encontre.
Refoulée à destination du Cameroun le 25 juillet 2008, X._ est revenue illégalement en Suisse après avoir séjourné quelque temps en France, et a été interpellée, le 12 novembre 2008, alors qu'elle voyageait en Suisse alémanique sans titre de transport valable. Elle était en possession d'un passeport suisse au nom de D._. Elle s'est aussi légitimée sous cette identité, lorsqu'elle a été interpellée au Foyer M._, après un conflit avec une autre résidente. Par la suite, elle a admis avoir dérobé ce document au domicile de la mère de D._.
B. Le 9 avril 2009, X._ a présenté une demande d'autorisation de séjour pour regroupement familial auprès de sa mère, domiciliée à E._, en produisant des documents attestant qu'elle était née le 9 octobre 1993. Y.C._ a déclaré qu'elle n'avait pas mentionné sa fille dans son rapport d'arrivée d'avril 2002, car celle-ci vivait avec son père au Cameroun et elle estimait qu'elle n'en avait pas la charge. De son côté, X._ a expliqué, à l'occasion de son interpellation par la police genevoise le 10 juin 2009, qu'elle avait pris contact avec sa mère lors de son arrivée en Suisse en 2007, mais que celle-ci n'avait pas voulu lui parler en raison de sa situation irrégulière. Elle avait toutefois aménagé à présent chez elle.
Le 4 juillet 2009, X._ a été interpellée par la police lucernoise, alors qu'elle venait de commettre un vol dans un grand magasin. L'expertise à laquelle l'a soumise les autorités lucernoises le 10 juillet 2009, a révélé qu'elle était âgée à cette époque d'au moins dix-huit ans, vraisemblablement entre dix-neuf et vingt ans. En raison des doutes au sujet des documents de naissance produits, X._ et Y.C._ ont été soumises à un test ADN, effectué par le Centre universitaire romand de médecine légale le 29 octobre 2009, qui a confirmé la maternité de Y.C._. X._ a bénéficié d'un programme d'insertion et a suivi des cours d'alphabétisation en vue d'entrer en dixième année dans une classe de l'Office de perfectionnement scolaire, de transition et d'insertion professionnelle (OPTI).
Par décision du 30 juin 2010, le Service de la population du canton de Vaud a refusé l'autorisation de séjour pour regroupement familial en faveur de X._ et a prononcé son renvoi de Suisse.
C. X._ et Y.C._ ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois.
Par arrêt du 5 novembre 2010, le Tribunal cantonal a rejeté le recours et confirmé la décision du Service de la population du 30 juin 2010. Laissant ouverte la question de l'âge de X._ au moment du dépôt de la demande d'autorisation de séjour, les juges cantonaux ont considéré que les conditions pour admettre un regroupement familial différé au sens de l'art. 47 al. 4 de la loi fédérale sur les étrangers (LEtr; RS 142.20) n'étaient pas remplies, pas plus que celles pour mettre X._ au bénéfice d'une autorisation de séjour octroyée dans les cas individuels d'extrême gravité, dérogeant aux conditions d'admission.
D. Agissant par la voie du recours en matière de droit public contre l'arrêt rendu par le Tribunal cantonal le 5 novembre 2010, X._ et Y.C._ concluent, avec suite de dépens, à l'octroi d'une autorisation de séjour pour regroupement familial à X._ pour vivre avec sa mère.
Le Tribunal cantonal et le Service de la population n'ont pas présenté d'observations et se réfèrent à l'arrêt attaqué. L'Office fédéral des migrations a formé des observations tardives.
E. Par ordonnance présidentielle du 14 décembre 2010, la demande d'effet suspensif présentée par les recourantes a été admise.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence et la recevabilité des recours qui lui sont soumis (cf. art. 29 al. 1 LTF; ATF 136 II 470 consid. 1 p. 472, 436 consid. 1 p. 438).
1.1 En vertu de l'art. 83 let. c ch. 5 LTF, la voie du recours en matière de droit public n'est pas ouverte auprès du Tribunal fédéral en tant que l'arrêt attaqué porte sur l'application de l'art. 30 al. 1 let. e de la loi fédérale sur les étrangers (LEtr; RS 142.20) permettant de déroger aux conditions d'admission. Les recourantes fondent d'ailleurs leur recours uniquement sur l'art. 8 CEDH, en lien avec l'art. 14 CEDH, ainsi que sur les art. 42 al. 2 let. a LEtr et 3 de l'Annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681).
1.2 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.2.1 La recourante Y.C._, de nationalité suisse, et sa fille, de nationalité camerounaise, ne peuvent pas se prévaloir des dispositions de l'ALCP pour demander une autorisation de séjour au titre de regroupement familial. La question de savoir s'il y a lieu, comme elles le demandent, de revenir sur la jurisprudence publiée aux ATF 136 II 12 ss, qui constate une "discrimination à rebours" entre les ressortissants suisses et étrangers soumis aux dispositions relatives au regroupement familial des art. 42 ss LEtr et les ressortissants de l'Union européenne autorisés à faire venir en Suisse leur conjoint et leurs descendants de moins de 21 ans ou à charge, quelle que soit leur nationalité (art. 3 al. 2 let. a Annexe I ALCP), est une question de fond et non de recevabilité (ATF 136 II 177 consid 1.2 p. 180).
L'art. 42 al. 1 LEtr confère un droit à une autorisation de séjour, et à la prolongation de sa durée de validité, aux enfants célibataires étrangers de moins de dix-huit ans d'un ressortissant suisse, à condition de faire ménage commun avec lui.
Dans le cas particulier, l'âge de la recourante X._ a été mis en doute par l'expertise des autorités lucernoises du 10 juillet 2009 révélant qu'elle avait, à l'époque, vraisemblablement entre dix-neuf et vingt ans, et l'arrêt cantonal a laissé cette question ouverte. Toutefois, dans la mesure où le Tribunal fédéral fait dépendre la recevabilité du recours en matière de regroupement familial de l'âge de l'enfant au moment du dépôt de la demande et, sous l'angle de l'art. 8 CEDH, de l'âge atteint au moment où il statue (arrêt 2C_84/2010 du 1er octobre 2010, consid. 3.2, destiné à la publication in ATF 136 II 497), il y a lieu d'admettre (cf. art. 105 al. 1 LTF), conformément aux papiers officiels produits (acte de naissance et acte de reconnaissance en paternité), qui n'ont pas été contestés par les autorités compétentes, que l'intéressée est née le 9 octobre 1993. Cela signifie qu'elle était dans sa seizième année lorsqu'elle a déposé sa demande d'autorisation de séjour pour regroupement familial, ce qui lui confère en principe un droit à ce que cette demande soit examinée sous l'angle de l'art. 42 al.1 LEtr.
1.2.2 Un étranger peut en outre invoquer la protection de la vie familiale découlant de l'art. 8 § 1 CEDH, respectivement 13 al. 1 Cst., à condition qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (ATF 135 II 143 consid. 1.3.1 p. 145; 130 II 281 consid. 3.1 p. 285 et les arrêts cités). Dès lors que la recourante X._ vit chez sa mère, de nationalité suisse, la voie du recours en matière de droit public est en principe également ouverte sous l'angle de l'art. 8 § 1 CEDH, ce qui ne préjuge pas du point de savoir si elle peut obtenir un titre de séjour sur la base de cette disposition, car cette question relève du fond et non de la recevabilité. Il en va de même pour l'examen du droit à une autorisation de séjour fondée sur l'art. 42 al. 1 LEtr.
1.3 Les autres conditions du recours en matière de droit public (art. 82 ss LTF) étant réunies, il y a lieu d'entrer en matière.
2. 2.1 La loi fédérale sur les étrangers a introduit des délais pour requérir le regroupement familial sur la base des art. 42 et 43 LEtr. Pour les enfants de plus de douze ans, le regroupement doit intervenir dans un délai de 12 mois (art. 47 al. 1 2ème phrase LEtr). Selon l'art. 126 al. 3 LEtr, les délais prévus à l'art. 47 al. 1 LEtr commencent à courir à l'entrée en vigueur de ladite loi, dans la mesure où l'entrée en Suisse ou l'établissement du lien familial sont antérieurs à cette date. Passé ce délai, le regroupement familial différé n'est autorisé que pour des raisons familiales majeures; si nécessaire, les enfants de plus de quatorze ans sont entendus (art. 47 al. 4 LEtr).
Les raisons familiales majeures au sens de cette disposition peuvent être invoquées, selon l'art. 75 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), lorsque le bien de l'enfant ne peut être garanti que par un regroupement familial en Suisse. Il ressort notamment du chiffre 6 «Regroupement familial» des directives «Domaine des étrangers» de l'Office fédéral des migrations que, dans l'intérêt d'une bonne intégration, il ne sera fait usage de l'art. 47 al. 4 LEtr qu'avec retenue (cf. ch. 6.10.4 p. 14; état au 1er janvier 2011). Examinant les conditions applicables au regroupement familial partiel (ATF 136 II 78 ss), le Tribunal fédéral a jugé que le nouveau droit ne permettait plus de justifier l'application des conditions restrictives posées par la jurisprudence en cas de regroupement familial partiel si celui-ci était demandé dans les délais de l'art. 47 al. 1 LEtr. En revanche, il a précisé que ces conditions pouvaient jouer un rôle en relation avec les «raisons familiales majeures» au sens de l'art. 47 al. 4 LEtr, laissant ainsi subsister, dans ce cas, les principes développés sous l'ancien droit (ATF 136 II 78 consid. 4.7 p. 85; arrêt 2C_687/2010 du 4 avril 2011, consid. 4.1). Selon la jurisprudence rendue sous l'empire de la la loi fédérale sur le séjour et l'établissement des étrangers (LSEE), le regroupement familial partiel différé est soumis à des conditions strictes. La reconnaissance d'un droit au regroupement familial suppose alors qu'un changement important de circonstances, notamment d'ordre familial, se soit produit, telles qu'une modification des possibilités de la prise en charge éducative à l'étranger (ATF 130 II 1 consid. 2 p. 3; 124 II 361 consid. 3a p. 366). Lorsque le regroupement familial est demandé en raison de changements importants des circonstances à l'étranger, notamment dans les rapports de l'enfant avec le parent qui en avait la charge, il convient d'examiner s'il existe des solutions alternatives, permettant à l'enfant de rester où il vit; cette exigence est d'autant plus importante pour les adolescents (ATF 133 II 6 consid. 3.1.2 p. 11; cf. aussi arrêts 2A.405/2006 du 18 décembre 2006 et 2A.737/2005 du 19 janvier 2007). Le regroupement familial partiel suppose également de tenir compte de l'intérêt supérieur de l'enfant, comme l'exige l'art. 3 § 1 de la convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107). Enfin, les raisons familiales majeures pour le regroupement familial ultérieur doivent être interprétées d'une manière conforme au droit fondamental au respect de la vie familiale (art. 13 Cst., art. 8 CEDH; arrêt précité 2C_687/2010, consid. 4.1).
2.2 X._ est arrivée en Suisse de manière illégale en août 2007 sous une fausse identité. Ce n'est toutefois que le 9 avril 2009 que sa mère, Y.C._, s'est subitement souvenue de cette fille et qu'une demande de regroupement familial a été déposée en sa faveur. Comme X._ est arrivée en Suisse avant l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale sur les étrangers, le délai d'un an de l'art. 47 al. 1 LEtr est arrivé à expiration en ce qui la concerne à fin 2008 (cf. art. 126 al. 3 LEtr). Dès lors que le délai de l'art. 47 al. 1 LEtr était échu, le regroupement familial ne pouvait ainsi être autorisé que pour des "raisons familiales majeures", au sens de l'art. 47 al. 4 LEtr. Or, de telles raisons n'ont pas été établies par la recourante Y.C._, qui n'avait même pas mentionné sa fille dans son rapport d'arrivée d'avril 2002 et n'avait pas non plus cherché à maintenir des contacts réguliers avec celle-ci, pas plus d'ailleurs qu'avec ses autres enfants élevés au Cameroun par des membres de la famille. Sur ce point, les premiers juges ont considéré que X._ avait, jusqu'en août 2007, toujours vécu au Cameroun, dans la ville où elle était née et où elle avait fait le centre de son existence. Son père, qui en avait la garde, est certes décédé en 2007. Ce n'est toutefois pas cet événement qui est à l'origine de la demande de regroupement familial. En effet, X._ est tout d'abord venue illégalement en Suisse en août 2007 sous une fausse identité et a vécu à Fribourg de la prostitution, sans aucun contact avec sa mère, qui a refusé de la voir. Refoulée au Cameroun en juillet 2008, elle a ensuite gagné la France, puis la Suisse à une date inconnue. Elle a été interpellée à Genève en 2009, encore sous une autre identité. Ce n'est qu'en avril 2009 que finalement mère et fille ont formé une demande de regroupement familial. Il ne faut pas non plus perdre de vue que Y.C._ avait tu l'existence de sa fille aux autorités suisses en 2002 et ne s'était plus occupé de celle-ci depuis près de huit ans. Le Tribunal cantonal n'a du reste pas exclu que des motifs d'ordre exclusivement économique soient à l'origine de cette demande, dès lors que X._ est proche de la majorité. Quant à l'intérêt de cette dernière, il ressort de l'arrêt attaqué que celle-ci était bien intégrée et avait normalement évolué dans son pays où vivent encore une de ses tantes et ses frères et soeurs. Illettrée, elle pourrait rencontrer des difficultés réelles d'intégration en Suisse, ce que démontre du reste son parcours. Il a en effet été constaté que X._ s'était adonnée à la prostitution dès son arrivée en Suisse en 2007 et qu'en moins de trois ans elle y avait commis de nombreux délits. Enfin, les conditions de vie de Y.C._ étaient déjà difficiles, de sorte qu'avec la venue de X._, la mère serait sans doute contrainte de recourir à l'assistance publique.
Dans ces circonstances, on ne peut reprocher au Tribunal cantonal d'avoir considéré que les conditions strictes posées au regroupement familial différé de l'art. 47 al. 4 LEtr n'étaient pas réunies.
2.3 L'art. 8 CEDH n'octroie pas non plus de droit absolu à l'entrée ou au séjour en Suisse de membres de la famille d'une personne ayant le droit de séjourner durablement dans ce pays (ressortissant suisse ou étranger établi). La protection accordée par cette disposition suppose que la relation avec l'enfant - qui doit être étroite et effective - ait préexisté (cf. arrêt 2C_537/2009 du 31 mars 2010, consid. 3). En particulier, le parent qui a librement décidé de venir en Suisse et d'y vivre séparé de sa famille pendant de nombreuses années ne peut normalement pas se prévaloir d'un tel droit en faveur de ses enfants restés au pays lorsqu'il entretient avec ceux-ci des contacts moins étroits que l'autre parent ou les membres de la famille qui en prennent soin, et qu'il peut maintenir les relations existantes (ATF 133 II 6 consid. 3.1.2 p. 10 et les arrêts cités).
Il est certain que les relations entre les recourantes n'étaient ni préexistantes, ni étroites ou effectives au moment de la demande de regroupement familial, puisqu'elles avaient été interrompues depuis l'arrivée en Suisse de Y.C._ en avril 2002 (cf. supra consid. 2.2). Les conditions pour requérir une autorisation de séjour pour regroupement familial fondée sur l'art. 8 CEDH ne sont donc pas davantage remplies.
2.4 Au vu de ce qui précède, les juges cantonaux n'ont pas violé l'art. 47 al. 4 LEtr, ni l'art. 8 CEDH, en refusant d'accorder à X._ une autorisation de séjour pour regroupement familial sur la base de ces dispositions.
3. Les recourantes se prévalent toutefois du principe de l'interdiction de la discrimination découlant de l'art. 14 CEDH. Elles estiment que Y.C._ devrait pouvoir, au même titre que les ressortissants de l'Union européenne, prétendre à un regroupement familial avec sa fille âgée de dix-sept ans sur la base de l'art. 3 annexe 1 ALCP sans se voir opposer les délais de l'art. 47 al. 1 LEtr.
Ce faisant, les recourantes perdent de vue qu'elles ne remplissent pas les conditions de l'art. 8 CEDH pour bénéficier du regroupement familial, de sorte qu'aucune discrimination par rapport à cette disposition de la Convention ne peut être reconnue dans leur cas. Les circonstances pour revenir sur la jurisprudence publiée in ATF 136 II 120 ss, où le Tribunal fédéral a constaté que les ressortissants suisses étaient victimes d'une discrimination à rebours en matière de regroupement familial et qu'il appartenait au législateur d'y remédier, sinon il se réservait de corriger lui-même cette inégalité sur la base de l'art. 14 CEDH (ATF 136 II 120 consid. 3.5.3 p. 131) ne sont ainsi pas réunies.
4. Dans ces circonstances, le recours doit être rejeté. Les frais seront mis à la charge de Y.C._ (art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante Y.C._.
3. Le présent arrêt est communiqué au représentant des recourantes, avec une copie du dispositif en plus, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 10 mai 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat