Faits:
A. A.X._, née en 1945, ressortissante de Bosnie-Herzégovine, est entrée en Suisse au bénéfice d'un visa pour visite valable du 15 novembre 2009 au 12 février 2010. Elle a trois enfants, Y._ et Z._ toutes deux titulaires d'un permis d'établissement et B.X._, ressortissant suisse, qui ont sollicité en sa faveur l'octroi d'un permis pour regroupement familial, en invoquant le fait qu'elle a une santé déclinante et des ressources insuffisantes pour vivre seule en Bosnie.
Par décision du 20 mai 2010, le Service cantonal de la population du canton de Vaud a refusé d'accorder à A.X._ une autorisation de séjour parce qu'elle ne disposait pas de moyens financiers suffisants au sens de l'art. 28 let. c LEtr et qu'elle ne se trouvait pas dans une situation d'extrême gravité au sens de l'art. 30 LEtr.
B. Par arrêt du 4 avril 2011, le Tribunal cantonal du canton de Vaud a rejeté le recours déposé par B.X._ et A.X._ contre la décision du 20 mai 2010. Malgré l'existence d'une discrimination à rebours entre ressortissants suisses et ressortissants de l'Union européenne, il n'y avait pas lieu de s'écarter de l'art. 42 LEtr qui empêche de délivrer un permis de séjour en Suisse à une personne qui n'est pas déjà titulaire d'une autorisation de séjour délivrée par un Etat avec lequel la Suisse a conclu un accord de libre circulation. Ni les conditions pour admettre un cas d'extrême gravité au sens de l'art. 30 LEtr ni celles de l'art. 28 LEtr n'étaient réunies.
C. Agissant par la voie du recours en matière de droit public, B.X._ et A.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'octroyer une autorisation de séjour à A.X._ au titre du regroupement familial.
Par ordonnance du 10 mai 2011, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.
Le Service de la population et le Tribunal cantonal du canton de Vaud ont renoncé à déposer des observations. L'Office fédéral des migrations conclut au rejet du recours.
Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Les recourants invoquent l'interdiction de la discrimination découlant de l'art. 14 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101) combinée avec le droit à la protection de la vie familiale garanti par l'art. 8 CEDH. Ils estiment qu'en vertu de l'art. 14 CEDH, A.X._ doit se voir reconnaitre, au même titre que les ressortissants de l'Union européenne en application de l'art. 3 al. 2 let. b de l'Annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), le droit au regroupement familial avec son fils de nationalité suisse sans se heurter à l'absence d'autorisation de séjour durable délivrée par un Etat avec lequel la Suisse a conclu un accord sur la libre circulation des personnes comme l'exige l'art. 42 al. 2 let. b LEtr. En tant qu'ils estiment que les art. 8 et 14 CEDH leur confèrent un droit, leur recours en matière de droit public est en principe recevable, ce qui ne préjuge pas du point de savoir si le titre de séjour doit effectivement être octroyé sur la base de ces dispositions, car cette question relève du fond et non de la recevabilité (ATF 136 II 177 consid. 1.1 p. 179 s.).
1.2 Les autres conditions du recours en matière de droit public (art. 82 ss LTF) étant réunies, il y a lieu d'entrer en matière.
2. 2.1 L'art. 42 al. 2 LEtr prévoit que les membres de la famille d'un ressortissant suisse titulaires d'une autorisation de séjour durable délivrée par un Etat avec lequel la Suisse a conclu un accord sur la libre circulation des personnes ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa validité. Sont considérés comme membres de sa famille le conjoint et ses descendants âgés de moins de 21 ans ou dont l'entretien est garanti et les ascendants du ressortissant suisse ou de son conjoint dont l'entretien est garanti.
Les recourants ne contestent pas qu'ils ne peuvent se prévaloir de cette disposition du moment que la mère du recourant, qui arrive de Bosnie-Herzégovine, ne bénéficie pas d'une autorisation préalable au sens de l'art. 42 al. 2 let. b LEtr.
2.2 L'art. 3 al. 1 et 2 annexe I ALCP prévoit que les membres de la famille d'une personne ressortissant d'une partie contractante ayant un droit de séjour ont le droit de s'installer avec elle. Le travailleur salarié doit disposer d'un logement pour sa famille considéré comme normal pour les travailleurs nationaux salariés dans la région où il est employé sans que cette disposition puisse entraîner de discriminations entre les travailleurs nationaux et les travailleurs en provenance de l'autre partie contractante. Sont considérés comme membres de la famille, quelle que soit leur nationalité son conjoint et leurs descendants de moins de 21 ans ou à charge, ses ascendants et ceux de son conjoint qui sont à sa charge et dans le cas de l'étudiant, son conjoint et leurs enfants à charge.
Les recourants admettent également qu'ils ne peuvent pas fonder leur prétention sur cette disposition puisque le recourant, ressortissant suisse, n'a pas fait usage des droits et libertés reconnus par l'Accord et n'est par conséquent pas fondé à s'en prévaloir (ATF 136 II 241 consid 11.2 et 11.3 p. 247; 136 II 120 consid. 3.4.1 p. 129).
2.3 Dans la mise en oeuvre de la libre circulation aménagée par les art. 7 let. d ALCP ainsi que 3 et 5 annexe I ALCP, le Tribunal fédéral a jugé qu'en vue d'assurer une situation juridique parallèle entre les Etats membres de la Communauté européenne et entre ceux-ci et la Suisse, il devait être renoncé à la condition (ATF 130 II 1; 134 II 10) qui exigeait qu'une personne ayant la nationalité d'un Etat tiers ait préalablement déjà séjourné légalement en Suisse ou dans une autre partie contractante pour rejoindre un ressortissant communautaire en Suisse au titre du regroupement familial (ATF 136 II 5; modification de la jurisprudence conformément à l'arrêt de la CJCE du 25 juillet 2008, C-127/08 dans l'affaire Metock).
2.4 Les recourants se plaignent d'une discrimination à raison de l'origine nationale, prohibée par l'application combinée des art. 8 et 14 CEDH telle qu'elle a été constatée dans l'ATF 136 II 120. Ils demandent que le Tribunal fédéral mette lui-même un terme à ce régime discriminatoire, puisque le législateur n'a pas donné suite à l'invitation à y remédier contenue dans ce même ATF 136 II 120.
2.5 Dans un arrêt 129 II 249 consid. 5.3 à 5.5, le Tribunal fédéral s'était déjà demandé si une discrimination des ressortissants suisses par rapport aux ressortissants de l'UE et de l'AELE violait le droit à l'égalité (art. 8 al. 1 ou 2 Cst.); il a considéré, au vu de l'art. 191 Cst. (aujourd'hui 190 Cst.), que le Tribunal fédéral était tenu d'appliquer les lois fédérales. La réglementation légale n'avait pas été adoptée par mégarde, mais bien en connaissance de cause. Le Tribunal restait ainsi tenu d'appliquer la réglementation en vigueur malgré une possible violation du droit à l'égalité. Cette jurisprudence a été confirmée dans l'arrêt 130 II 137.
Dans l'arrêt 136 II 120 consid. 3.3 à 3.4 du 22 janvier 2010, prenant en considération les art. 8 et 9 Cst. ainsi que l'art. 14 CEDH, le Tribunal fédéral a considéré qu'à ce jour, aucun motif objectif n'apparaissait clairement qui justifiait de discriminer les ressortissants suisses par rapport aux ressortissants de l'UE et de l'AELE en matière de regroupement familial (ibid. consid 3.4.1 p. 129 s.).
Malgré ce constat, le recours n'avait pas été admis (Ibid. consid. 3.5 p. 130 ss). En raison de l'art. 190 Cst., le Tribunal fédéral était néanmoins tenu d'appliquer la loi fédérale. Il n'existait aucune raison objective qui imposait d'écarter la pratique instaurée sous l'empire du droit applicable jusqu'à aujourd'hui avant une décision du législateur. Il convenait de respecter la séparation des pouvoirs et de laisser en priorité au législateur le soin de déterminer sous quelles conditions et pour quelles raisons il y avait lieu de modifier la loi afin de traiter de manière identique, ou différente, les ressortissants suisses et les ressortissants de l'UE et de l'AELE. Cela était d'autant plus vrai que, déjà en édictant la loi sur les étrangers, même s'il s'était efforcé de maintenir dans les grandes lignes un régime de regroupement familial équivalent entre ressortissant suisse et ressortissant de l'UE et de l'AELE en se fondant sur l'arrêt Akrich aujourd'hui dépassé, le législateur n'avait pas supprimé toute discrimination à rebours. Dans ces circonstances, il n'appartenait pas au Tribunal fédéral de donner des directives au législateur du moment que ce dernier disposait de nombreuses solutions qui pouvaient conduire à un résultat conforme au droit constitutionnel et conventionnel ainsi qu'à une réglementation consolidée du regroupement familial. Le Tribunal fédéral ayant repris la jurisprudence Metock, il appartenait au législateur de réexaminer si et dans quelle mesure des modifications du système légal global du regroupement familial s'imposaient. Ce n'était que si ce dernier ne se saisissait pas dans un proche avenir du problème que le Tribunal fédéral, se fondant sur l'art. 14 CEDH, pouvait être tenu dans le respect de l'art. 190 Cst. de donner primauté au droit international en allant au delà d'une décision incitative et en corrigeant lui-même une violation du droit conventionnel dans un cas d'espèce. Le Tribunal fédéral a en outre considéré que la CourEDH n'avait pas encore dû examiner si une discrimination à rebours frappant les propres ressortissants d'un Etat partie constituait une violation de l'art. 14 CEDH, raison pour laquelle il se justifiait de laisser au législateur la possibilité de tirer les conséquences de la nouvelle situation par le biais de processus démocratiques.
2.6 A la suite de cet arrêt, Andy Tschümperlin a déposé une initiative parlementaire (10.427) tendant à modifier la loi sur les étrangers en ce sens que "la discrimination subie par les ressortissants suisses par rapport à d'autres nationalités soit écartée". Après que, le 29 octobre 2010, la Commission des institutions politiques du Conseil des Etats ait refusé de donner suite à l'initiative en application de l'art. 109 al. 3 LParl, le Conseil national a lui aussi décidé, le 28 septembre 2011, sur proposition de la majorité de sa Commission des institutions politiques, de ne pas y donner suite (BO 2011 CN 1765 ss). Selon le rapport de la majorité de la Commission (BO 2011 CN Annexes, p. 264 ss) et les interventions de Bugnon et Müller, rapporteurs de la Commission devant le Conseil national (BO 2011 CN p. 1765 s.), cette décision était motivée par le fait que la Commission estimait qu'il n'était pas nécessaire que le législateur supprime immédiatement l'inégalité de traitement relevée par le Tribunal fédéral sans savoir si l'arrêt de la Cour de justice de l'UE serait maintenu à l'avenir. Elle était d'avis qu'il était préférable d'observer l'évolution de la jurisprudence avant de débattre de la création de droits supplémentaires. A cela s'ajoutait que la jurisprudence de la Cour de justice de l'UE n'avait pas valeur contraignante pour la Suisse; en cas de conflit, il appartenait au Comité mixte de trouver une solution. Une partie de la Commission contestait même qu'il y ait discrimination au sens de la loi et renvoyait au droit du législateur de ne pas se plier à un arrêt du Tribunal fédéral. Le regroupement familial incluant des proches qui viennent de pays tiers était l'un des rares domaines où la Suisse pouvait encore déterminer la politique qu'elle entend mener en matière de migration. Le regroupement familial était réglé de manière plus généreuse dans l'ALCP que dans la loi sur les étrangers ainsi que dans la CEDH. Aligner la législation suisse sur celle de l'ALCP permettrait à un cercle considérablement plus large de parents de venir en Suisse au titre de regroupement familial. Au surplus, le problème des mariages blancs serait encore renforcé, alors qu'il est de facto déjà difficile à combattre. Il convenait donc de laisser aux autorités suisses la marge de manoeuvre dont elles disposent actuellement en matière de politique migratoire. Le regroupement familial à l'origine de plus de 50% de l'immigration provenant d'Etats tiers, était considérable. En conclusion, la Commission ne voyait pas de nécessité de réviser la loi sur les étrangers dans le sens de l'initiative; la marge de manoeuvre existante devait être préservée.
2.7 A la lumière de la prise de position du législateur, il n'y a de place pour modifier la pratique résultant des ATF 129 II 249 et 130 II 137.
2.7.1 Il faut rappeler en premier lieu que l'interdiction de discrimination de l'art. 14 CEDH n'a pas d'existence indépendante; cet article complète les autres clauses normatives de la CEDH et de ses Protocoles. L'application de l'art. 14 CEDH ne présuppose pas nécessairement la violation de l'un des droits matériels garanti par la Convention. Il faut et il suffit que les faits de la cause tombent sous l'empire de l'un au moins des articles de la Convention (ATF 136 II 120 consid. 3.3.3 p. 128 s.). Le regroupement familial - en particulier le regroupement familial inversé invoqué par un enfant en faveur de ses parents - entre dans le champs d'application et de protection de l'art. 8 CEDH, notamment lorsqu'il existe un état de dépendance particulier de l'étranger majeur par rapport à des membres de sa famille résidant en Suisse (ATF 129 II 11 consid. 2 p. 13 s.). Comme il suffit que le regroupement familial tombe dans le champs de protection de l'art. 8 CEDH, il n'est pas nécessaire d'examiner à ce stade si l'étranger majeur est effectivement titulaire d'un droit garanti par l'art. 8 CEDH.
2.7.2 L'art. 14 CEDH exige que la jouissance des droits et libertés reconnus dans la Convention soit assurée, sans distinction aucune, fondée notamment sur le sexe, la race, la couleur, la langue, la religion, les opinions politiques ou toutes autres opinions, l'origine nationale ou sociale, l'appartenance à une minorité nationale, la fortune, la naissance ou toute autre situation. Selon la jurisprudence de la CourEDH, une distinction est discriminatoire au sens de l'art. 14, si elle "manque de justification objective et raisonnable", c'est-à-dire si elle ne poursuit pas un "but légitime" ou s'il n'y a pas de "rapport raisonnable de proportionnalité entre les moyens employés et le but visé" (RAINER J. SCHWEIZER, Internationaler Kommentar zur Europäischen Menschenrechtskonvention, Wolfram Karl Ed., n° 15 ad art. 14 CEDH et les nombreuses références à la jurisprudence de la CourEDH; ACHIM BRÖTEL, Schutz des Familienlebens, RabelsZeitschrift 63/1999, p. 580 ss, p. 597). Les Etats contractants jouissent d'une certaine marge d'appréciation pour déterminer si et dans quelle mesure des différences entre des situations à d'autres égards analogues justifient des distinctions de traitement. Toutefois, seules des "raisons particulièrement impérieuses" conduisent à estimer compatible avec la Convention une différence de traitement fondée sur les catégories suspectes énoncées par l'art. 14 CEDH, en particulier sur la nationalité (ATF 136 II 120 consid. 3.3.3 p. 128 s.; CHRISTOPH GRABENWARTER, Europäische Menschenrechts-konvention, 4e éd., Munich/Bâle/ Vienne, 2009, § 26 n° 16, p. 455; RAINER J. SCHWEIZER, op. cit., n° 20, 22 et 67 ad art. 14 CEDH et les nombreuses références à la jurisprudence de la CourEDH; cf. arrêt de la CourEDH, Anakomba Yula c. Belgique du 10 mars 2009, requête no 45413/07, § 37). Un traitement privilégié par un Etat de ses ressortissants ou des ressortissants d'autres Etats avec lesquels il entretient des relations étroites est en principe admissible. Un tel traitement, ses mesures concrètes ainsi que les motifs de distinction doivent néanmoins faire l'objet d'un examen de compatibilité avec l'art. 14 CEDH (cf. ACHERMANN/CARONI, Einfluss der völkerrechtlichen Praxis auf das schweizerische Migrationsrecht, in: Ausländerrecht, Uebersax/Rudin/ Hugi Yar/Geiser Ed., 2e éd. 2009, n° 6.43 ss; MARTINA CARONI, Die Praxis des europäischen Gerichtshof für Menschenrechte im Bereich des Ausländer- und Asylrechts, in Jahrbuch für Migrationsrecht 2007/2008, Achermann et alii Ed., 2008, p. 265 ss, p. 284 s.). Il n'est par ailleurs pas inusuel qu'en matière de politique migratoire, les Etats accordent aux ressortissants d'Etats tiers, à raison de leur nationalité, un traitement différent en fonction des traités d'établissement ou autres engagement internationaux similaires passés, ou non; il n'y a pas dans ce cas d'inégalité prohibée (ATF 123 I 19 consid. 3 p. 22 s.; 123 II 472 consid. 4 p. 476 ss). Il n'en va pas différemment au sein de l'UE qui traite le regroupement familial des ressortissants de l'UE d'une manière différente de celui qui concerne les ressortissants des Etats tiers (cf. les définitions différentes de la notion "membres de la famille" données par l'art. 2 ch. 2 de la directive 2004/38/CE du Parlement européen et du Conseil du 29 avril 2004 relative au droit des citoyens de l'Union et des membres de leurs familles de circuler et de séjourner librement sur le territoire des États membres, modifiant le règlement (CEE) n° 1612/68 et abrogeant les directives 64/221/CEE, 68/360/CEE, 72/194/CEE, 73/148/CEE, 75/34/CEE, 75/35/CEE, 90/364/CEE, 90/365/CEE et 93/96/CEE [JO n° L 158 du 30.4.2004, p. 77 à 123], d'une part, et, d'autre part, par l'art. 4 al. 1 de la Directive 2003/86/CE du Conseil du 22 septembre 2003 relative au droit au regroupement familial [JO n° L 251 du 03.10.2003 p. 12 à 18]).
A l'instar du constat qui prévalait déjà au moment de rendre l'ATF 136 II 120, il semble que la CourEDH n'ait jusqu'à aujourd'hui pas eu à juger de la question de savoir si ce traitement différent, qui constitue une pratique usuelle des Etats, est contraire à la CEDH. Elle a en revanche reconnu que le droit national pouvait accorder un traitement de faveur à ses nationaux, ou aux personnes venant de pays avec lesquels il a les liens les plus étroits, sans constituer pour autant de sa part une discrimination prohibée (arrêt de la CourEDH, Abdulaziz, Cabales et Balkandali c. Royaume-Uni du 28 mai 1985, série A n° 94, § 84; cf. ATF 130 II 137 consid. 4.2 p. 146 s.; MEYER-LADEWIG, Handkommentar EMRK, n° 29 ad art. 14 CEDH; SYLVIE SAROLÉA, Droits de l'homme et migrations: de la protection du migrant aux droits de la personne migrante, Bruxelles Bruylant 2006, p. 530 ss). Elle a aussi jugé qu'un traitement préférentiel consenti aux ressortissants des autres États membres des Communautés par rapport aux ressortissants d'Etats tiers reposait sur une justification objective et raisonnable, du moment que l'UE constituait un ordre juridique spécifique (arrêt de la CourEDH, Moustaquim c. Belgique du 18 février 1991, série A n° 193, § 48 s.; ATF 136 II 120 consid. 3.3.3 p. 129; cf. sur la question des traitements différenciés dans le domaine du droit des étrangers: EPINEY/CIVITELLA, Die rechtliche Stellung von Unionsbürgern und Drittstaatsangehörigen in der Schweiz - ein Vergleich ausgewählter Aspekte, in: Jahrbuch für Migrationsrecht 2007/2008, Achermann et alii Ed., 2008 p. 3 ss en particulier p. 55 s. et les références citées).
En l'espèce toutefois, il ne s'agit pas de discrimination entre diverses catégories de ressortissants étrangers (par exemple entre ressortissants de l'UE et de l'AELE d'une part et ressortissant d'Etats tiers d'autre part), mais bien entre ressortissants suisses d'une part et ressortissants de l'UE et de l'AELE d'autre part. Il s'agit d'une situation particulière de sorte que les considérants qui étaient à l'origine de l'arrêt Moustaquim ne peuvent être repris tels quels en l'espèce.
2.7.3 Comme cela ressort des débats qui ont porté sur l'initiative parlementaire Andy Tschümperlin, le Conseil national entendait avant tout limiter l'immigration considérable qui résulte du regroupement familial (cf. consid. 2.6 ci-dessus). Il a déjà été jugé que la mise en oeuvre d'une politique d'immigration restrictive constitue un intérêt public important et digne de protection (arrêt 2C_459/2011 du 26 avril 2012, consid. 3.2.2 destiné à la publication; ATF 137 I 247 consid. 4.1.2 p. 249 s.; cf. aussi ATF 126 II 425 consid. 5c/cc p. 438). Eu égard aux traités bilatéraux existants et à la jurisprudence y relative, la maîtrise du flux d'immigration peut être mise en oeuvre en prenant la nationalité pour critère de distinction. Il existe ainsi des motifs suffisants, non discriminatoires au regard de l'art. 14 CEDH, qui justifient de traiter les ressortissants suisses différemment des ressortissant de l'Union européenne en matière de regroupement familial. Les conséquences pratiques et politiques considérables qui résulteraient du regroupement familial justifient également de surseoir à d'éventuelles modifications des lois jusqu'à ce qu'il règne plus de clarté sur l'évolution du droit conventionnel. Les dispositions légales importantes doivent en effet être édictées par le législateur de façon à garantir la légitimation démocratique de l'ordre juridique et la protection des droits populaires (art. 164 en relation avec l'art. 141 Cst.; ATF 133 II 331 consid. 7.2.1 p. 347, 131 II 13 consid. 6.3 p. 26; 130 I 26 consid. 5.1 p. 43 s.). Si le législateur est d'avis qu'il faut mener une politique d'immigration restrictive et qu'il pose des limites à cet effet là où il dispose d'une marge de manoeuvre prévue par le droit conventionnel, le Tribunal fédéral ne peut se substituer à lui. En revanche, si à l'avenir une discrimination au sens de l'art. 14 CEDH était constatée et plusieurs solutions raisonnables également conformes au droit constitutionnel et conventionnel pour l'écarter étaient imaginables, cela pourrait alors au mieux conduire à fixer un délai au législateur.
3. Les considérants qui précèdent conduisent au rejet du recours. Succombant, les recourants doivent supporter les frais de la procédure fédérale solidairement entre eux (art. 66 al. 1 LTF) et n'ont pas droit à des dépens (art. 68 al.2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au représentant des recourants, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 13 juillet 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey