Faits: A. A.X._, née en 1945, ressortissante de Bosnie-Herzégovine, est entrée en Suisse au bénéfice d'un visa pour visite valable du 15 novembre 2009 au 12 février 2010. Elle a trois enfants, Y._ et Z._ toutes deux titulaires d'un permis d'établissement et B.X._, ressortissant suisse, qui ont sollicité en sa faveur l'octroi d'un permis pour regroupement familial, en invoquant le fait qu'elle a une santé déclinante et des ressources insuffisantes pour vivre seule en Bosnie. Par décision du 20 mai 2010, le Service cantonal de la population du canton de Vaud a refusé d'accorder à A.X._ une autorisation de séjour parce qu'elle ne disposait pas de moyens financiers suffisants au sens de l'art. 28 let. c LEtr et qu'elle ne se trouvait pas dans une situation d'extrême gravité au sens de l'art. 30 LEtr. B. Par arrêt du 4 avril 2011, le Tribunal cantonal du canton de Vaud a rejeté le recours déposé par B.X._ et A.X._ contre la décision du 20 mai 2010. Malgré l'existence d'une discrimination à rebours entre ressortissants suisses et ressortissants de l'Union européenne, il n'y avait pas lieu de s'écarter de l'art. 42 LEtr qui empêche de délivrer un permis de séjour en Suisse à une personne qui n'est pas déjà titulaire d'une autorisation de séjour délivrée par un Etat avec lequel la Suisse a conclu un accord de libre circulation. Ni les conditions pour admettre un cas d'extrême gravité au sens de l'art. 30 LEtr ni celles de l'art. 28 LEtr n'étaient réunies. C. Agissant par la voie du recours en matière de droit public, B.X._ et A.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'octroyer une autorisation de séjour à A.X._ au titre du regroupement familial. Par ordonnance du 10 mai 2011, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours. Le Service de la population et le Tribunal cantonal du canton de Vaud ont renoncé à déposer des observations. L'Office fédéral des migrations conclut au rejet du recours.