Faits:
A. A._, ressortissant libanais né le 20 mai 1955, a épousé une compatriote, C._, dont il a eu quatre enfants: D._, née le 1er mars 1987, E._, né le 25 juin 1991, F._, né le 28 octobre 1992 et B._, née le 16 septembre 1994. Après son divorce, A._ s'est installé en Suisse où il a obtenu une autorisation d'établissement. Ses enfants sont restés au Liban, auprès de leur mère, jusqu'à ce que ses deux fils E._ et F._, soient également autorisés à s'établir en Suisse.
B. Le 23 août 2007, B._ a demandé l'autorisation de rejoindre son père en Suisse. Sa requête a été appuyée par A._, qui a fait valoir que son ex-épouse, malade, ne pouvait plus s'occuper de leur fille, pas plus que sa grand-mère. Il a produit la copie d'un jugement du 22 mars 2007 du Tribunal religieux de Baabda, constatant que la mère de B._ autorisait celle-ci à rejoindre son père en Suisse.
C. Par décision du 16 avril 2008, le Service de la population du canton de Vaud (ci-après: le Service de la population) a rejeté la demande d'autorisation d'entrée en Suisse et de séjour de l'intéressée.
D. Le 16 juin 2008, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de A._ et confirmé la décision du Service cantonal du 16 avril 2008.
E. Par arrêt du 13 octobre 2008 (2C_482/2008), le Tribunal fédéral a rejeté, dans la mesure où il était recevable, le recours de A._ déposé contre le jugement cantonal.
F. B._ est entrée en Suisse le 5 septembre 2009 (recte: 2010) et une demande d'autorisation de séjour a été déposée par son père le 7 septembre 2010. Traitant cette requête comme une demande de réexamen, le Service de la population l'a déclarée irrecevable et l'a subsidiairement rejetée, le 4 novembre 2010.
G. Saisi d'un recours de A._ et B._ contre cette décision, le Tribunal cantonal (Cour de droit administratif et public) l'a rejeté par arrêt du 8 mars 2011, en statuant selon la procédure simplifiée de l'art. 82 de la loi cantonale sur la procédure administrative du 28 octobre 2008 (LPA-VD; RSVD 173.36), et a confirmé la décision attaquée par substitution de motifs. Il a notamment retenu que des mesures d'instructions supplémentaires, telles que l'audition des parties et de témoins n'étaient pas nécessaires, du moment que les faits étaient suffisamment établis. Il a ainsi jugé que le refus d'entrer en matière du Service de la population était douteux, car les recourants alléguaient des changements dans leur situation familiale. Cette question pouvait cependant rester indécise, dès lors que le Service de la population avait de surcroit rejeté la demande au fond, ce qui était fondé. Pour le reste, les juges cantonaux ont estimé que les motifs allégués par les recourants à l'appui de leur requête de regroupement familial n'étaient pas déterminants, du moment que A._ avait quitté le Liban en 1997, alors que sa fille B._ était âgée de trois ans et que celle-ci avait vécu jusqu'à l'âge de seize ans auprès de sa mère. Du point de vue de l'intérêt à son développement social et à son intégration, il n'y avait pas de raison de déraciner cette jeune fille, bientôt majeure, du milieu où elle avait toujours vécu. Ni la réalité, ni la gravité de la maladie de sa mère n'étaient démontrées et on ne voyait pas pourquoi la famille maternelle de B._, voire celle de sa soeur aînée, ne serait pas apte à la prendre en charge. Quant au fait que ses deux frères aient pu s'installer en Suisse, il n'était pas non plus décisif, dès lors que ceux-ci étaient majeurs.
H. A._ et B._ forment un recours en matière de droit public et demandent au Tribunal fédéral, avec suite de frais et dépens, de réformer l'arrêt du Tribunal cantonal du 8 mars 2011, en ce sens que le Service de la population est invité à octroyer une autorisation de séjour à B._ au titre de regroupement familial. A titre subsidiaire, ils concluent au renvoi de la cause au Service de la population pour complément d'instruction et nouvelle décision dans le sens des considérants.
I. Le Tribunal cantonal a déposé des observations sur les griefs formels soulevés par les recourants et se réfère à son arrêt pour le surplus. Le Service cantonal a renoncé à déposer des déterminations.
L'Office fédéral des migrations propose le rejet du recours.
J. Par ordonnance du 13 avril 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence et la recevabilité des recours qui lui sont soumis (cf. art. 29 al. 1 LTF; ATF 136 II 470 consid. 1 p. 472, 436 consid. 1 p. 438).
1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Selon l'art. 43 al. 1 de la loi fédérale sur les étrangers (LEtr; RS 142.20), le conjoint étranger du titulaire d'une autorisation d'établissement ainsi que ses enfants célibataires étrangers de moins de dix-huit ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui.
Comme son père bénéficie d'une autorisation d'établissement, la recourante dispose normalement d'un droit à l'octroi d'une autorisation de séjour en vertu de la disposition précitée. Le motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF ne lui est dès lors pas opposable. La question de la réalisation des conditions pour qu'une telle autorisation puisse lui être délivrée relève du fond et non de la recevabilité.
Un étranger peut en outre invoquer la protection de la vie familiale découlant de l'art. 8 § 1 CEDH, respectivement 13 al. 1 Cst., à condition qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (ATF 135 II 143 consid. 1.3.1 p. 145; 130 II 281 consid. 3.1 p. 285 et les arrêts cités). Dès lors que la recourante vit chez son père, titulaire d'une autorisation d'établissement, la voie du recours en matière de droit public est en principe également ouverte sous l'angle de l'art. 8 § 1 CEDH.
1.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il est recevable en tant que recours en matière de droit public.
2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). En outre, selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Dans ses déterminations sur le recours, le Tribunal cantonal relève que plusieurs pièces produites par les recourants (nos 4, 12, 13, 14, 19, 20 et 21) ne lui ont pas été soumises. De leur côté, les recourants font valoir qu'au vu du caractère manifestement inexact des faits retenus par l'autorité inférieure (art. 97 LTF), découlant de l'arbitraire dans l'appréciation des faits et la violation de leur droit d'être entendu, leur bordereau comporte effectivement des pièces nouvelles qui n'ont pas pu être produites en première instance, suite au refus du Tribunal cantonal d'ordonner les mesures d'instructions nécessaires.
Les pièces en cause sont certes nouvelles et ne peuvent, en tant que telles, être prises en compte devant le Tribunal fédéral en application de l'art. 99 al. 1 LTF. En revanche, le point de savoir si les faits que ces pièces sont sensés démontrer sont pertinents et si, partant, le Tribunal cantonal pouvait écarter les offres de preuves présentées à ce sujet par les recourants relève du droit d'être entendu et de l'appréciation anticipée des preuves et sera examiné dans ce contexte.
3. Les recourants se plaignent d'une violation de leur droit d'être entendu en relation avec l'établissement des faits et le refus de donner suite à leurs offres de preuve.
3.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (ATF 127 V 431 consid. 3d/aa p. 437). Ce moyen doit par conséquent être examiné en premier lieu (ATF 124 I 49 consid. 1 p. 50) et avec un plein pouvoir d'examen (ATF 127 III 193 consid. 3 p. 194 et la jurisprudence citée).
3.2 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents du dossier avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 135 I 279 consid. 2.3 p. 282; 133 I 270 consid. 3.1 p. 277; 132 II 485 consid. 3.2 p. 494).
3.3 Les recourants font essentiellement valoir qu'ils se sont vu refuser la possibilité de faire entendre la recourante au sujet de son intégration en Suisse et au Liban, ainsi que les liens qui l'unissent à son père, contrairement à ce que prévoit l'art. 12 de la Convention relative aux droits de l'enfant du 20 novembre 1989 (CDE; RS 0.107). Ils n'ont pas davantage pu faire entendre des témoins sur l'absence de solutions alternatives de garde de B._ au Liban, soit la longue prise en charge par sa grand-mère maternelle, la défection de sa mère et l'impossibilité pour la soeur aînée de s'occuper de B._.
De son côté, le Tribunal cantonal a considéré les motifs invoqués par les recourants, à savoir le fait que ses frères vivaient en Suisse, que la mère de B._ ne voulait plus s'occuper de sa fille en raison de sa maladie, que ses grands-parents paternels étaient décédés dans l'intervalle et que la soeur aînée de la recourante ne pouvait pas l'accueillir n'étaient pas déterminants, tout en relevant qu'il n'était pas démontré que la mère ne pouvait plus s'occuper de sa fille, ni pourquoi la famille de B._, en particulier sa famille maternelle et celle de sa soeur aînée, ne serait pas apte à la prendre en charge au Liban. Il a donc estimé qu'au vu du dossier, il était suffisamment renseigné pour mettre un terme à l'instruction, l'audition des parties et de témoins n'étant ainsi pas nécessaire.
3.4 En ce qui concerne la demande d'autorisation de séjour pour B._, la requête déposée le 7 septembre 2010 a été faite passé le délai de douze mois prévu par l'art. 47 al. 1 LEtr (cf. art. 126 al. 3 LEtr), de sorte qu'il s'agit bien, comme l'a constaté le Tribunal cantonal, d'un regroupement familial différé, autorisé seulement pour des raisons familiales majeures (cf. art. 47 al. 4 LEtr et 73 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative: OASA; RS 142.201). Sur ce point, le Tribunal fédéral a précisé que les conditions strictes posées par la jurisprudence rendue sous l'empire de la loi fédérale sur le séjour et l'établissement des étrangers (LSEE) en cas de regroupement familial partiel différé pouvaient jouer un rôle en relation avec les «raisons familiales majeures» au sens de l'art. 47 al. 4 LEtr (ATF 136 II 78 consid. 4.7 p. 85; arrêt 2C_687/2010 du 4 avril 2011, consid. 4.1). La reconnaissance d'un droit au regroupement familial suppose ainsi qu'un changement important de circonstances, notamment d'ordre familial, se soit produit, telles qu'une modification des possibilités de la prise en charge éducative à l'étranger (ATF 130 II 1 consid. 2 p. 3; 124 II 361 consid. 3a p. 366). Lorsque le regroupement familial est demandé à raison de changements importants des circonstances à l'étranger, notamment dans les rapports de l'enfant avec le parent qui en avait la charge, il convient d'examiner s'il existe des solutions alternatives, permettant à l'enfant de rester où il vit; cette exigence est d'autant plus importante pour les adolescents (ATF 133 II 6 consid. 3.1.2 p. 11; cf. aussi arrêts 2A.405/2006 du 18 décembre 2006 et 2A.737/2005 du 19 janvier 2007). Le regroupement familial partiel suppose également de tenir compte de l'intérêt supérieur de l'enfant, comme l'exige l'art. 3 § 1 CDE. Enfin, les raisons familiales majeures pour le regroupement familial ultérieur doivent être interprétées d'une manière conforme au droit fondamental au respect de la vie familiale (art. 13 Cst., art. 8 CEDH; arrêt précité 2C_687/2010, consid. 4.1).
3.5 En l'espèce, contrairement à ce qu'ont retenu les juges cantonaux, les arguments présentés par les recourants au sujet du changement des circonstances dans la prise en charge de B._ au Liban (défection totale de la mère, décès de la grand-mère maternelle qui s'en occupait et impossibilité de la soeur aînée de s'occuper d'elle et de la recevoir dans sa propre famille) étaient pertinents dans le cadre de l'art. 47 al. 4 LEtr. La situation de B._ s'est en effet beaucoup modifiée depuis le premier arrêt du Tribunal fédéral du 13 octobre 2008 (2C_482/2008), où le fait que ses deux frères étaient établis en Suisse et vivaient chez leur père n'avait pas été pris en compte, faute d'avoir été allégué et signalé par le Service de la population. La recourante est retournée au Liban après cet arrêt, mais elle est revenue en Suisse en septembre 2010, parce que sa grand-mère était décédée et qu'aucune solution de garde alternative n'avait été trouvée. Une nouvelle demande d'autorisation de séjour a été déposée pour elle, le 7 septembre 2010, au motif que celle-ci ne pouvait pas rester au Liban en raison d'évènements graves. Elle a ensuite été inscrite au gymnase X._ pour l'année scolaire 2010-2011, où elle s'est rapidement intégrée. Compte tenu de ces circonstances particulières, il était donc nécessaire de clarifier les faits relatifs à l'impossibilité de la mère de prendre en charge sa fille au Liban et aux raisons qui ont conduit B._ à revenir en Suisse. En présence d'éléments pertinents, les juges ne pouvaient donc pas à la fois refuser de donner suite aux offres de preuves présentées et en même temps considérer que lesdits éléments n'étaient pas prouvés ou démontrés.
3.6 Il s'ensuit que le grief de violation du droit d'être entendu se révèle fondé, de sorte que le recours doit être admis et l'arrêt attaqué annulé sans qu'il soit nécessaire d'examiner les autres griefs soulevés par les recourants.
La cause sera renvoyée au Tribunal cantonal pour instruction et nouvelle décision. Pour cela il y aura lieu au moins d'entendre l'intéressée, comme le prévoit l'art. 47 al. 4 LEtr en cas de nécessité. Sur ce point, le Tribunal cantonal ne peut en effet se retrancher derrière la jurisprudence du Tribunal fédéral relative à l'art. 12 CDE ( ATF 124 II 361 consid. 3c p. 368; arrêt 2C_746/2009 du 16 juin 2010 consid. 4), comme il l'a fait dans l'arrêt attaqué, car la situation de la recourante, qui vit en Suisse depuis une année avec son père et ses deux frères, n'est en rien comparable aux cas jugés dans ces arrêts. Il faut aussi préciser que si les faits allégués par les recourants sont confirmés, soit le départ de la mère en Italie, où elle aurait déposé une demande de "protezione internazionale", le décès des grands-parents paternels et maternels, le refus de la soeur aînée d'assumer la responsabilité de la prise en charge de B._ au Liban et les problèmes rencontrés par la recourante avec la famille de son père, proche du Hezbollah, il y aurait lieu de constater que les conditions pour délivrer à B._ une autorisation de séjour sur la base de l'art. 47 al. 4 LEtr sont remplies.
4. Au vu de ce qui précède, le recours doit être admis et l'arrêt attaqué annulé. La cause sera renvoyée au Tribunal cantonal pour instruction et nouvelle décision dans le sens des considérants.
Il n'y a pas lieu de percevoir de frais de justice auprès du canton de Vaud, dont les intérêts pécuniaires ne sont pas en cause (art. 66 al. 4 LTF).
Le canton de Vaud versera en revanche aux recourants une indemnité à titre de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
2. La cause est renvoyée au Tribunal cantonal pour instruction et nouvelle décision dans le sens des considérants.
3. Le canton de Vaud versera aux recourants une indemnité de 2'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 13 septembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat