Faits:
A. Sir X._, de nationalité britannique, domicilié de son vivant à E._, était père de quatre enfants: C._, née d'un premier mariage, D._, B._ et A._, nés d'un deuxième mariage. Le 12 septembre 1968, alors qu'il était déjà domicilié en Suisse et divorçait de sa deuxième épouse, il a rédigé un testament olographe. Le 5 avril 1970, après le prononcé du divorce en question, il a rédigé un codicille. Le testament et le codicille favorisaient tous deux son fils A._.
En 1972, Sir X._ a épousé en troisièmes noces dame X._. Préalablement, le 16 juin 1972, les futurs époux avaient conclu un contrat de mariage, soumis au droit français, qui ne se référait pas aux dispositions successorales précitées, mais qui comprenait un pacte successoral.
Sir X._ est décédé le 29 mars 2004 et sa succession a été ouverte le 29 avril suivant. L'inventaire de ses biens au jour du décès, établi par un notaire en date du 30 mars 2006, faisait état d'un actif net de 6'935'659 fr. 59.
B. Par demandes séparées adressées à la Cour civile du Tribunal cantonal vaudois les 22/24 mars et 28 avril 2005, l'épouse et les trois filles du défunt (ci-après: les demanderesses) ont conclu à la révocation, à l'annulation et à la déclaration de nullité du testament et du codicille ainsi qu'à la validité du contrat de mariage conclu entre le défunt et sa troisième épouse. Elles ont également pris d'autres conclusions en réduction et en partage. Le fils A._ (ci-après: le défendeur) a notamment conclu au rejet des conclusions relatives à la révocation, à l'annulation et à la déclaration de nullité du testament et du codicille.
Les 9/10 février 2006, le juge instructeur a ordonné l'instruction et le jugement séparé sur la question de la révocation, de l'annulation ou de la nullité du testament et du codicille. Un délai a alors été fixé aux parties pour établir, par pièces, le contenu du droit étranger éventuellement applicable. Les parties ont produit divers avis de droit établis pour la plupart entre juin 2004 et novembre 2005 et pour quatre d'entre eux en janvier et avril 2006.
Par jugement préjudiciel du 16 janvier 2007, la Cour civile a constaté que le testament et le codicille avaient tous deux été révoqués par le troisième mariage en 1972. En effet, dans son testament, le défunt avait fait une professio juris en faveur du droit anglais. laquelle était formellement valable, de même que l'étaient le testament et le codicille; or, à teneur de la section 18 du Wills Act de 1837 qui, selon les divers avis de droit produits par les parties, trouvait application en l'occurrence, tout testament fait par un homme ou une femme devait être révoqué par son mariage. La cour a par ailleurs décidé que les frais et dépens de son jugement suivraient le sort de la cause au fond.
Après avoir vainement recouru contre ce jugement auprès de la Chambre des recours du Tribunal cantonal vaudois, puis auprès du Tribunal fédéral (cf. arrêt 5A_437/2008 du 23 février 2009), le défendeur a, le 27 avril 2009, saisi la Cour civile d'une requête incidente en réforme. A l'audience du juge instructeur du 30 avril 2009, les parties ont signé une transaction prévoyant en substance que le contrat de mariage du 16 juin 1972 soumis au droit français était valide, que les avoirs composant les trusts constitués par le défunt de son vivant faisaient partie de la masse successorale et/ou matrimoniale à partager, sous réserve de l'application dudit contrat de mariage, que les parties retiraient toutes autres conclusions et que le juge instructeur statuerait sur le principe de l'allocation et la quotité des dépens qui devaient être alloués en vertu du jugement préjudiciel du 16 janvier 2007. Les parties ont par ailleurs donné mandat au notaire commis au partage d'instruire sans délai sur l'existence et le contenu des trusts constitués du vivant du de cujus. Le juge instructeur a pris acte de la transaction pour valoir jugement et ordonné que la cause soit rayée du rôle, sous réserve de la question des dépens.
C. Par décision du 28 mai 2009, le juge instructeur a mis l'entier des dépens à la charge du défendeur, soit 205'673 fr., montant qu'il a réparti entre les demanderesses de la manière suivante:
- 50'636 fr. 50 à dame X._;
- 50'568 fr. 50 à B._;
- 97'568 fr. -- à C._;
- 6'900 fr. -- à D._.
Le défendeur a interjeté un recours contre cette décision auprès de la Chambre des recours du Tribunal cantonal vaudois, en concluant notamment à ce que les dépens alloués aux demanderesses soient réduits de moitié, subsidiairement d'un tiers. Par arrêt du 19 août 2009, dont les considérants ont été expédiés aux parties le 30 novembre suivant, la Chambre des recours a rejeté le recours et confirmé la décision attaquée.
D. Par acte du 15 janvier 2010, le défendeur a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral, assortis d'une requête d'effet suspensif. Invoquant la violation de l'art. 9 Cst., il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouveau jugement et nouvelle instruction.
L'intimée D._ conclut à l'admission du recours, les autres intimées à son rejet. La cour cantonale se réfère aux considérants de son arrêt.
La requête d'effet suspensif a été admise par ordonnance présidentielle du 11 février 2010.
Considérant en droit:
1. 1.1 La recevabilité du recours au Tribunal fédéral contre une décision portant sur la condamnation aux dépens de l'instance cantonale se détermine en fonction de la question principale (arrêt 5A_218/2007 du 7 août 2007 consid. 2.1). En l'espèce, celle-ci portait sur la validité de dispositions testamentaires et d'un contrat de mariage. Il s'agit ainsi d'une contestation civile au sens de l'art. 72 LTF. La valeur litigieuse, calculée en fonction des conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 LTF), à savoir un montant de dépens de 205'673 fr. contesté à raison de la moitié (102'836 fr.), subsidiairement d'un tiers (68'558 fr.), excède le seuil de 30'000 fr. fixé à l'art 74 al. 1 let. b LTF. Le recourant, qui a succombé dans ses conclusions devant l'autorité précédente, a un intérêt juridique à l'annulation ou à la modification de l'arrêt attaqué (art. 76 al. 1 LTF). Interjeté dans le délai (art. 100 al. 1 et 46 al. 1 let. c LTF) et la forme (art. 42 LTF) prévus par la loi contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 75 LTF), le recours en matière civile est donc recevable.
Comme la décision attaquée peut ainsi faire l'objet d'un recours selon les art. 72 ss LTF, le recours constitutionnel est irrecevable (art. 113 LTF; cf. arrêt 4A_55/2007 consid. 3), étant d'ailleurs rappelé que le droit fédéral dont la violation peut être invoquée à l'appui d'un recours en matière civile (art. 95 let. a LTF) comprend les droits constitutionnels (ATF 133 III 446 consid. 3.1).
1.2 Le Tribunal fédéral ne connaît de la violation de droits fondamentaux ou du droit cantonal que si ce grief a été dûment invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 134 II 349 consid. 3 p. 352).
Par ailleurs, il conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations de l'autorité précédente ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401; 135 II 145 consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.3 Ainsi que le relèvent deux des intimées, le recourant ne prend pas de conclusions chiffrées dans son mémoire, mais se limite à solliciter l'annulation de l'arrêt cantonal et le renvoi de la cause à l'instance inférieure.
A teneur de l'art. 42 al. 1 LTF, tout mémoire doit indiquer les conclusions. Si le Tribunal fédéral admet le recours, il peut en principe statuer lui-même sur le fond (art. 107 al. 2 LTF concernant le recours en matière civile). La partie recourante ne peut dès lors se borner à demander l'annulation de la décision attaquée, mais elle doit également, en principe, prendre des conclusions sur le fond du litige; il n'est fait exception à cette règle que lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait de toute manière pas en situation de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité inférieure (ATF 133 III 489 consid. 3.1). Ainsi en va-t-il lorsqu'il s'agit, comme en l'espèce, d'appliquer le droit cantonal, le rôle du Tribunal fédéral n'étant pas d'appliquer lui-même le droit cantonal, mais uniquement de vérifier que cette application ne soit pas entachée d'arbitraire (ATF 134 III 379 consid. 1.3 p. 383/384).
2. Dans un premier ensemble de griefs, le recourant reproche à l'autorité précédente d'avoir ignoré certains faits ou de ne pas avoir pris en compte suffisamment d'éléments factuels. Ces griefs sont sans portée dans la mesure où ils n'apparaissent pas pertinents pour l'issue du litige. Ainsi en va-t-il de la dénomination de l'audience du 30 avril 2009, de l'existence d'autres procédures opposant les parties devant d'autres instances vaudoises ou de l'objet précis de la requête incidente en réforme déposée le 27 avril 2009 par le recourant. Il ressort en effet de la décision attaquée - qui n'est pas taxée d'arbitraire sur ce point - que les parties ont chargé le juge instructeur de statuer sur la question des dépens uniquement en relation avec le jugement préjudiciel du 16 janvier 2007. Dans cette mesure, c'est sans verser dans l'arbitraire que l'autorité cantonale pouvait arrêter globalement les dépens en fonction des seules opérations liées audit jugement. Elle n'avait en particulier pas à tenir compte des actes ultérieurs à ce jugement, que ce soit des requêtes de l'une ou l'autre des parties ou des audiences devant la Cour civile, pas plus que des autres procédures opposant les parties. D'ailleurs, les frais de justice retenus par les autorités cantonales excluent - pour l'ensemble des parties à la procédure - tout émolument pour des opérations postérieures au jugement du 16 janvier 2007, exception faite de l'émolument réduit pour un jugement sans audience.
3. Dans un second ensemble de griefs, le recourant invoque une application arbitraire des art. 91 ss CPC/VD relatifs à la fixation des frais et dépens.
3.1 Selon la jurisprudence, une décision est arbitraire au sens de l'art. 9 Cst. lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (ATF 132 III 209 consid. 2.1 p. 211; 131 I 57 consid. 2 p. 61). En ce qui concerne la façon dont le droit cantonal a été appliqué, il ne faut pas confondre arbitraire et violation de la loi; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (ATF 132 I 13 consid. 5.1; 131 I 217 consid. 2.1).
Par ailleurs, la décision fixant le montant des dépens alloués à une partie obtenant totalement ou partiellement gain de cause n'a en principe pas besoin d'être motivée (ATF 111 la 1 consid. 2a; plus récemment, arrêt U 85/2004 du 14 mars 2005, consid. 3.2; consid. 6.2 non publié de I'ATF 129 III 675). Lorsqu'il existe un tarif fixant des minima et des maxima, le juge ne motivera sa décision que s'il sort de ces limites ou si des éléments extraordinaires sont invoqués par la partie (ATF 111 la 1 consid. 2a; arrêt non publié 4P.292/2005 du 3 août 2006 consid. 3.1). En outre, si la norme applicable - même de droit fédéral - confère au juge du fait un pouvoir d'appréciation, le Tribunal fédéral ne doit pas substituer sa propre appréciation à celle de l'autorité précédente: il ne peut intervenir que si celle-ci a excédé les limites de son pouvoir d'appréciation ou abusé de celui-ci et a abouti à un résultat manifestement injuste ou à une iniquité choquante (ATF 132 III 97 consid. 1).
3.2 Selon l'art. 91 CPC/VD, les dépens comprennent les frais et les émoluments de l'office payés par la partie (let. a), les frais de vacation des parties (let. b), ainsi que les honoraires et les déboursés de mandataire et d'avocat (let. c). L'art. 92 du même code prévoit que les dépens sont alloués à la partie qui a obtenu l'adjudication de ses conclusions (al. 1), le juge pouvant les réduire ou les compenser lorsqu'aucune des parties n'obtient entièrement gain de cause (al. 2). La jurisprudence cantonale relative à cette disposition prévoit que lorsque les parties transigent en laissant au tribunal le soin de statuer sur le sort des dépens, le juge doit se borner à comparer le montant réclamé à celui alloué par la transaction, en tenant compte, le cas échéant, de ce qu'un des plaideurs aurait compliqué abusivement la procédure et de ce qu'une transaction implique normalement aussi une concession sur les dépens, et non pas rechercher quelle aurait été sa propre solution sur le fond (JT 1987 III 127; Poudret/Haldy/Tappy, Procédure civile vaudoise, 3e éd. 2002, n. 7.10 ad art. 92 CPC, p. 182).
Faisant application de l'art. 92 al. 1 CPC/VD, la cour cantonale a alloué l'entier de leurs dépens aux parties demanderesses qui avaient obtenu l'adjudication de leurs conclusions dans le jugement préjudiciel du 16 janvier 2007.
A propos des frais de justice, arrêtés pour chacune des demanderesses sur la base des art. 169 ss du Tarif vaudois des frais judiciaires en matière civile (ci-après: TFJC/VD), elle a notamment retenu que C._ et D._ avaient constitué un conseil commun jusqu'à ce que D._ mandate un nouvel avocat, lequel avait exclusivement représenté sa cliente lors de l'audience du 30 avril 2009: pour ce motif, cette dernière se voyait allouer uniquement un émolument de 3'750 fr. pour un jugement sans audience, alors que sa soeur obtenait des émoluments pour toutes les opérations antérieures au jugement préjudiciel, soit 34'068 fr.
Quant aux dépens couvrant les honoraires d'avocat, la cour les a fixés globalement à 30'000 fr. pour chacune des demanderesses dame X._, B._ et C._, et à 3'000 fr. pour D._, celle-ci ayant constitué un mandataire séparé tardivement, lequel n'avait pas déposé de mémoire de droit. Pour fixer ces montants, elle a d'abord considéré que l'objet du litige couvrait l'entier de la succession; elle a ensuite constaté que les actions des demanderesses C._, D._ et B._ tendaient à ce qu'il soit constaté que chacune d'elles avait droit à un cinquième de la succession, tandis que la demanderesse dame X._ prétendait au quart de la succession. Partant de l'inventaire des biens du défunt du 30 mars 2006 (6'935'659 fr.), elle est arrivée à la conclusion que l'on pouvait tabler pour chacune des demanderesses sur une valeur litigieuse dépassant le million de francs et que les montants alloués à titre de dépens ne dépassaient pas le maximum de 20 % de cette valeur fixé à l'art. 5 du Tarif vaudois des honoraires d'avocat dus à titre de dépens (ci-après: TAv/VD).
La cour cantonale a alloué à la demanderesse C._ un montant supplémentaire d'honoraires de 30'000 fr. pour les frais d'avis de droit, frais qui avaient été payés par le conseil de cette demanderesse et qu'il convenait d'évaluer au même titre que l'intervention des avocats des parties en fonction des aspects internationaux du litige (professio iuris en faveur du droit anglais, domicile en Suisse du de cujus, contrat de mariage soumis au droit français) et de la nécessité de déterminer non seulement le contenu du droit étranger, mais également l'éventualité de son application à la succession en cause afin de savoir si le testament et le codicille avaient été révoqués par mariage. La cour a rappelé par ailleurs qu'il était conforme à la jurisprudence cantonale d'inclure les avis de droit dans les honoraires des parties et non dans les débours.
3.3 Le recourant conteste la valeur litigieuse prise en considération, soit le montant de 6'935'659 fr. correspondant au total de l'inventaire successoral. Se référant à la jurisprudence (ATF 78 II 181; 81 II 413) ainsi qu'à la doctrine (POUDRET/SANDOZ-MONOD, Commentaire de la loi fédérale d'organisation judiciaire, vol. I, Berne 1990, n. 9.4 ad art. 36 OJF), il soutient que la valeur de l'action en nullité d'un testament ou d'un codicille est égale au montant supplémentaire qui reviendrait au demandeur ou dont il serait libéré en cas d'annulation. Divers biens de la succession n'étant, à son avis, pas touchés par la validité ou l'annulation des dispositions post mortem, tels que la part de copropriété sur l'appartement de F._, la villa de E._ et des peintures de grands maîtres, il estime que la valeur litigieuse est au maximum de 150'000 à 200'000 fr. par partie et donc que le montant de 60'000 fr. alloué à l'une des demanderesses dépasse le 30 % et celui de 30'000 fr. le 20 % de ladite valeur.
C'est arbitrairement, au vu de la jurisprudence invoquée, confirmée à plusieurs reprises (cf. notamment arrêts 5C.23/1994 du 15 juin 1994 consid. 1a et 5C.56/1995 du 29 juin 1995 consid. 1), que la cour cantonale a retenu que l'entier des actifs de la succession était l'objet du litige. En effet, la seule question soumise au jugement préjudiciel du 16 janvier 2007 était de savoir si le testament et le codicille avaient été révoqués de par la loi du fait du troisième mariage du de cujus. Seul était dès lors litigieux l'avantage conféré au défendeur par les dispositions testamentaires en question. En outre, le régime matrimonial n'était pas en cause. La cour devait donc déterminer l'intérêt effectif de chacune des demanderesses à l'admission de son action respective et ne pas se contenter de la valeur totale de la succession divisée entre les héritiers. L'allocation de dépens au titre d'honoraires d'avocat à laquelle a procédé la cour cantonale doit par conséquent être annulée dans la mesure où elle se fonde sur une valeur litigieuse manifestement excessive. Comme le relève d'ailleurs à raison le recourant, toutes les demanderesses avaient la même position et avaient développé des arguments communs, de sorte qu'il était exagéré de leur allouer à chacune respectivement 30'000, 30'000, 60'000 et 3'000 fr. à ce titre.
Il en va de même de la détermination des frais de justice compris dans les dépens (art. 91 CPC/VD), en tant qu'elle dépend de la valeur litigieuse (cf. art. 169 al. 1, 172 al. 1 et 175 en liaison avec 173 al. 1 TFJC/VD) et qu'elle se fonde sur le même montant de 6'935'659 fr.
Quant au pourcentage de 20 % maximum fixé à l'art. 5 TAv/VD, force est de relever d'emblée qu'il ne saurait être admis pour un litige qui porte, non pas sur la succession, mais sur une question préjudicielle (cf. arrêt 5A_23/2009 du 20 mai 2009 consid. 6.5 et 7).
3.4 Le recourant conteste également le montant de 30'000 fr. alloué à la demanderesse C._ à titre de frais d'avis de droit. Il fait notamment valoir que le montant de ces avis est inconnu et que l'objet de ces derniers dépassait largement la question précise du droit applicable.
Selon la jurisprudence et la doctrine invoquées par la cour cantonale, les avis de droit font partie des dépens lorsque les parties sont astreintes à établir l'existence ou la teneur du droit étranger (JdT 1963 III 127); ils n'en feraient pas partie, en revanche, lorsqu'ils sont destinés à compléter la documentation juridique d'une partie ou à étayer sa thèse (JdT 1963 III 95; Poudret/Haldy/Tappy, Procédure civile vaudoise, 3e éd. 2002, n. 5 ad art. 91 CPC/VD). En principe, le contenu du droit étranger est établi d'office par le juge, mais la collaboration des parties peut être requise à cet effet (art. 16 LDIP; ATF 124 I 49 consid. 2b p. 51/52). En l'espèce, le juge a donné aux parties la faculté d'établir par pièces le contenu du droit étranger. Les avis de droit déposés dans ce contexte entraient donc dans les débours, dont le remboursement intervient en principe sur la base de justificatifs, à la différence des honoraires, destinés à rémunérer le travail proprement dit de l'avocat et qui sont alloués sur la base d'une estimation. Il était donc arbitraire d'allouer à une partie un montant de 30'000 fr. pour des avis de droit sans savoir combien ceux-ci avaient coûté, et ce à titre d'honoraires, la décision ayant à cet égard pour résultat manifestement injuste de moins bien rémunérer l'avocat d'une autre partie qui aurait fait le travail lui-même au lieu de s'adresser à un expert. Qu'une telle façon de faire soit éventuellement conforme à la pratique cantonale ne signifie pas que celle-ci soit exempte d'arbitraire.
4. La décision attaquée devant être annulée pour les deux motifs qui viennent d'être exposés (consid. 3.3 et 3.4), l'examen des autres moyens du recourant s'avère superflu. Conformément au considérant 1.3 ci-dessus, la cause doit être renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Compte tenu de l'issue du recours, les frais et dépens doivent être mis à la charge des intimées, à l'exception de celle qui a conclu à l'admission du recours (art. 66 al. 1 et 5, 68 al. 1, 2 et 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est admis, la décision attaquée annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
3. Les frais judiciaires, arrêtés à 4'500 fr., sont mis à la charge des intimées dame X._, B._ et C._ à parts égales, soit 1/3 chacune, et solidairement.
4. Une indemnité de 4'500 fr., payable au recourant à titre de dépens, est mise à la charge des intimées dame X._, B._ et C._ à parts égales, soit 1/3 chacune, et solidairement.
5. Le présent arrêt est communiqué aux participants à la procédure et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 octobre 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Fellay