Faits:
A. Les époux A._, tous les deux nés en 1967, se sont mariés le 8 octobre 2004 en France. Deux enfants sont issus de cette union: B._, née le 13 août 2005, et C._, né le 29 janvier 2008.
De nationalité française, les conjoints et leurs enfants sont au bénéfice d'une autorisation d'établissement en Suisse (permis C), délivrée par le canton du Valais.
Le 17 mai 2008, l'épouse et les enfants se sont installés en France.
B. B.a Par citation en conciliation du 27 mai 2008, le mari a ouvert action en divorce devant le Juge de district de l'Entremont.
Le 11 juin suivant, il a déposé une requête de mesures provisoires urgentes portant sur les modalités d'exercice de son droit de visite sur les enfants. Le juge de district l'a déclarée irrecevable le 12 juin 2008, pour le motif qu'il n'était pas compétent ratione loci, en application de la Convention de La Haye du 5 octobre 1961 concernant la compétence des autorités et la loi applicable en matière de protection des mineurs.
B.b Dans l'intervalle, le 28 mai 2008, l'épouse avait en effet déposé une demande en divorce devant le juge aux affaires familiales du Tribunal de grande instance de Privas (France), concluant en particulier au prononcé de mesures provisoires tendant notamment à l'attribution de l'autorité parentale conjointe, à la fixation des droits de visite et d'hébergement du père ainsi qu'au versement mensuel d'une pension alimentaire de 2'000 EUR en sa faveur et de 1'000 EUR en faveur des enfants.
Par décision du 27 octobre 2008, le juge français s'est déclaré compétent s'agissant des mesures nécessaires à la protection des enfants; il a notamment accordé un droit de visite et d'hébergement au père qu'il a en outre condamné à payer pour chacun de ses enfants 500 EUR par mois. Il a en revanche sursis à statuer sur les autres mesures provisoires jusqu'à décision définitive du juge suisse au sujet de sa compétence.
B.c Le 16 janvier 2009, à la suite de l'acte de non-conciliation délivré le 16 septembre 2008, A._ a déposé un mémoire-demande de divorce devant le Juge de district de l'Entremont.
Statuant le 26 mai 2009 sur requête de mesures provisoires, ce magistrat a notamment astreint l'époux à payer à son épouse une contribution d'entretien de 4'000 fr. par mois dès le 1er juin 2008 ainsi qu'une provision pour les frais d'instance (procédure de divorce et de mesures provisoires en Suisse et en France) de 15'000 fr.
Le 20 octobre 2009, le Juge de la Cour de cassation civile du Tribunal cantonal du canton du Valais a rejeté, dans la mesure de sa recevabilité, le pourvoi en nullité interjeté par A._ contre cette décision.
C. A._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à l'annulation du jugement cantonal et au rejet, dans la mesure de sa recevabilité, de la requête de mesures provisoires et de provisio ad litem de son épouse.
L'intimée et l'autorité cantonale n'ont pas été invitées à répondre sur le fond.
D. Par ordonnance du 16 décembre 2009, la Présidente de la IIe Cour de droit civil a admis l'effet suspensif en ce qui concerne les aliments futurs, à savoir ceux dus dès le mois de décembre 2009.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1 p. 3; 134 V 443 consid. 1 p. 444).
1.1 Le prononcé de mesures provisoires selon l'art. 137 al. 2 CC est une décision en matière civile au sens de l'art. 72 al. 1 LTF. Bien que rendu alors qu'une procédure (principale) de divorce est pendante (art. 137 al. 1 CC), il est final au sens de l'art. 90 LTF, dès lors que son objet est différent de celui de la procédure au fond et qu'il met fin à l'instance sous l'angle procédural (ATF 134 III 426 consid. 2.2 p. 431). Comme le litige porte uniquement sur la contribution à l'entretien de l'intimée, le recours a pour objet une décision rendue dans une affaire pécuniaire (ATF 133 III 393 consid. 2 p. 395), dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a et al. 4 LTF; art. 74 al. 1 let. b LTF). Il a par ailleurs été interjeté dans le délai légal (art. 100 al. 1 LTF) par une partie qui a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de la décision attaquée (art. 76 al. 1 LTF).
Il en résulte que le recours constitutionnel subsidiaire est irrecevable (art. 113 LTF); il sera toutefois traité comme recours en matière civile dans la mesure où il en remplit les conditions de recevabilité (ATF 134 III 379 consid. 1.2 p. 382 et les arrêts cités).
1.2 Comme l'acte attaqué porte sur des mesures provisionnelles (ATF 133 III 393 consid. 5.1 in fine p. 397, 585 consid. 3.3 et la jurisprudence), seule peut être invoquée la violation de droits constitutionnels (art. 98 LTF).
Le Tribunal fédéral ne connaît de la violation de ces droits que si un tel moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2 p. 88 et les références). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une application de la loi ou une appréciation des preuves insoutenables (ATF 133 II 396 consid. 3.2 p. 400); les critiques de nature appellatoire sont irrecevables (ATF 133 III 589 consid. 2 p. 591/592 et les arrêts cités).
S'agissant plus particulièrement de l'appréciation des preuves et de la constatation des faits, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière aux autorités cantonales (ATF 120 Ia 31 consid. 4b p. 40; 104 Ia 381 consid. 9 p. 399 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables. Il appartient dès lors au recourant de démontrer précisément, pour chaque constatation de fait incriminée, comment les preuves administrées auraient dû selon lui être appréciées et en quoi leur appréciation par l'autorité cantonale est insoutenable (ATF 129 I 113 consid. 2.1 p. 120 et les arrêts cités). Il ne suffit pas qu'une solution différente apparaisse concevable, voire préférable; la décision attaquée n'est, de surcroît, annulée que si elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (ATF 132 III 209 consid. 2.1 p. 211 et les arrêts cités).
2. Il ne sera pas tenu compte des allégations de la partie « Faits » du recours, qui ne sont que la reprise mot pour mot de l'exposé des faits présenté devant l'autorité cantonale. Une telle manière de faire ne répond pas aux exigences de motivation en la matière (supra, consid. 1.2).
Doivent aussi être écartés la décision de taxation 2008 ainsi que les bordereaux d'impôts fédéral direct et cantonal, documents datés du 23 février 2010, de même que l'attestation de subvention pour primes d'assurance-maladie du 1er mars 2010. L'art. 99 al. 1 LTF exclut en effet la présentation de vrais faits nouveaux (vrais nova), soit de faits qui se sont produits, comme en l'espèce, postérieurement à la décision attaquée, dans les procédures de recours au Tribunal fédéral (ATF 133 IV 342 consid. 2.1 p. 343/344).
3. Selon le recourant, l'autorité cantonale s'est manifestement trompée en considérant que le juge de district a appliqué le droit français s'agissant de la contribution à l'entretien de l'intimée. Il soutient que, si ce dernier magistrat a commis un long développement sur le droit français, il en a ignoré les principes lors de la subsomption pour se référer à la « méthode suisse du un tiers, deux tiers ».
3.1 Le juge cantonal était saisi du grief pris de la non-application du droit français. Il a d'abord exposé, en droit, les règles de DIP applicables en la matière. Il a ensuite considéré que le juge de district les avait correctement appliquées en retenant que les mesures provisoires étaient en l'espèce régies par le droit suisse, à l'exception des questions relatives à l'obligation alimentaire, lesquelles étaient soumises au droit français, droit national commun des conjoints, qu'il s'était ainsi bien référé au droit français pour fixer les aliments de l'épouse durant la procédure de divorce ainsi que la provisio ad litem et que, dès lors, le moyen devait être rejeté.
Il a ensuite traité les griefs, invoqués sous l'angle du droit français, fondés sur l'appréciation arbitraire des revenus du mari et sur l'absence de prise en considération d'un éventuel revenu réalisé par la femme.
3.2 La critique du recourant n'a pas de portée; elle ne constitue qu'un pur débat sur les motifs (cf. ATF 115 II 300 consid. 2b p. 302; 130 III 321 consid. 6 p. 328). Il importe en effet peu de savoir si l'autorité cantonale a considéré à juste titre que le juge de district avait appliqué le droit français, dès lors qu'elle-même reconnaît l'application de ce droit, ainsi que le revendique le recourant.
4. Le recourant prétend qu'aucune pièce du dossier n'établit un revenu mensuel en sa faveur de 8'500 EUR et que « certains moyens de preuve » déposés (notamment les bilans de ses sociétés) démontrent une diminution considérable de sa fortune. Pour l'avoir méconnu, l'autorité cantonale serait tombée dans l'arbitraire. Le recourant fait aussi grief à celle-ci de ne pas avoir tenu compte d'un revenu pour sa femme, alors même que cette dernière a déclaré rechercher un emploi et a déposé des pièces attestant ces démarches.
4.1 Sur ces questions, le juge cantonal a considéré que le recourant s'était contenté de prétendre que le montant de 8'500 EUR n'était pas justifié, sans en démontrer le caractère arbitraire. Il avait fait valoir une diminution de sa fortune, mais n'avait invoqué à cet effet que son témoignage et les réclamations de ses taxations fiscales, sans alléguer ni rendre vraisemblable que ses ressources étaient objectivement moindres. Quant au revenu de son épouse, il n'avait, là encore, pas démontré que celle-ci en avait perçu un quand bien même elle avait la charge de deux enfants en bas âge. Il s'était borné à substituer son point de vue à celui du juge de district, sans démontrer le caractère insoutenable de la décision tant dans sa motivation que dans son résultat. Son argumentation était insuffisante au regard des exigences de motivation de l'art. 229 al. 2 let. c CPC/VS. Le moyen, présenté sous l'angle du droit français, fondé sur l'appréciation arbitraire des ressources des parties, devait dès lors être déclaré irrecevable.
Par surabondance, le juge cantonal a estimé que, même recevable, le grief aurait dû être rejeté pour les motifs exposés.
4.2 Le recourant ne s'en prend pas, conformément aux exigences (supra, consid. 1.2), à ce motif - principal - d'irrecevabilité, déduit de la motivation insuffisante de ses critiques au regard des règles de la procédure cantonale (sur ce point: ATF 133 IV 119 consid. 6.3 p. 120). Il se contente d'affirmer péremptoirement qu'aucune pièce n'atteste le montant de 8'500 EUR, que le juge cantonal a ignoré « certains » moyens de preuve, notamment les bilans de ses sociétés, et qu'aucun motif ne s'oppose au calcul d'un revenu hypothétique pour sa femme. Le moyen est ainsi irrecevable.
5. Le recourant soutient que l'autorité cantonale s'est fondée sur une situation économique totalement erronée pour calculer la provisio ad litem qu'il ne peut verser, sa fortune étant difficilement réalisable. Vu le sort réservé au grief précédent, ce moyen - au demeurant purement appellatoire (supra, consid. 1.2) - est vidé de toute pertinence.
6. Le recourant taxe d'arbitraires les considérations de l'autorité cantonale rejetant son grief sur la répartition des frais et dépens de première instance et confirmant la décision du juge de district sur ce point.
6.1 Au terme de l'examen du droit cantonal de procédure topique (art. 252 CPC/VS), le juge cantonal a considéré que l'épouse avait obtenu la provisio ad litem à laquelle elle avait conclu ainsi que les deux tiers de la contribution d'entretien, alors que son époux s'y était entièrement opposé. Ces montants avaient par ailleurs été alloués au regard de la capacité financière du recourant. Vu le sort des conclusions en cause, le juge de district n'avait dès lors pas outrepassé son pouvoir d'appréciation en faisant supporter au recourant 80 % des frais et dépens.
6.2 L'autorité cantonale a fondé son raisonnement sur une répartition des frais et dépens en fonction de la mesure dans laquelle chaque partie avait succombé. Le recourant ne critique pas cette application du droit cantonal de procédure; il se contente d'opposer péremptoirement que la proportion des frais a été mise à sa charge « essentiellement » sur la base de sa capacité financière, qu'il conteste présentement. Ce faisant, nonobstant qu'il a discuté vainement la question de sa situation financière (supra, consid. 4), il laisse subsister l'argumentation du juge cantonal (art. 42 al. 2 et 106 al. 2 LTF). Partant, son grief est irrecevable.
7. Vu ce qui précède, le recours est irrecevable. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). L'intimée a droit à des dépens pour sa détermination sur la demande d'effet suspensif (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3. Une indemnité de 500 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Juge de la Cour de cassation civile du Tribunal cantonal du canton du Valais.
Lausanne, le 4 juin 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Jordan