Faits:
A. D._ et A._ sont les parents, non mariés, de B._, née en 2003, et de C._, né en 2005. D._ est aussi la mère d'une fille, née en 1997, qui vit auprès d'elle.
Durant la vie commune, le couple était domicilié en France, dans une maison appartenant à A._. Les enfants étaient scolarisés à Genève, à l'Institut X._.
D._ a quitté le domicile familial le 30 mars 2009 pour s'installer à Genève avec les enfants.
B. Le 31 mars 2009, B._ et C._, représentés par leur mère, ont formé une action alimentaire contre leur père devant le Tribunal de première instance de Genève. La demande était assortie d'une requête de mesures provisoires fondée sur l'art. 281 aCC.
B.a Dans le cadre de cette dernière procédure, les enfants ont notamment conclu au versement d'une contribution d'entretien de 3'400 fr. pour chacun d'eux. Dans sa détermination, A._ s'est engagé à leur payer mensuellement 800 fr. à chacun, dès le 1er avril 2009.
Le 21 septembre 2009, B._ et C._ ont modifié leurs conclusions, réclamant, en sus des contributions mensuelles, le paiement du solde des frais d'écolage pour l'année scolaire 2008-2009, soit 6'686 fr., et d'une provisio ad litem de 8'000 fr.
B.b Par jugement du 29 octobre 2009 rendu sur mesures provisoires, le Tribunal de première instance a condamné A._ à verser, dès le 31 mars 2009, sous déduction des montants déjà payés, 2'000 fr., allocations familiales non comprises, en faveur de chaque enfant. Pour le reste, il a débouté les parties de toutes autres conclusions, sous suite de frais et dépens.
B.c Statuant le 21 mai 2010 sur appel des parties, la Chambre civile de la Cour de justice a, en particulier, arrêté les aliments à 2'500 fr. par enfant, dès le 31 mars 2009 et astreint le père au versement d'une provisio ad litem de 8'000 fr.
C. Par acte du 25 juin 2010, A._ exerce un recours en matière civile et un recours constitutionnel subsidiaire. Dans l'une et l'autre écriture, il conclut principalement à ce qu'il lui soit donné acte de son engagement de verser, à titre provisoire, une contribution mensuelle de 800 fr. par enfant, dès le 1er avril 2009, sous imputation des montants déjà payés, et au rejet de toutes autres conclusions. Il demande subsidiairement le renvoi de la cause à l'autorité cantonale pour nouvelle décision.
L'intimée propose principalement l'irrecevabilité des recours et, subsidiairement, la confirmation de l'arrêt cantonal. La Cour de justice se réfère à ses considérants. Dans sa réplique, le recourant persiste dans les termes de son recours.
D. Par ordonnance du 14 juillet 2010, la Présidente de la IIe Cour de droit civil a admis la requête d'effet suspensif en ce qui concerne les aliments dus jusqu'au mois de mai 2010 et l'a rejetée pour ceux dus dès le 1er juin suivant.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 3 et les références).
1.1 Les recours sont dirigés en temps utile (<ref-law>) contre une décision rendue en matière civile (<ref-law>). Sont litigieuses des mesures provisoires fondées sur l'art. 281 al. 1 aCC (en vigueur jusqu'au 31 décembre 2010; RO 2010 1739, 1838), portant sur le paiement d'une provisio ad litem de 8'000 fr. et sur des contributions aux enfants; la contestation est ainsi de nature pécuniaire. Eu égard à la durée incertaine des mesures provisoires, la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a et al. 4 et 74 al. 1 let. b LTF). Partant, la voie du recours en matière civile est en principe ouverte et le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
1.2 Selon la jurisprudence, les mesures provisoires prises en faveur d'un enfant majeur sur la base de l'art. 281 al. 2 aCC sont des mesures d'exécution anticipée de ce qui est demandé au fond, qui sont prononcées pendant la procédure principale et pour la durée de celle-ci. A ce titre, la décision qui les ordonne constitue une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 2 et les références citées). Cette jurisprudence repose sur le principe que le devoir d'entretien des père et mère de l'enfant majeur revêt un caractère exceptionnel. Celui-là n'existe en effet que si les conditions - restrictives - de l'<ref-law> sont réunies (<ref-ruling> consid. 3c p. 130), ce qui expose l'enfant majeur à devoir rembourser au parent défendeur les contributions versées à titre provisoire en cas de rejet de l'action au fond (<ref-ruling> consid. 2).
Le cas d'espèce se distingue de cette affaire en ce sens qu'il concerne les aliments versés à titre provisoire à un enfant mineur. Il convient d'examiner si cette circonstance influe sur la qualification de la décision prise en application de l'art. 281 al. 1 et 2 aCC telle qu'elle a été arrêtée dans la jurisprudence précitée. Contrairement à l'enfant majeur dont le droit à l'entretien dépend de la réalisation des conditions de l'<ref-law> et revêt ainsi un caractère exceptionnel (<ref-ruling> consid. 4a p. 98), l'enfant mineur se voit conférer par la loi un droit à l'entretien de la naissance jusqu'à la majorité (<ref-law>). Ainsi, alors même que, dans le cadre de l'action alimentaire de l'enfant majeur dont la filiation est établie, le principe même du devoir d'entretien des père et mère (<ref-law>) doit être débattu, ce qui prive les versements provisoires de tout fondement en cas de rejet de l'action au fond, dans celle de l'enfant mineur dont la filiation est établie, l'obligation d'entretien existe de plein droit tant que dure la minorité (<ref-law>). Dès lors, si, au terme de la procédure au fond, le débirentier est libéré de l'exécution de son obligation, il n'en demeure pas moins que l'obligation d'entretien était, dans son principe, fondée et subsiste en elle-même malgré la libération du débirentier, avec pour conséquence que l'on ne peut exiger du crédirentier qu'il rembourse les montants perçus à titre provisoire. Dans le cas de la procédure concernant l'enfant mineur dont la filiation est établie (art. 281 al. 2 aCC), les mesures provisoires ordonnées apparaissent ainsi comme des mesures de réglementation, soit des mesures qui règlent provisoirement, pour la durée du procès, le rapport de droit durable existant entre les parties (cf. sur cette notion: FABIENNE HOHL, Procédure civile, tome II, 2ème éd., 2010, nos 1737 et 1782 ss). En ce sens, elles doivent être rapprochées des mesures provisoires ordonnées pendant la procédure de divorce, lesquelles sont définitivement acquises (<ref-ruling> consid. 3.2 p. 350; <ref-ruling> consid. 3c/bb p. 123), et la décision qui les ordonne constitue, dès lors qu'elle met fin à l'instance sous l'angle procédural et ne sera pas revue dans la procédure au fond, une décision finale au sens de l'<ref-law>.
1.3 Le recours a par ailleurs été interjeté contre une décision prise par l'autorité cantonale de dernière instance (<ref-law>) par la partie qui a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à son annulation ou sa modification (<ref-law> dans sa teneur en vigueur jusqu'au 31 décembre 2010, la décision attaquée ayant été rendue avant le changement de loi; cf. <ref-law>).
2. Dès lors que la décision attaquée porte sur des mesures provisionnelles, seule peut être dénoncée la violation de droits constitutionnels (<ref-law>; cf. <ref-ruling> consid. 5.1 p. 396). Le Tribunal fédéral n'examine la violation de ces droits que si ce moyen est invoqué et motivé par le recourant (principe d'allégation; <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2 p. 88 et les références citées). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une application de la loi ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400); les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591/592 et les arrêts cités).
Par ailleurs, s'agissant de l'arbitraire (art. 9 Cst.), la jurisprudence admet ce grief uniquement si la décision attaquée est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.1 p. 153 et les références citées).
3. Le recourant s'en prend à la fixation de son minimum vital et de son revenu.
3.1 Dans un premier grief, il soutient que la déduction de 15 % opérée sur le montant de base du minimum vital LP pour une personne seule ne repose sur aucun élément objectif. Cette critique tombe à faux, la Cour de justice ayant justifié cette réduction au vu du domicile français de l'intéressé. S'agissant du caractère soutenable ou non de ce motif, le recourant oppose de façon appellatoire qu'il « n'est pas aisé de vérifier la teneur » de la jurisprudence cantonale citée par l'autorité cantonale et que, « compte tenu du renchérissement de la vie en France voisine ces dernières années », la diminution n'est absolument pas justifiée. Il allègue aussi péremptoirement que son centre de vie et de consommation est à Genève. Cette constatation ne ressort toutefois pas de l'arrêt entrepris, sans qu'il ne soulève aucun grief à ce sujet (cf. supra, consid. 2). Au demeurant, il est admis que, lorsque le débiteur d'entretien vit à l'étranger, il y a lieu de tenir compte, lors du calcul du montant de base, du niveau de vie de ce pays (cf. arrêt 5A_99/2009 du 14 avril 2009 consid. 2.2.1.2 et le renvoi à l'arrêt 5A_736/2007 du 20 mars 2008 consid. 3a et les références; cf. aussi arrêt 5C.6/2002 du 11 juin 2002 consid. 3 non publié aux <ref-ruling>).
3.2 Le recourant prétend ensuite que la Chambre civile a versé dans l'arbitraire en retenant un loyer hypothétique de 2'500 fr. en lieu et place de ses charges de logement effectives (2'688 fr.) pourtant dûment établies. A cet égard, la cour cantonale a jugé que les frais hypothécaires mensuels (intérêts et amortissements) dont le recourant s'acquittait étaient trop élevés et devaient être ramenés à 2'500 fr., montant correspondant au loyer hypothétique d'un logement de cinq pièces dont l'intéressé devait pouvoir disposer pour accueillir les enfants durant son droit de visite. Ce faisant, elle n'a rien fait d'autre que d'adapter le coût du logement à ce qu'elle considérait comme raisonnable compte tenu des besoins du recourant et des prix du marché. Le recourant ne critique pas ces considérations de façon motivée. Il se contente de citer des passages d'arrêts non publiés qui reprennent ce principe (5C.240/2002 du 31 mars 2003 consid. 4.2; 5C.84/2006 du 29 septembre 2006 consid. 2.2.1 et 5P.293/2006 du 13 décembre 2006) et d'opposer péremptoirement que, compte tenu du marché actuel, il est « très difficile » de trouver un tel appartement pour moins de 3'000 fr. à moins de bénéficier d'aides étatiques.
3.3 Selon le recourant, si la situation financière le permet, il faut tenir compte de la charge fiscale, qui plus est, effective si elle est établie. En la ramenant, en l'espèce, au « montant vraisemblable » de 8'650 fr. alors qu'il a démontré par pièces qu'elle s'élève à 9'971 fr., la Cour de justice serait tombée dans l'arbitraire. Ce faisant, le recourant laisse intactes les considérations de l'autorité cantonale qui se fondent sur la charge fiscale future pour tenir compte du fait que le débirentier pourra déduire de son revenu imposable les contributions en faveur des enfants. Il ne critique par ailleurs pas l'estimation à laquelle il a été procédé (cf. supra, consid. 2).
3.4 Le recourant reproche encore à la Chambre civile de ne pas avoir compté dans ses charges incompressibles mensuelles la dette (10'000 fr.) relative au redressement fiscal dont il a fait l'objet. Il soutient que, de 2001 à 2006, période concernée par cette procédure, le fait de ne pas payer d'impôts a permis à sa famille de mener un train de vie confortable, lequel aurait radicalement changé dès la fin 2007. Il affirme par ailleurs que la mère de ses enfants était au courant de la situation qui pouvait en résulter, dès lors qu'elle avait participé aux discussions avec les avocats fiscalistes. Il en conclut que, contrairement à ce qu'a retenu la cour cantonale, la dette a été contractée dans l'intérêt de la famille.
Une telle argumentation est fallacieuse. Le recourant tente de faire un parallèle entre les avantages dont aurait profité sa famille du fait qu'il n'a pas payé d'impôts de 2001 à 2006 et ce qu'il doit aujourd'hui rembourser au fisc. Il semble oublier que ce dernier montant comprend, pour près de la moitié, les pénalités encourues en raison de la fraude (565'541 fr. 30) et qu'il n'est pas établi que la somme correspondant aux impôts dont il ne s'est pas acquittés pendant les années correspondantes aurait été consacrée à l'entretien de la famille. A cet égard, le recourant se contente d'affirmer péremptoirement que tel a été le cas (cf. supra, consid. 2).
3.5 Le recourant semble vouloir contester la prise en considération du bonus annuel dans le calcul de son revenu. Il se borne toutefois à affirmer qu'il n'est pas possible de le condamner à payer une contribution d'entretien « en tenant compte d'un bonus qui n'est acquis ni quant à son principe ni quant à son montant », mais qu'il est cependant « disposé à verser 10 % » d'une telle prime, ce qui « représentera vraisemblablement un montant de l'ordre de CHF 200 par mois et par enfant » s'il devait en toucher une. Ce faisant, il ne s'attaque pas d'une façon motivée (cf. supra, consid. 2) aux constatations de l'arrêt cantonal selon lesquelles il a régulièrement bénéficié d'un bonus annuel depuis 2004, qu'il admet que tel sera également le cas en 2009 et qu'il n'a pas rendu vraisemblable que son montant serait moins élevé.
4. Le recourant taxe aussi d'arbitraires les considérations relatives aux besoins de ses enfants.
4.1 Sur ce point, la Cour de justice a constaté que les « besoins minima » des enfants s'élèvent à 1'425 fr. pour la fille et à 1'350 fr. pour le garçon, montants calculés selon les normes d'insaisissabilité et les dépenses établies. Elle a toutefois jugé qu'ils correspondent à la situation actuelle des enfants, lesquels ne disposent pas des ressources - eu égard à la situation de leur mère - leur permettant d'effectuer les activités qu'ils souhaiteraient accomplir et de profiter des avantages matériels, dont ils bénéficiaient lorsque leurs parents faisaient ménage commun. Elle a par ailleurs considéré que le père dispose d'une situation financière particulièrement confortable, largement supérieure aux revenus sur la base desquels ont été établies les tabelles zurichoises sur le coût d'entretien. Elle en a conclu que les enfants ne pouvaient être réduits à leur strict minimum vital et devaient pouvoir continuer à profiter, postérieurement à la séparation, des revenus élevés de leur père et du train de vie aisé de celui-ci. Or, en 2008, le couple disposait de revenus identiques à ceux dont le père bénéficie désormais. En outre, durant cette même année, les enfants jouissaient d'un train de vie élevé, malgré le redressement fiscal imposé à leur père. En particulier, leurs parents consacraient, en sus de leurs « charges minima », 1'000 fr. par mois à titre de frais d'écolage privé et une somme mensuelle de 500 fr. pour l'achat de vêtements et de chaussures. Le coût d'entretien pouvait donc être arrêté à 2'500 fr. par mineur, allocations familiales non comprises.
4.2 En vertu de l'<ref-law>, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère; il est tenu compte de la fortune et des revenus de l'enfant, ainsi que de la participation de celui des parents qui n'a pas la garde de l'enfant à la prise en charge de ce dernier. Ces différents critères doivent être pris en considération; ils exercent une influence réciproque les uns sur les autres. Ainsi, les besoins de l'enfant doivent être examinés en relation avec les trois autres éléments évoqués et la contribution d'entretien doit toujours être dans un rapport raisonnable avec le niveau de vie et la capacité contributive du débirentier (<ref-ruling> consid. 3a p. 112). Celui des parents dont la capacité financière est supérieure est par ailleurs tenu, suivant les circonstances, de subvenir à l'entier du besoin en argent si l'autre remplit son obligation à l'égard de l'enfant essentiellement en nature (<ref-ruling> consid. 3a/cc p. 289/290).
La loi n'impose pas de méthode de calcul de la contribution d'entretien (<ref-ruling> consid. 3.2.2 p. 414). Les besoins d'entretien statistiques moyens retenus dans les «Recommandations pour la fixation des contributions d'entretien des enfants» éditées par l'Office de la jeunesse du canton de Zurich (cf. BREITSCHMID, Commentaire bâlois, 2ème éd., no 6 ad <ref-law>; www.lotse.zh.ch) peuvent servir de point de départ pour la détermination des besoins d'un enfant dans un cas concret. Il y a toutefois lieu de les affiner en tenant compte des besoins concrets particuliers de l'enfant, ainsi que du niveau de vie et de la capacité contributive des parents (<ref-ruling> consid. 3a p. 112). En cas de situation financière particulièrement bonne, il n'est pas nécessaire de prendre en considération toute la force contributive des parents pour calculer la contribution à l'entretien des enfants. Il ne faut pas prendre comme point de départ le niveau de vie le plus élevé qu'il est possible d'avoir avec un certain revenu, mais celui qui est réellement mené. De plus, dans certaines circonstances, il peut se justifier, pour des motifs pédagogiques, d'accorder un niveau de vie plus modeste à l'enfant qu'aux parents (<ref-ruling> consid. 3b p. 113/114). Le montant de la contribution d'entretien ne doit donc pas être calculé simplement de façon linéaire d'après la capacité financière des parents, sans tenir compte de la situation concrète de l'enfant (<ref-ruling> consid. 3b/bb p. 291; arrêt 5C.66/2004 du 7 septembre 2004 consid. 1.1).
4.3 Le recourant soutient que la Chambre civile devait tenir compte, non du niveau de vie le plus élevé qu'il est possible de bénéficier avec un certain revenu, mais de celui qui est réellement mené. La cour de céans peine à saisir un tel argument. Dans un premier temps, l'autorité cantonale a arrêté les besoins « minima » que les enfants pouvaient couvrir au vu des ressources actuelles de leur mère. Elle a ensuite procédé à un ajustement pour tenir compte du niveau de vie qui était le leur pendant la vie commune des parents. A cet égard, le recourant ne conteste pas, ainsi que l'ont retenu les juges cantonaux, que celui-là était élevé et qu'il a continué à l'être en dépit du redressement fiscal. Il ne critique pas non plus les montants que les parents consacraient à leurs enfants en sus de leurs charges « minima » (mensuellement: 1'000 fr. d'écolage privé; 500 fr. pour l'achat de vêtements et de chaussures) ni ne démontre que ceux-là seraient exorbitants ou dépourvus de tout motif. Il ne remet enfin pas en cause l'appréciation selon laquelle les enfants ne disposent actuellement pas des ressources leur permettant d'effectuer les activités qu'ils souhaiteraient accomplir et de profiter de certains avantages matériels (ainsi le privilège de fréquenter une école privée) dont ils bénéficiaient durant la vie commune de leurs parents. Au vu de ces éléments, on ne voit en outre pas quels motifs pédagogiques commanderaient d'accorder un niveau de vie plus modeste à l'enfant qu'aux parents. Contrairement à ce que semble penser le recourant, la jurisprudence à laquelle il se réfère à cet égard (<ref-ruling> consid. 3a p. 112) ne signifie en tous les cas pas que le niveau de vie des mineurs doit être calqué sur celui le plus bas, en l'occurrence celui de leur mère. Enfin, que cette dernière et la demi-soeur des intimés jouissent d'une situation moins favorable est sans pertinence, le droit à l'égalité de traitement ne valant pas pour le bel-enfant (5C.218/2005 du 27 octobre 2005 consid. 3 publié à la FamPra.ch 2006 p. 161).
5. Le recourant soutient que la Cour de justice a versé dans l'arbitraire en le condamnant au paiement d'une provisio ad litem.
5.1 L'autorité cantonale a considéré que les contributions alimentaires sont destinées à couvrir l'entretien des mineurs et non les frais de justice et qu'il appartient aux parents d'avancer ces derniers dans le cadre des mesures provisoires de l'art. 281 aCC. Elle a retenu que ces dépenses pouvaient être fixées à 8'000 fr., les allégations des enfants à ce sujet n'étant pas contredites par le père et le montant apparaissant vraisemblable vu les avances déjà faites en première instance et en appel (1'200 fr. et 2'160 fr.). Elle a par ailleurs jugé que le solde disponible et la fortune du père étant largement supérieurs à la situation de la mère, celui-là devait s'acquitter de l'intégralité de la somme réclamée.
5.2 Le recourant ne critique pas ces considérations conformément aux exigences (cf. supra, consid. 2). Il se contente d'affirmer péremptoirement que les principes jurisprudentiels posés en la matière ont été ignorés, que sa situation financière est très serrée en raison de sa dette fiscale et que, si la provisio ad litem devait être maintenue, il devrait contracter un prêt pour l'acquitter et serait privé des moyens nécessaires à sa propre défense. Il semble toutefois oublier que la cour cantonale a retenu qu'il disposait, en plus de son solde disponible, d'une fortune, dont il ne démontre pas qu'elle serait irréalisable. De son propre aveu, il reconnaît que l'intimée ne bénéficie quant à elle que d'un solde disponible de 1'200 fr. Dans ces conditions, la Chambre civile pouvait juger sans arbitraire qu'il lui incombait de s'acquitter de l'intégralité de la somme réclamée. S'agissant de la quotité de celle-ci, il ne remet pas en cause (cf. supra, consid. 2) les constatations selon lesquelles les frais de justice peuvent être fixés à 8'000 fr., les allégations des enfants à ce sujet n'étant pas contredites et le montant apparaissant vraisemblable vu les avances déjà faites en première instance et en appel.
6. Vu ce qui précède, le recours en matière civile doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>) et versera des dépens aux intimés (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
4. Une indemnité de 2'500 fr., à payer aux intimés à titre de dépens, est mise à la charge du recourant.
5. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 24 octobre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Jordan