Faits:
A. Les époux X._ se sont mariés en Grèce en 1994. Trois enfants sont issus de leur union : A._, B._ et C._, nés respectivement en 1994, 1996 et 1999.
Après avoir vécu les premières années de leur mariage en Belgique, la famille s'est installée en Grèce en juin 1999. A la suite de graves tensions, dame X._ a quitté le domicile conjugal le 14 septembre 2000 en emmenant les trois enfants en Suisse.
B. Le même jour, elle a ouvert action en divorce devant le Tribunal civil de l'arrondissement judiciaire de Courtelary-Moutier-La Neuveville.
Par jugement du 4 juillet 2005, le Président de l'arrondissement judiciaire I Courtelary-Moutier-La Neuveville a prononcé le divorce des époux X._ et en a réglé les effets accessoires. A ce titre, il a en particulier condamné l'époux à verser une contribution mensuelle de 360 fr. pour l'entretien de chacun des trois enfants.
Contre ce jugement, le mari a interjeté appel le 6 novembre 2005 auprès de la Cour suprême du canton de Berne. Il concluait à l'irrecevabilité de la demande en contestant la compétence ratione loci des tribunaux suisses et, subsidiairement, demandait que les contributions d'entretien soient réduites à 150 fr. par enfant.
Par jugement du 4 décembre 2008, la Cour suprême a rejeté l'appel du mari et confirmé le premier jugement.
C. Le 22 juin 2009, X._ a formé un recours au Tribunal fédéral.
Des observations n'ont pas été requises.

Considérant en droit:
1. Sont litigieux en l'espèce la compétence des tribunaux suisses, le principe du divorce ainsi que les contributions à l'entretien des enfants. Dans ces conditions, la contestation est non pécuniaire dans son ensemble (arrêt 5A_108/2007 du 11 mai 2007 consid. 1.2), de sorte que le recours doit être traité comme un recours en matière civile. Il est interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise par une autorité cantonale de dernière instance (<ref-law>).
2. Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels (<ref-ruling> consid. 1.2). Saisi d'un tel recours, le Tribunal fédéral applique le droit d'office (<ref-law>) sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut les critiquer que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3) - ou en violation du droit au sens de l'<ref-law>, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
3. Aux termes de l'<ref-law>, le recours doit contenir l'indication des conclusions. Le recourant doit, en principe, prendre des conclusions sur le fond du litige (<ref-ruling> consid. 3) et chiffrer celles qui portent sur une somme d'argent (<ref-ruling> consid. 2).
En violation de la disposition précitée, le mémoire de recours ne contient pas de conclusions. Au vu de l'argumentation développée par le recourant, qui conteste la compétence des tribunaux suisses pour juger du divorce et des effets accessoires, on comprend toutefois qu'il conclut principalement à l'irrecevabilité de la demande de divorce. Toujours à la lecture de l'acte de recours (p. 6 in fine et p. 40), il apparaît que, à titre subsidiaire, il critique les contributions fixées pour l'entretien des enfants, qu'il souhaiterait voir réduites au montant global de 293,47 Euros, soit 442 fr. 30, conformément à une convention validée en 2001 par le Tribunal de première instance d'Athènes.
4. Conformément à l'<ref-law>, les motifs que doit contenir tout mémoire de recours doivent exposer succinctement en quoi l'arrêt attaqué viole le droit.
Le recourant ignore ces exigences dans une très large mesure; il formule nombre de considérations abstraites, inintelligibles, qui ne permettent pas de discerner en quoi le jugement cantonal violerait le droit. Il soumet par ailleurs au Tribunal fédéral sa propre version des faits litigieux, sans se soucier des constatations figurant dans la décision attaquée, auxquelles la Cour de céans doit se tenir (<ref-law>). Celle-ci n'examinera par conséquent que les griefs articulés d'une façon conforme aux exigences précitées (consid. 2). En particulier, les critiques développées aux p. 23-40 ne seront pas traitées, faute de répondre aux exigences de motivation.
5. Le recourant conteste en premier lieu la compétence ratione loci des tribunaux suisses.
5.1 La cause présentant des éléments d'extranéité au vu de la nationalité grecque du recourant et de son domicile en Grèce, la compétence des autorités judiciaires suisses est régie par la loi fédérale du 18 décembre 1987 sur le droit international privé (LDIP; RS 291), à défaut de traité international (<ref-law>).
5.2 Compétence pour connaître du divorce et des effets accessoires.
5.2.1 D'après l'<ref-law> sont compétents pour connaître d'une action en divorce ou en séparation de corps les tribunaux suisses du domicile de l'époux demandeur, si celui-ci réside en Suisse depuis une année ou est suisse. En vertu de l'<ref-law>, les tribunaux suisses compétents pour connaître d'une action en divorce le sont également pour se prononcer sur les effets accessoires, ce qui comprend en particulier la liquidation du régime matrimonial. Dans le cas présent, il n'est pas contesté que l'intimée, demanderesse à l'action, est de nationalité suisse; la compétence territoriale du juge qu'elle a saisi dépend donc exclusivement du point de savoir si elle était déjà domiciliée en Suisse au moment où elle a introduit son action (cf. <ref-ruling> consid. 5, 209 consid. 2b/bb).
Le domicile est déterminé selon les critères de l'<ref-law> dont la teneur correspond à celle de l'<ref-law> : une personne physique a son domicile au lieu ou dans l'Etat dans lequel elle réside avec l'intention de s'y établir, ce qui suppose qu'elle fasse du lieu en question le centre de ses intérêts personnels et professionnels (<ref-ruling> consid. 1; <ref-ruling> consid. 2a; <ref-ruling> consid. 2b). Cette définition du domicile comporte deux éléments: l'un objectif, la présence physique en un lieu donné; l'autre subjectif, l'intention d'y demeurer durablement (<ref-ruling> consid. 1; <ref-ruling> consid. 2b; cf. également 5C.56/2002 consid. 4.2.1 non publié aux <ref-ruling>). L'élément objectif n'implique pas nécessairement que le séjour ait déjà duré un certain temps; si la condition subjective est remplie par ailleurs, la constitution d'un domicile peut se produire dès l'arrivée dans un nouveau pays de séjour. Aussi, pour déterminer si une personne réside en un lieu donné avec l'intention de s'y établir - en d'autres termes, pour déterminer si elle s'y est créé un domicile - ce n'est pas seulement la durée de son séjour à cet endroit qui est décisive, mais aussi la perspective d'une telle durée (arrêt 5A.34/2004 du 22 avril 2005, consid. 3.2). Cependant, l'intention d'une personne de s'établir durablement en un lieu déterminé ne doit pas être examinée de façon subjective, au regard de sa volonté interne, mais à la lumière des circonstances objectives, reconnaissables pour les tiers, permettant de conclure à l'existence d'une telle intention (<ref-ruling> consid. 1; <ref-ruling> consid. 2b; <ref-ruling> consid. 2b/bb et les références).
5.2.2 En l'espèce, selon l'arrêt attaqué, le 14 septembre 2000, l'intimée a fui avec les enfants le domicile conjugal grec pour la Suisse dans l'intention d'y rester à long terme. Elle s'est réfugiée chez ses parents et a immédiatement entrepris des démarches pour ouvrir action en Suisse en arguant de son domicile dans ce pays. Elle n'a aucune attache en Grèce en dehors de la famille de son époux avec qui les relations étaient également très tendues et maîtrise imparfaitement le grec. Au vu de ces éléments, il apparaît que, dès le jour de son arrivée en Suisse, l'intimée a manifesté d'une manière objectivement reconnaissable pour les tiers son intention de s'établir dans ce pays. Peu importe ainsi qu'au moment où la demande de divorce a été déposée devant le tribunal bernois, l'intimée venait tout juste d'arriver en Suisse. La compétence des tribunaux suisses pour juger du divorce et des effets accessoires est ainsi donnée en vertu des art. 59 let. b et 63 al. 1 LDIP. Contrairement à ce que croit le recourant qui s'emploie à démontrer la compétence des tribunaux grecs, le seul fait que ceux-ci soient également compétents n'entraîne pas l'incompétence des tribunaux suisses, divers fors pouvant être ouverts à un plaideur.
5.3 Compétence pour statuer sur l'entretien des enfants.
5.3.1 En ce qui concerne l'entretien des enfants, la Convention de Lugano concernant la compétence judiciaire et l'exécution des décisions en matière civile et commerciale du 16 septembre 1988 (ci-après : CL ou Convention de Lugano; RS 0.275.11) est applicable car aussi bien la Grèce que la Suisse sont signataires de ce texte, qui est entré en vigueur pour chacun d'eux avant l'ouverture de l'action (<ref-law>). En sus du principe du for dans l'Etat contractant du domicile du défendeur (art. 2), cette Convention permet d'attraire le défendeur, dans un autre Etat, devant le tribunal du lieu où le créancier d'aliments a son domicile ou sa résidence habituelle (art. 5 ch. 2).
La résidence habituelle d'un enfant se détermine d'après le centre effectif de sa propre vie (<ref-ruling> consid. 3). Celui-ci peut résulter soit de la durée de fait de la résidence et des relations ainsi créées, soit de la durée envisagée de la résidence et de l'intégration attendue (arrêts 5P.367/2005 du 15 novembre 2005 consid. 5.1, in Fampra.ch 2006 p. 474; 5P.128/2003 du 23 avril 2003 consid. 3.2, in Fampra.ch 2003 p. 720 et les références). La résidence peut devenir habituelle sitôt après le changement du lieu de séjour, si elle est destinée à être durable et à remplacer le précédent centre d'intérêt (arrêt 5P.367/2005 du 15 novembre 2005 consid. 5.3 et 5.4 ainsi que les références, in Fampra.ch 2006 p. 474).
5.3.2 En l'espèce, comme vu ci-dessus (cf. consid. 5.2.2), les enfants se sont établis en Suisse avec leur mère dont l'intention était de rester avec eux dans ce pays. Le facteur décisif réside ici dans le changement du centre de vie effectif des enfants, lequel était destiné à durer. Ainsi, leur résidence habituelle se situait dès le jour de leur arrivée dans le canton de Berne, de sorte que les autorités bernoises étaient compétentes pour statuer sur les questions liées à leur entretien.
5.4 Compétence pour statuer sur les mesures de protection des mineurs.
5.4.1 La Convention de La Haye du 5 octobre 1961 concernant la compétence des autorités et la loi applicable en matière de protection des mineurs (RS 0.211.231.01), entrée en vigueur le 4 février 1969 pour la Suisse, s'applique à tous les mineurs qui ont leur résidence habituelle dans un des États contractants (art. 13 al. 1). Aux termes de l'art. 1er de la Convention, les autorités, tant judiciaires qu'administratives, de l'Etat de la résidence habituelle d'un mineur sont en principe compétentes pour prendre les mesures relatives à la protection de la personne ou des biens de l'enfant, ce qui comprend en particulier l'attribution et le retrait de l'autorité parentale ainsi que le règlement de la garde et des relations personnelles, notamment dans le cadre d'un divorce (<ref-ruling> consid. 2.2.1).
5.4.2 En l'espèce, la résidence habituelle des enfants est en Suisse et les mesures en question tombent bien sous le coup du traité, de sorte que les autorités suisses sont compétentes.
6. Le recourant reproche à l'intimée d'avoir commis un abus de droit en comparaissant dans les procédures de mesures provisoires et de divorce ouvertes par le recourant en Grèce et en leur cachant ses démarches en Suisse, de même qu'elle aurait caché aux autorités suisses la procédure grecque.
L'argumentation du recourant ne sera pas examinée dans la mesure où elle est fondée soit sur des faits nouveaux et, partant, irrecevables, soit sur des faits en contradiction avec les constatations retenues par les juges cantonaux. Ainsi, ceux-ci ont retenu que l'intimée avait informé la justice grecque de l'existence d'une procédure de divorce en Suisse, de même que les autorités judiciaires suisses étaient informées des procédures de mesures provisoires et de divorce introduites en Grèce par le recourant. Pour le surplus, le fait que l'intimée ait procédé devant les tribunaux grecs et suisses ne suffit pas, en l'absence d'autres circonstances, à démontrer l'existence d'un abus de droit.
7. Le recourant s'en prend au rejet par la Cour d'appel de l'exception de litispendance découlant de l'<ref-law>. Il avait fait valoir qu'une procédure de divorce était pendante en Grèce, ce qui devait conduire à la suspension de la procédure suisse, puis au dessaisissement des autorités judiciaires suisses.
7.1 Aux termes de l'<ref-law>, lorsqu'une action ayant le même objet est déjà pendante entre les mêmes parties à l'étranger, le tribunal suisse suspend la cause s'il est à prévoir que la juridiction étrangère rendra, dans un délai convenable, une décision pouvant être reconnue en Suisse. En vertu de l'<ref-law>, le tribunal suisse se dessaisit dès qu'une telle décision lui est présentée.
7.2 La Cour d'appel a constaté que la procédure de divorce et d'effets accessoires était pendante en Suisse depuis le 14 septembre 2000. Du côté grec, il apparaissait que la procédure portant sur le principe du divorce avait été ouverte au plus tôt le 13 juin 2001 alors qu'une action tendant à fixer les contributions d'entretien avait été déposée le 22 mars 2001, ces deux démarches ayant été précédées d'une demande de mesures provisoires, datée du 22 décembre 2000. Sur le vu de ces constatations, l'autorité précédente a estimé qu'aucune démarche effectuée devant les autorités judiciaires grecques et portant sur le même objet que la procédure suisse n'était antérieure à celle-ci. Elle a ainsi rejeté l'exception de litispendance.
Le recourant ne s'en prend pas aux motifs de l'arrêt attaqué, mais se contente de développements juridiques tirés de l'<ref-law>, disposition relative à la reconnaissance des décisions étrangères. C'est dire que ses arguments sont sans lien avec la décision attaquée. Ce faisant, il ne satisfait pas à l'obligation de motiver (Begründungspflicht) que la jurisprudence a déduite de l'<ref-law> (<ref-ruling> consid. 2.1; arrêt 4A_72/2007 du 22 août 2007 consid. 4.1.1). Il n'y a ainsi pas lieu d'entrer en matière sur le grief.
8. Sur le fond, le recourant conteste le prononcé du divorce en se plaignant d'une interprétation arbitraire de l'<ref-law> (recours p. 7-8).
La Cour d'appel a relevé que, sur le fond, le principe du divorce n'était pas contesté devant elle. Elle a ainsi constaté l'entrée en force du jugement de première instance sur ce point. Les critiques du recourant s'adressent en réalité à l'autorité de première instance qui a admis la demande de divorce fondée sur l'<ref-law>. Seul le jugement cantonal étant susceptible de faire l'objet du présent recours (<ref-law>), le grief est irrecevable.
9. Au vu de ce qui précède, le recours est rejeté dans la faible mesure de sa recevabilité. Les frais judiciaires seront ainsi mis à la charge du recourant, qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à répondre au recours.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Cour d'appel, 2ème Chambre civile.
Lausanne, le 23 décembre 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet