Sachverhalt:
A. A.a X._ (Ehemann) und Y._ (Ehefrau) heirateten am 1. Juni 1996. Aus der Ehe sind zwei Töchter, V._ (1996) und W._ (1998) hervorgegangen. Im Dezember 1999 zog die Ehefrau mit den Töchtern nach Frankreich, wo alle drei seither leben.
A.b Am 24. November 2005 klagte die Ehefrau in der Schweiz auf Scheidung der Ehe; das Scheidungsverfahren wurde mit Urteil des Bezirksgerichts Zürich vom 7. April 2008 im Scheidungspunkt sowie bezüglich Güterrecht und Aufteilung der Vorsorgeguthaben rechtskräftig abgeschlossen. Hingegen regelte der Scheidungsrichter weder die elterliche Sorge noch das Besuchsrecht über die beiden Töchter. Vielmehr bestätigte er diesbezüglich - nach erstmaliger Rückweisung seitens des Obergerichtes des Kantons Zürich (Beschluss vom 8. Dezember 2008) - seine Unzuständigkeit mit Verfügung vom 8. November 2010.
B. Mit Beschluss vom 12. Juli 2011 gab das Obergericht des Kantons Zürich einem Rekurs des Ehemannes nicht statt und bestätigte die erstinstanzliche Verfügung.
C. Dagegen hat der Ehemann (Beschwerdeführer) am 14. September 2011 beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt, der obergerichtliche Beschluss sei aufzuheben und in Gutheissung seiner ursprünglichen Begehren sei die elterliche Sorge über die Töchter den Eltern gemeinsam zu belassen und ihm ein näher beschriebenes Besuchsrecht einzuräumen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen.
Es sind keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. 1.1 Der angefochtene Beschluss des Obergerichts bestätigt den Nichteintretensentscheid, den die erste Instanz wegen mangelnder örtlicher Zuständigkeit gefällt hat. Damit wird das Scheidungsverfahren auch hinsichtlich des Sorge- und Besuchsrechts über die gemeinsamen Töchter der Parteien definitiv abgeschlossen. Es liegt folglich ein Endentscheid im Sinne von Art. 90 BGG vor (BGE 136 I 80 E. 1.2; 133 III 629 E. 2.2). Dabei handelt es sich um eine Zivilsache ohne Streitwert (Art. 72 Abs. 1 und Art. 74 Abs. 1 BGG e contrario). Das Obergericht hat als obere kantonale Instanz auf Rechtsmittel hin entschieden (Art. 75 Abs. 2 BGG). Der Beschwerdeführer hat an den kantonalen Verfahren als Partei (Art. 76 Abs. 1 lit. a BGG) teilgenommen. Er ist vor Obergericht mit seinen Begehren unterlegen und verfügt folglich über ein schutzwürdiges Interesse zur Einlegung des vorliegenden Rechtsmittels (Art. 76 Abs. 1 lit. b BGG). Auf die im Übrigen rechtzeitig eingereichte Beschwerde ist grundsätzlich einzutreten (Art. 100 Abs. 1 BGG).
1.2 Bei der Beschwerde in Zivilsachen sind die in Art. 95 f. BGG umschriebenen Rügen zulässig. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), was heisst, dass es behauptete Rechtsverletzungen (Art. 42 Abs. 2 BGG) mit freier Kognition prüft. Dagegen ist es an den kantonal festgestellten Sachverhalt gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, dieser sei offensichtlich unrichtig, d.h. willkürlich (BGE 133 III 393 E. 7.1) festgestellt worden oder er beruhe auf einer Rechtsverletzung im Sinn von Art. 95 BGG (Art. 97 Abs. 1 BGG).
1.3 Die Beschwerde ist zu begründen (Art. 42 Abs. 2 BGG). Der Beschwerdeführer hat sich in der Beschwerde selbst mit den Erwägungen des angefochtenen Entscheides auseinanderzusetzen (BGE 135 II 384 E. 2.2.1); Verweise auf andere Rechtsschriften sind unzulässig (BGE 133 II 396 E. 3.2). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft das Bundesgericht nur insoweit, als eine entsprechende Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Anhand der Erwägungen des angefochtenen Entscheides ist klar und detailliert zu erörtern, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (135 II 384 E. 2.2.1).
2. 2.1 Vor Obergericht hatte der Beschwerdeführer materielle Anträge bezüglich der Zuteilung der elterlichen Sorge und des Besuchsrechts vorgetragen, die im Übrigen mit den vor Bundesgericht gestellten nicht übereinstimmen. Darauf war allerdings das Obergericht nicht eingetreten, weil seine Befugnis darauf beschränkt war, das Dispositiv des erstinstanzlichen Entscheides zu überprüfen: Weil Letzteres lediglich besagte, dass das Bezirksgericht auf die Begehren betreffend die Regelung der elterlichen Sorge und des Besuchsrechts nicht eintreten durfte, musste eine materielle Prüfung unterbleiben.
2.2 Entsprechendes gilt auch vor Bundesgericht: Die Abweisung des Rekurses des Beschwerdeführers verbunden mit der Bestätigung der erstinstanzlichen Verfügung (Nichteintreten) bedeutet, dass die materiellen Begehren noch von keinem Sachgericht behandelt worden sind. Unter diesen Umständen ist es dem Bundesgericht verwehrt, diese erstinstanzlich materiell zu prüfen (Urteil 4A_330/2008 vom 27. Januar 2010 E. 2.1, nicht publ. in: BGE 136 III 102, aber auszugsweise in: JdT 2011 II 323; FLORENCE AUBRY GIRARDIN, in: Corboz et al., Commentaire de la LTF, 2009, N. 17 zu Art. 42 BGG). Die Hauptanträge 2 und 3 des Beschwerdeführers sind folglich unzulässig; darauf ist nicht einzutreten. Zulässig ist somit einzig der Eventualantrag des Beschwerdeführers auf Rückweisung der Sache.
3. Strittig ist die direkte Zuständigkeit der schweizerischen Gerichte für den Entscheid über die elterliche Sorge und das Besuchsrecht.
3.1 Das Obergericht hat den Grundsatz der Einheit des Scheidungsurteils in Erinnerung gerufen, auf den sich der Beschwerdeführer beruft. Es hat allerdings betont, dieser Grundsatz gelte nur unter Vorbehalt internationaler Verträge, worunter auch das Haager Übereinkommen über die Zuständigkeit der Behörden und das anzuwendende Recht auf dem Gebiet des Schutzes von Minderjährigen (MSA; SR 0.211.231.01) vom 5. Oktober 1961 falle. Dieses Übereinkommen weise die hier strittige Zuständigkeit den Gerichten am Aufenthaltsort der Kinder zu. Das Haager Übereinkommen über die Zuständigkeit, das anzuwendende Recht, die Anerkennung, Vollstreckung und Zusammenarbeit auf dem Gebiet der elterlichen Verantwortung und der Massnahmen zum Schutz von Kindern (HKsÜ; SR 0.211.231.011) vom 19. Oktober 1996 komme nicht zur Anwendung, weil Frankreich dieses Abkommen im Zeitpunkt der angefochtenen erstinstanzlichen Verfügung noch nicht ratifiziert hatte. Abgesehen davon führe auch das HKsÜ zum gleichen Ergebnis, weil auch dieses die Zuständigkeit am Ort des gewöhnlichen Aufenthalts des Kindes vorsehe (Art. 5). Im Übrigen mangle es für die in Art. 10 dieses Übereinkommens bestimmte besondere Zuständigkeit des Scheidungsrichters zum Erlass von Kindesschutzmassnahmen an der notwendigen Anerkennung dieser Zuständigkeit durch beide Parteien.
3.2 Die Töchter des Beschwerdeführers leben mit ihrer Mutter seit Dezember 1999 in Frankreich (vorne E. A.a). In Fällen mit internationalem Bezug sind für die Regelung der Kinderbelange grundsätzlich die Gerichte des Staates zuständig, in dem ein Minderjähriger seinen gewöhnlichen Aufenthalt hat. Das gilt sowohl für das MSA (Art. 1 MSA) als auch das HKsÜ, welches das MSA mit dem Inkrafttreten des HKsÜ für die Schweiz am 1. Juli 2009 ersetzte (Art. 5 Abs. 1 HKsÜ; vgl. Art. 85 Abs. 1 IPRG in der jeweils gültigen Fassung; dazu: Urteil 5A_15/2011 vom 20. Juni 2011 E. 4, in: FamPra.ch 2011 S. 1018). Zu den Kinderbelangen im Sinne der genannten Abkommen gehören insbesondere die Zuteilung der elterlichen Sorge sowie die Regelung des persönlichen Verkehrs zwischen Eltern und Kindern (zuletzt: BGE 138 III 11 E. 5.1; 132 III 586 E. 2.2.1). Durch die Verabschiedung dieser Regelung hat die internationale Rechtsgemeinschaft die Überzeugung zum Ausdruck gebracht, dass der Richter am gewöhnlichen Aufenthaltsort des Kindes in der Regel viel besser in der Lage ist, die notwendigen Beweise zu erheben und sich von der Situation bzw. dem Umfeld des Kindes ein persönliches Bild zu machen (Urteil 5A_15/2011 vom 20. Juni 2011 E. 4, in: Fampra.ch 2011 S. 1018).
Wie vom Obergericht zutreffend betont, gilt der Grundsatz der Einheit des Scheidungsurteils auch in internationalen Verhältnissen, allerdings unter dem Vorbehalt internationaler Übereinkommen (Art. 1 Abs. 2 IPRG; BGE 126 III 298 E. 2a/bb; Urteil 5A_599/2009 vom 3. März 2010 E. 3.4). Eine solche Ausnahme liegt hier vor. Demzufolge ist der Scheidungsrichter für die Regelung der Kinderbelange im dargelegten Sinne dann nicht zuständig, wenn die Kinder - wie hier - ihren gewöhnlichen Aufenthalt im Ausland haben. Der angefochtene Beschluss erweist sich im Grundsatz als rechtskonform.
4. Die Einwendungen des Beschwerdeführers vermögen an diesem Ergebnis nichts zu ändern.
4.1 Unbehelflich ist die Behauptung, die Beschwerdegegnerin habe mit ihrer ursprünglichen Scheidungsklage auch die Regelung der elterlichen Sorge sowie des Besuchsrechts beantragt. Die Parteien sind grundsätzlich nicht berechtigt, den Gerichtsstand für die Regelung der Kinderbelange frei zu wählen. Daran ändert auch die im November 2006 abgeschlossene Konvention nichts: Selbst wenn darin der gemeinsame Wunsch der Parteien erblickt werden sollte, die Regelung der Kinderbelange dem Schweizer Scheidungsrichter zu überlassen, vermöchte dieser Wunsch die gesetzliche Regelung nicht ausser Kraft zu setzen. Im Übrigen wurde die Konvention nachträglich widerrufen und könnte somit ohnehin keine weitere Wirkung entfalten.
4.2 Weiter führt der Beschwerdeführer aus, durch die Behauptung ihrer eigenen Unzuständigkeit hätte die Vorinstanz eine möglichst rasche Regelung der Kinderbelange verhindert und dadurch das verfassungs- bzw. konventionsmässige Recht auf Familienleben verletzt (Art. 11 Abs. 1, Art. 13 und 14 BV sowie Art. 8 Abs. 1 und 2 EMRK). Dabei übersieht er indes, dass die genannten internationalen Übereinkünfte die Verwirklichung des Kindeswohls bezwecken; insoweit konkretisieren sie die verfassungs- bzw. konventionsrechtlichen Vorgaben, auf welche er sich beruft. Nur wird das Kindeswohl dort anders verstanden: Die internationale Rechtsgemeinschaft hat durch die Übereinkünfte ihre Überzeugung zum Ausdruck gebracht, dem Kindeswohl sei durch die Festlegung einer Zuständigkeit am Aufenthaltsort eher gedient als durch eine Verknüpfung der Regelung der Kinderbelange an die Scheidung (vorne E. 3.2). Die Rüge erweist sich also als unbegründet. Die behauptete zeitliche Verschleppung des Entscheides über die Kinderbelange ist im Ergebnis die Folge der Prozessführung seitens des Beschwerdeführers.
4.3 Die Notwendigkeit, in Frankreich ein weiteres Verfahren zur Regelung der Kinderbelange anzustrengen, ist eine unmittelbare und unausweichliche Folge der gewollten gesetzlichen Regelung. Dass sie prozessökonomische Konsequenzen für die Parteien hat, versteht sich von selbst und ist ebenfalls nicht zu verhindern.
4.4 Zur Begründung einer vermeintlichen Verletzung von Art. 10 HKsÜ beruft sich der Beschwerdeführer sodann auf den Grundsatz der Einheit des Scheidungsverfahrens. Er behauptet in diesem Zusammenhang noch einmal, die Parteien hätten von der durch diese Bestimmung (oder durch die entsprechende Bestimmung im MSA) geschaffenen Möglichkeit Gebrauch gemacht, die Zuständigkeit am Scheidungsort zu begründen, indem sie zu Beginn des Scheidungsverfahrens kundgetan hätten, die Kinderbelange ebenfalls in der Schweiz regeln zu wollen. Damit setzt sich der Beschwerdeführer allerdings überhaupt nicht mit der Feststellung der Vorinstanz auseinander, die Beschwerdegegnerin sei offensichtlich mit einer unstrittigen Regelung der Kinderbelange nicht einverstanden: Einerseits sei die damalige Konvention als Ganzes widerrufen worden; andererseits habe die Beschwerdegegnerin vor Obergericht die Bestätigung der erstinstanzlichen Verfügung beantragt und dadurch ihre Opposition unmissverständlich zum Ausdruck gebracht. Auf die ungenügend begründete Rüge (Art. 42 Abs. 2 BGG) ist nicht einzutreten.
4.5 Nachdem das Obergericht eine direkte schweizerische Zuständigkeit verneint hat, ist die Rüge der formellen Rechtsverweigerung offensichtlich haltlos: Das Obergericht hat lediglich in einem anderen als vom Beschwerdeführer gewünschten Sinn entschieden.
4.5 Nachdem das Obergericht eine direkte schweizerische Zuständigkeit verneint hat, ist die Rüge der formellen Rechtsverweigerung offensichtlich haltlos: Das Obergericht hat lediglich in einem anderen als vom Beschwerdeführer gewünschten Sinn entschieden.
4.6 4.6.1 Der Beschwerdeführer hält ferner an seiner Auffassung fest, dass die Kinder 1999 gegen seinen Willen ins Ausland verbracht worden sind, und erblickt darin eine Kindesentführung, welche das Obergericht von Amtes wegen hätte berücksichtigen müssen. Als Verletzung von Art. 29 Abs. 2 BV rügt er, dass dieser Umstand vom Obergericht nicht berücksichtigt worden ist. Überdies habe das Obergericht den Vorwurf fehlender Substantiierung auch ungenügend begründet.
4.6.2 Das Obergericht hat festgehalten, der Beschwerdeführer habe diesen Vorwurf nicht substantiiert. Vor Bundesgericht hätte es dem Beschwerdeführer oblegen, den Vorwurf mangelnder Substantiierung zu widerlegen, und nicht, die Substantiierung nachzuholen. Was er heute zu jenem Vorfall ausführt, ist insgesamt neu. Neue Tatsachen, die bereits der Vorinstanz hätten vorgelegt werden können, sind unzulässig (BGE 136 III 123 E. 4.4.3 S. 129). Das Rechtsmittel vor Bundesgericht soll der Partei nicht ermöglichen, vor der letzten kantonalen Instanz Versäumtes nachzuholen (Art. 99 Abs. 1 BGG Urteil 4A_18/2010 vom 15. März 2010 E. 2.1, nicht publ. in: BGE 136 I 197). Nicht weiter hilft Art. 145 aZGB, der aufgrund von Art. 404 Abs. 1 ZPO weiterhin anwendbar ist (BGE 138 I 49 E. 7.3; Urteil 4A_641/2011 vom 27. Januar 2012 E. 2.2): Die Untersuchungsmaxime entbindet die Partei nicht von ihrer Pflicht, die wesentlichen Tatsachen vorzutragen. Auch in diesen Fällen sind die Parteien gehalten, an der Ermittlung des Sachverhaltes mitzuwirken (BGE 128 III 411 E. 3.2.1; Urteil 5P.507/2006 vom 5. April 2007 E. 4.1). Der Beschwerdeführer behauptet nicht einmal, seiner Obliegenheit nachgekommen zu sein. Der Vorwurf der Verletzung des rechtlichen Gehörs ist unbegründet.
4.6.3 Unverständlich ist der Vorwurf, die Vorinstanz habe die fehlende Substantiierung ungenügend begründet: Es fehle "an einer erläuternden Bezugnahme auf die Relevanz des vorgebrachten Einwands". Auch damit wird nicht rechtsgenüglich erörtert, inwiefern die obergerichtliche Erwägung, der Vorwurf der Kindesentführung sei nicht substantiiert worden, gegen Bundesrecht verstossen soll.
5. Damit ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Er hat die Gegenpartei jedoch für das bundesgerichtliche Verfahren nicht zu entschädigen, da keine Vernehmlassung eingeholt worden ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. Juli 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zbinden