Sachverhalt:
A. Z._ (geb. 1941) und X._ (geb. 1947), beide schweizerisch-ungarische Doppelbürger, sind seit 1995 verheiratet. Die Ehe blieb kinderlos. Am 12. März 2007 klagte Z._ beim Bezirksgericht Zürich auf Ehescheidung. X._ erhob mit Eingabe vom 30. März 2007 die Einrede der örtlichen Unzuständigkeit. Er begründete seinen Standpunkt mit dem Hinweis, Gegenstand der güterrechtlichen Auseinandersetzung seien die von den Parteien im Laufe der Ehe erworbenen Grundstücke in Ungarn und Ungarn würde solche betreffende ausländische Entscheidungen nicht anerkennen. Weiter habe er bereits am 26. Juli 2006 beim Zentralbezirksgericht Pest in Budapest Scheidungsklage eingereicht. Gemäss einer Bestätigung dieses Gerichts vom 8. Mai 2007 sei die Scheidungsklage zwar am 26. Juli 2006 eingereicht worden, die Rechtshängigkeit jedoch erst am 27. April 2007 eingetreten, weil die Anwältin von Z._ die Klageschrift erst zu diesem Zeitpunkt erhalten habe. Mit Verfügung vom 11. Juli 2007 wies der Einzelrichter am Bezirksgericht Zürich die Unzuständigkeitseinrede ab.
B. Der von X._ dagegen erhobene Rekurs beim Obergericht des Kantons Zürich blieb erfolglos. Dieses wies den Rekurs ab, soweit es darauf eintrat (Beschluss vom 9. Oktober 2009).
Das von X._ angerufene Kassationsgericht des Kantons Zürich trat auf dessen Nichtigkeitsbeschwerde nicht ein, soweit die Feststellung der Unzuständigkeit des Bezirksgerichts Zürich beantragt war, und wies die Beschwerde gegen die Kosten- und Entschädigungsregelung ab (Beschluss vom 26. Februar 2010).
C. Mit Eingabe vom 31. März 2010 wendet sich X._ (nachfolgend Beschwerdeführer) an das Bundesgericht und beantragt, den Beschluss des Obergerichts aufzuheben, auf die güterrechtliche Auseinandersetzung mangels internationaler Zuständigkeit nicht einzutreten, bzw. eventualiter das Verfahren bis zum Entscheid des ungarischen Gerichts über die güterrechtliche Auseinandersetzung zu sistieren; alles unter Kosten- und Entschädigungsfolgen.
In der Hauptsache wurden keine Vernehmlassungen eingeholt.
Mit Verfügung vom 19. Mai 2010 wies die Präsidentin der II. zivilrechtlichen Abteilung die Gesuche um aufschiebende Wirkung bzw. Sistierung des bundesgerichtlichen Verfahrens ab.

Erwägungen:
1. 1.1 Angefochten ist ein selbständig eröffneter Zwischenentscheid, mit welchem die örtliche Zuständigkeit des Bezirksgerichts Zürich für das dort anhängig gemachte Ehescheidungsverfahren bejaht wurde; insoweit kann dagegen die Beschwerde in Zivilsachen ergriffen werden (Art. 72 Abs. 1 und Art. 92 Abs. 1 BGG).
1.2 Die Beschwerde in Zivilsachen ist zulässig gegen Entscheide letzter kantonaler Instanzen (<ref-law>). Mangels Letztinstanzlichkeit ist daher auf die Beschwerde nicht einzutreten, soweit der Beschwerdeführer die Erwägungen des erstinstanzlichen Richters beanstandet und eine Verletzung der Begründungspflicht (<ref-law>) geltend macht.
Mit Bezug auf gegen die Sachverhaltsfeststellung und Beweiswürdigung erhobene Rügen ist das Urteil des Obergerichts von vornherein nicht letztinstanzlich, weil mit Nichtigkeitsbeschwerde vor dem Kassationsgericht des Kantons Zürich geltend gemacht werden kann, der Entscheid beruhe auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (§ 281 Ziff. 2 der Zivilprozessordnung des Kantons Zürich [ZPO/ZH; LS 271]; Urteile 5A_616/2009 vom 9. November 2009 E. 1.2; 5A_608/2007 vom 23. Februar 2009 E. 1.3); dies deckt sich mit der Rüge der offensichtlichen Unrichtigkeit gemäss <ref-law> (Urteil 4A_22/2008 vom 10. April 2008 E. 1 und 2), geht es doch hierbei um willkürliche Sachverhaltsfeststellung bzw. Beweiswürdigung (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398; Urteil 5A_37/2008 vom 4. September 2008 E. 1, nicht publ. in: <ref-ruling>).
Auf die gegen das Urteil des Obergerichts gerichteten Sachverhaltsrügen kann mangels Letztinstanzlichkeit nicht eingetreten werden. Dies betrifft namentlich den Vorwurf, das Obergericht sei von der offensichtlich unrichtigen, aktenwidrigen und willkürlichen tatsächlichen Annahme ausgegangen, die Beschwerdegegnerin habe sich an der Verhandlung des ungarischen Gerichts vom 20. Februar 2008 nicht vorbehaltlos eingelassen, sowie die Behauptung, die Beschwerdegegnerin habe die Unzuständigkeitseinrede gegenüber dem ungarischen Gericht erst am 27. April 2008 erhoben.
1.3 Was dagegen die Geltendmachung einer Verletzung von Bundeszivilrecht betrifft, ist der Beschluss des Obergerichts ein letztinstanzlicher Entscheid, weil das Bundesgericht die entsprechende Rechtsanwendung frei überprüfen kann (Urteile 5A_616/2009 vom 9. November 2009 E. 1.2; 4A_22/2008 vom 10. April 2008 E. 1; 5A_141/2007 vom 21. Dezember 2007 E. 2.4). Insoweit kann auf die von der durch den Entscheid beschwerten Prozesspartei (Art. 76 Abs. 1 lit. a und b BGG) rechtzeitig eingereichte Beschwerde (<ref-law>) eingetreten werden.
1.4 Unter das Bundesrecht im Sinne von <ref-law> fallen auch verfassungsmässige Rechte des Bundes (<ref-ruling> E. 3.1 S. 447; <ref-ruling> E. 1 S. 203). Die Verletzung von Grundrechten prüft das Bundesgericht indes nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE <ref-ruling> E. 6 S. 397; <ref-ruling> E. 1.4.2 S. 254).
Der Beschwerdeführer rügt die Verletzung von Art. 6 EMRK, ohne detailliert aufzuzeigen, welche Rechte ihm diese Bestimmung im vorliegenden Sachzusammenhang einräumt. Die sehr allgemein gehaltenen Ausführungen erfüllen die Anforderungen an die Rügepflicht nicht. Darauf ist nicht einzutreten.
1.5 Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Das trifft für das der Beschwerde beigelegte Urteil des Zentralbezirksgerichts Pest vom 24. September 2009 nicht zu, weshalb es unbeachtlich bleiben muss.
2. Der Beschwerdeführer rügt eine Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs (<ref-law>), indem das Kassationsgericht seinen Sistierungsantrag ohne jede Begründung abgewiesen habe. Wegen der formellen Natur des Gehörsanspruchs ist diese Rüge vorweg zu prüfen (<ref-ruling> E. 2a S. 232; <ref-ruling> E. 4a S. 469).
Das rechtliche Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (<ref-ruling> E. 3a S. 51, 241 E. 2 S. 244, je mit Hinweisen). Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (vgl. <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 4.3 S. 540; <ref-ruling> E. 3.2 S. 236; <ref-ruling> E. 2b S. 102, je mit Hinweisen).
Das Kassationsgericht trat nicht auf die Rüge hinsichtlich der (internationalen) Zuständigkeit ein, weil dies eine Frage des Bundesrechts und eine Verletzung desselben mit der Beschwerde in Zivilsachen geltend zu machen sei. Wie sich aus <ref-law> ergibt und der Beschwerdeführer selber ausführt, steht vorliegend die Frage der Sistierung des Verfahrens in unmittelbarem Sachzusammenhang mit derjenigen der (internationalen) Zuständigkeit. Wird - wie hier - die Zuständigkeit bejaht, bleibt kein Raum für eine Sistierung. Mit dem Nichteintretensentscheid hat das Kassationsgericht mithin gleichzeitig über den Sistierungsantrag befunden, selbst wenn dies nicht ausdrücklich so im angefochtenen Entscheid steht. Wie im Übrigen seine mehrseitigen Ausführungen zeigen, war der Beschwerdeführer ohne weiteres in der Lage, den Entscheid des Kassationsgerichts sachgerecht anzufechten. Die Rüge ist demnach unbegründet.
3. Hauptsächlich rügt der Beschwerdeführer, das Obergericht sei zu Unrecht nicht von einem internationalen Verhältnis ausgegangen, zumal in Ungarn liegende, während der Ehe erworbene Grundstücke Gegenstand der güterrechtlichen Auseinandersetzung seien. Sodann beanspruche Ungarn die alleinige Zuständigkeit für die Vornahme der güterrechtlichen Auseinandersetzung, und zwar nicht nur für die dort gelegenen Grundstücke. Im Übrigen habe das ungarische Gericht seinen Entscheid am 24. September 2009 gefällt; dieser sei allerdings noch nicht rechtskräftig. Ferner entspreche es einem "von den Kulturvölkern anerkannten Rechtsgrundsatz", dass bei Immobilien eine ausschliessliche Zuständigkeit der Gerichte im Belegenheitsstaat bestehe. Dieser Grundsatz sei im hier anwendbaren <ref-law> übernommen worden und ergebe sich auch aus <ref-law>.
4. 4.1 Unter Vorbehalt hier nicht anwendbarer internationaler Abkommen bestimmt sich die internationale (Entscheid-)Zuständigkeit der schweizerischen Gerichte ausschliesslich nach dem Bundesgesetz vom 18. Dezember 1987 über das Internationale Privatrecht (IPRG; SR 291). Die Frage der Anerkennungsfähigkeit im Ausland (indirekte Zuständigkeit) hat auf diejenige der Entscheidungszuständigkeit nach schweizerischem IPRG (direkte Zuständigkeit) keinen Einfluss, weshalb der Einwand, das Zürcher Scheidungsurteil könne in Ungarn nicht vollstreckt werden, an der Sache vorbeigeht (vgl. im Einzelnen E. 4.2).
Aus <ref-law> (Gerichtsstand der gelegenen Sache für Klagen, die dingliche Rechte an unbeweglichen Sachen zum Gegenstand haben) kann der Beschwerdeführer nichts zu seinen Gunsten ableiten, weil dieses Übereinkommen ausdrücklich nicht auf die ehelichen Güterstände anwendbar ist (<ref-law>).
4.2 Vorliegend ist unbestritten, dass beide Ehegatten schweizerisch-ungarische Doppelbürger sind und seit mehr als einem Jahr vor Rechtshängigkeit des Scheidungsverfahrens vor dem Bezirksgericht in A._ ihren Wohnsitz hatten. Die den Parteien zu Eigentum gehörenden, in Ungarn liegenden Grundstücke bilden Gegenstand der güterrechtlichen Auseinandersetzung. Mithin liegt ein internationaler Sachverhalt vor.
Für Klagen auf Scheidung sind die schweizerischen Gerichte am Wohnsitz des Klägers zuständig, wenn dieser sich seit einem Jahr in der Schweiz aufhält oder wenn der Schweizer Bürger ist (<ref-law>). Die Heimatzuständigkeit ist nur gegeben, wenn keiner der Ehegatten seinen Wohnsitz in der Schweiz hat (<ref-law>). Indessen wäre ohnehin zu berücksichtigen, dass nach <ref-law> bei Doppelbürgern für die Begründung des Heimatgerichtsstandes ausschliesslich die schweizerische Staatsangehörigkeit massgebend ist, woraus sich wiederum die Zuständigkeit der schweizerischen Gerichte ergibt. Die für Klagen auf Scheidung oder Trennung zuständigen schweizerischen Gerichte sind auch für die Regelung der Nebenfolgen zuständig (sog. Annexkompetenz, <ref-law>). Dasselbe ergibt sich aus <ref-law>, wonach für die güterrechtliche Auseinandersetzung im Falle einer Ehescheidung die für letztere zuständigen schweizerischen Gerichte zuständig sind.
Was ausländische Staatsangehörige anbelangt - wobei die Parteien vorliegend ohnehin Doppelbürger sind -, hängt die internationale Zuständigkeit des schweizerischen Ehescheidungsrichters unter der Herrschaft des IPRG anders als unter dem früheren Recht (vgl. Art. 7h NAG) nicht von der Anerkennungsfähigkeit des Ehescheidungsurteils im Heimatstaat des geschiedenen Ehegatten ab (BUCHER, Droit international privé suisse, Tome II: Personnes, Famille, Succession, 1992, N 503). Unter altem Recht verhielt es sich aber so, dass wegen der Einheit des Güterrechts der schweizerische Richter umfassend zuständig war, selbst wenn im Ausland gelegene Grundstücke Gegenstand der güterrechtlichen Auseinandersetzung bildeten (vgl. Urteil 5C.171/1995 vom 9. Dezember 1995 E. 3a, publ. in SJ 1996 S. 461). Im nunmehr anwendbaren IPRG hat der Gesetzgeber beim Ehescheidungsrecht im Unterschied zum Erbrecht (vgl. <ref-law>) keinen Vorbehalt zugunsten einer allenfalls ausschliesslichen Zuständigkeit des Belegenheitsstaates vorgesehen, weshalb der schweizerische Scheidungsrichter nicht umhin kommt, in umfassender Weise auch über das Güterrecht zu entscheiden (COURVOISIER, Basler Kommentar, N 15 zu <ref-law>; HEINI, Zürcher Kommentar, N. 12 vor Art. 51-58 IPRG).
Der vom Beschwerdeführer angerufene <ref-law> ist von vornherein nicht anwendbar, weil er nur in der Schweiz gelegene Grundstücke betrifft, und <ref-law> regelt das anwendbare Recht, sodass diese Bestimmung keinen Einfluss auf die - hier ausschliesslich zu entscheidende - Frage der (internationalen) Zuständigkeit des Bezirksgerichts Zürich haben kann. Dasselbe gilt sinngemäss für alle anderen Vorbringen des Beschwerdeführers, mit welchen er die Frage der Zuständigkeit mit derjenigen des anwendbaren Rechts vermischt bzw. verwechselt.
Nach dem Gesagten ist das Bezirksgericht Zürich für die von der Beschwerdegegnerin eingereichte Ehescheidungsklage und für die Regelung der Nebenfolgen einschliesslich der güterrechtlichen Auseinandersetzung bezüglich der in Ungarn gelegenen Grundstücke zuständig. Nichts gesagt ist damit über die Frage, wie die Parteien, soweit sie gemeinsames oder gemeinschaftliches Eigentum an den fraglichen Grundstücken besitzen, in güter- und sachenrechtlicher Hinsicht auseinanderzusetzen sind.
Unter diesen Umständen bleibt für die doppelt und eventualiter beantragte Sistierung des Verfahrens, "bis das ungarische Gericht über die güterrechtliche Auseinandersetzung entschieden hat" (Rechtsbegehren 3 und 4), kein Platz (s. E. 2).
5. Bei diesem Ausgang ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer unterliegt und ist kostenpflichtig (<ref-law>). Er hat die Beschwerdegegnerin für ihre Stellungnahme im Zusammenhang mit dem Gesuch um aufschiebende Wirkung zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer wird verpflichtet, die Beschwerdegegnerin für ihre Umtriebe im bundesgerichtlichen Verfahren mit Fr. 500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, I. Zivilkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 11. Juni 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli