Sachverhalt:
A. X._ (Beschwerdeführer) und Y._ (Beschwerdegegnerin) sind schweizerisch-ungarische Doppelbürger mit Wohnsitz in der Schweiz. Am 13. März 2007 erhob die Beschwerdegegnerin beim Bezirksgericht Zürich eine Scheidungsklage. Der Beschwerdeführer reichte seinerseits in Budapest eine Scheidungsklage ein, die indessen erst am 27. April 2007 rechtshängig wurde. Am 30. März 2007 machte der Beschwerdeführer geltend, das Bezirksgericht Zürich sei örtlich unzuständig, insbesondere hinsichtlich der güterrechtlichen Auseinandersetzung. Die Unzuständigkeitseinrede wurde vom Bezirksgericht und den Rechtsmittelinstanzen verworfen (vgl. Urteil 5A_248/2010 vom 11. Juni 2010).
Das vom Beschwerdeführer in Ungarn für die Scheidung angerufene Zentralbezirksgericht zu Pest stellte - in Kenntnis des in der Schweiz hängigen Scheidungsverfahrens - sein Verfahren zum Scheidungspunkt am 20. September 2007 ein, beschloss aber gleichzeitig die Weiterführung des Verfahrens zur güterrechtlichen Auseinandersetzung und legte dafür ein separates Verfahren an. Mit Urteil vom 24. September 2009 nahm es die güterrechtliche Auseinandersetzung vor. Die von der Beschwerdegegnerin angerufene Rechtsmittelinstanz (Hauptstädtisches Gericht als zweitinstanzliches Gericht) hob am 6. September 2010 das erstinstanzliche Urteil hinsichtlich der güterrechtlichen Aufteilung des beweglichen Vermögens auf, da diese im schweizerischen Verfahren vorzunehmen sei. Hingegen bestätigte es die erstinstanzliche güterrechtliche Auseinandersetzung hinsichtlich des in Ungarn gelegenen Liegenschaftsvermögens. Es erachtete sich als ausschliesslich zuständig, da es um dingliche Ansprüche gehe, und erwog, ein diesbezügliches schweizerisches Scheidungsurteil wäre im ungarischen Grundbuch nicht eintragungsfähig. Beide Gerichte hielten fest, dass die Beschwerdegegnerin ihre Zuständigkeit während des gesamten Verfahrens ausdrücklich bestritten habe.
B. Am 3. Dezember 2010 erhob der Beschwerdeführer unter Hinweis auf das Urteil des Hauptstädtischen Gerichts vom 6. September 2010 im schweizerischen Scheidungsverfahren die Einrede der abgeurteilten Sache. Mit Verfügung vom 18. April 2011 wies der Einzelrichter des Bezirksgerichts die Einrede ab. Die vom Beschwerdeführer am 28. Mai 2011 erhobene Berufung an das Obergericht des Kantons Zürich wurde mit Urteil vom 3. Oktober 2011 abgewiesen. Das Obergericht auferlegte dem Beschwerdeführer die Kosten von Fr. 3'000.-- sowie eine Parteientschädigung von Fr. 3'500.--.
C. Am 7. November 2011 hat der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er beantragt die Aufhebung des obergerichtlichen Urteils. Auf die Scheidungsklage sei wegen Vorliegens einer abgeurteilten Sache nicht einzutreten. Eventualiter sei auf die Klage bezüglich der güterrechtlichen Auseinandersetzung nicht einzutreten oder das Verfahren in dieser Hinsicht als gegenstandslos abzuschreiben. Die vorinstanzliche Prozessentschädigung sei angemessen zu reduzieren. Zudem ersucht er um aufschiebende Wirkung.
Die Beschwerdegegnerin hat Abweisung des Gesuchs um aufschiebende Wirkung beantragt und das Obergericht hat auf Vernehmlassung verzichtet. Mit Präsidialverfügung vom 22. Dezember 2011 ist das Gesuch abgewiesen worden.
Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 135 III 212 E. 1 S. 216 mit Hinweisen).
1.1 Das angefochtene Urteil ist ein Zwischenentscheid gemäss Art. 93 BGG. Er beendet das Hauptverfahren auf Scheidung nicht, sondern weist einzig die Einrede der abgeurteilten Sache (res iudicata) ab (BGE 136 V 131 E. 1.1.2 S. 134; 116 II 738 E. 1 S. 741). Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (Art. 92 BGG), ist die Beschwerde ans Bundesgericht gemäss Art. 93 Abs. 1 BGG zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Die Eintretensvoraussetzungen von Art. 93 Abs. 1 BGG sollen das Bundesgericht entlasten. Dieses soll sich möglichst nur einmal mit einer Sache befassen und sich überdies nicht bereits in einem frühen Verfahrensstadium ohne genügend umfassende Sachverhaltskenntnis teilweise materiell festlegen müssen. Können allfällige Nachteile in verhältnismässiger Weise auch noch mit einer bundesgerichtlichen Beurteilung nach Ausfällung des Endentscheids behoben werden, so tritt das Bundesgericht auf Beschwerden gegen Vor- und Zwischenentscheide nicht ein (BGE 137 IV 237 E. 1.1 S. 239 mit Hinweis). Die selbständige Anfechtbarkeit von Zwischenentscheiden bildet demgemäss die Ausnahme und ist restriktiv zu handhaben.
Der Beschwerdeführer muss begründen, weshalb die Voraussetzungen gemäss Art. 93 Abs. 1 BGG erfüllt sein sollen, sofern deren Vorhandensein nicht auf der Hand liegt (BGE 137 III 324 E. 1.1 S. 329; 134 III 426 E. 1.2 S. 429; 133 III 629 E. 2.3.1 und 2.4.2 S. 632 f.).
1.2 Ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG muss rechtlicher Natur sein, was voraussetzt, dass er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt. Rein tatsächliche Nachteile wie die Verfahrensverlängerung oder -verteuerung genügen nicht (BGE 137 III 380 E. 1.2.1 S. 382 mit Hinweisen). Der Beschwerdeführer macht geltend, der Prozess in der Schweiz über die ungarischen Grundstücke bedinge einen unverhältnismässigen Aufwand an Zeit und Geld (vgl. auch E. 1.3). Nach dem Gesagten liegt darin kein rechtlicher Nachteil. Der Beschwerdeführer sieht zudem in der Gefahr widersprüchlicher Entscheidungen einen nicht wieder gutzumachenden Nachteil. Diese Gefahr besteht zwar, sie fällt aber derzeit nicht ins Gewicht. Mit der Einrede der abgeurteilten Sache hinsichtlich eines Teils der Scheidungsnebenfolgen kann sich das Bundesgericht ohne weiteres noch nach Ausfällung des Scheidungsendentscheides befassen. Ein günstiger Endentscheid - bestehe er nun darin, dass die Einrede durch das Bundesgericht dereinst gutgeheissen wird oder das schweizerische Urteil gleich ausfällt wie das ungarische - vermag den Nachteil zweimaligen Prozessierens über die ungarischen Grundstücke vollkommen wettzumachen. Der Beschwerdeführer macht schliesslich geltend, das schweizerische Urteil könne in Ungarn hinsichtlich der güterrechtlichen Auseinandersetzung nicht vollstreckt werden. Ob dem so ist, darüber werden in Zukunft allenfalls die ungarischen Gerichte zu befinden haben. Einen rechtlichen Nachteil stellen allfällige Vollstreckungsprobleme des schweizerischen Urteils jedenfalls nicht dar, zumal gar nicht feststeht, ob und inwieweit eine Vollstreckung in Ungarn überhaupt in Frage kommt (z.B. hinsichtlich allfälliger, in Geld zu leistender güterrechtlicher Ausgleichszahlungen). Andere Nachteile rechtlicher Natur macht der Beschwerdeführer nicht geltend und solche liegen auch nicht auf der Hand.
1.2 Ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG muss rechtlicher Natur sein, was voraussetzt, dass er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt. Rein tatsächliche Nachteile wie die Verfahrensverlängerung oder -verteuerung genügen nicht (BGE 137 III 380 E. 1.2.1 S. 382 mit Hinweisen). Der Beschwerdeführer macht geltend, der Prozess in der Schweiz über die ungarischen Grundstücke bedinge einen unverhältnismässigen Aufwand an Zeit und Geld (vgl. auch E. 1.3). Nach dem Gesagten liegt darin kein rechtlicher Nachteil. Der Beschwerdeführer sieht zudem in der Gefahr widersprüchlicher Entscheidungen einen nicht wieder gutzumachenden Nachteil. Diese Gefahr besteht zwar, sie fällt aber derzeit nicht ins Gewicht. Mit der Einrede der abgeurteilten Sache hinsichtlich eines Teils der Scheidungsnebenfolgen kann sich das Bundesgericht ohne weiteres noch nach Ausfällung des Scheidungsendentscheides befassen. Ein günstiger Endentscheid - bestehe er nun darin, dass die Einrede durch das Bundesgericht dereinst gutgeheissen wird oder das schweizerische Urteil gleich ausfällt wie das ungarische - vermag den Nachteil zweimaligen Prozessierens über die ungarischen Grundstücke vollkommen wettzumachen. Der Beschwerdeführer macht schliesslich geltend, das schweizerische Urteil könne in Ungarn hinsichtlich der güterrechtlichen Auseinandersetzung nicht vollstreckt werden. Ob dem so ist, darüber werden in Zukunft allenfalls die ungarischen Gerichte zu befinden haben. Einen rechtlichen Nachteil stellen allfällige Vollstreckungsprobleme des schweizerischen Urteils jedenfalls nicht dar, zumal gar nicht feststeht, ob und inwieweit eine Vollstreckung in Ungarn überhaupt in Frage kommt (z.B. hinsichtlich allfälliger, in Geld zu leistender güterrechtlicher Ausgleichszahlungen). Andere Nachteile rechtlicher Natur macht der Beschwerdeführer nicht geltend und solche liegen auch nicht auf der Hand.
1.3 1.3.1 Zu untersuchen bleibt, ob die Voraussetzungen von Art. 93 Abs. 1 lit. b BGG erfüllt sind. Vorauszuschicken ist, dass der Beschwerdeführer beantragt, auf die ganze Scheidungsklage nicht einzutreten und eventualiter auf die Klage hinsichtlich der gesamten güterrechtlichen Auseinandersetzung nicht einzutreten. Entsprechende Anträge hatte der Beschwerdeführer bereits vor der Vorinstanz gestellt. Die Vorinstanz hielt sie aufgrund von Art. 317 ZPO für unzulässig und ging deshalb nicht näher auf die Auslegung der Begehren ein. Entsprechend dem Antrag des Beschwerdeführers vor Bezirksgericht hat die Vorinstanz einzig die Frage behandelt, ob über die güterrechtliche Auseinandersetzung der ungarischen Grundstücke ein rechtskräftiges Urteil vorliege. In seiner Beschwerdebegründung an das Bundesgericht geht auch der Beschwerdeführer einzig auf diese Grundstücke ein und er behauptet insbesondere nicht, die Vorinstanz habe einen Teil seiner Rechtsbegehren zu Unrecht nicht behandelt. Es ist deshalb im Rahmen von Art. 93 Abs. 1 lit. b BGG davon auszugehen, dass einzig derjenige Teil der Klage, welcher die in Ungarn gelegenen Grundstücke betrifft, Gegenstand des bundesgerichtlichen Verfahrens ist.
1.3.2 Unter diesen Umständen könnte die Gutheissung der Beschwerde keinen Endentscheid im Sinne von Art. 90 BGG herbeiführen. Die Gutheissung würde lediglich ausschliessen, einen Teil der güterrechtlichen Auseinandersetzung in der Schweiz durchzuführen. Ob dies unter dem Gesichtspunkt von Art. 93 Abs. 1 lit. b BGG ausreichen würde, kann offenbleiben (vgl. in diesem Zusammenhang BGE 134 III 426 E. 1.2 S. 428 f. mit der Betonung des Prinzips der Einheit des Scheidungsurteils; Urteil 4A_7/2007 vom 18. Juni 2007 E. 2.2.1). Das Bundesgericht könnte nämlich ohnehin keinen End- oder Teilentscheid fällen, weil die Vorinstanz keine Feststellungen darüber getroffen hat, ob das Urteil des Hauptstädtischen Gerichts vom 6. September 2010 endgültig ist oder dagegen kein ordentliches Rechtsmittel mehr geltend gemacht werden kann (Art. 25 lit. b IPRG und Art. 29 Abs. 1 lit. b IPRG [SR 291]). Es liegt zudem nicht auf der Hand, dass ein unmittelbarer bundesgerichtlicher Entscheid einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde, und der Beschwerdeführer legt dies auch nicht rechtsgenüglich dar. Dazu müsste er detailliert aufzeigen, welche Tatfragen offen sind und welche weitläufigen Beweiserhebungen in welchem zeitlichen und kostenmässigen Umfang erforderlich sind. Zudem ist unter Aktenhinweis darzulegen, dass die betreffenden Beweise im kantonalen Verfahren bereits angerufen oder entsprechende Anträge in Aussicht gestellt sind (BGE 133 III 629 E. 2.4.2 S. 633 mit Hinweisen; Urteil 4A_7/2007 vom 18. Juni 2007 E. 2.2). Der Beschwerdeführer beschränkt sich auf die Behauptung, die Beschwerdegegnerin bestreite die Verkehrswerte der Grundstücke in Ungarn und es könnte ein langwieriges Rechtshilfeverfahren zur Beweisführung vermieden werden. Damit ist nicht in genügend konkreter Weise dargetan, dass ein unmittelbarer bundesgerichtlicher Entscheid einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde.
1.4 Auf die Beschwerde kann im Hauptpunkt somit nicht eingetreten werden.
2. Mit einer vom Ausgang der Beschwerde im Hauptpunkt unabhängigen Rüge wendet sich der Beschwerdeführer gegen die Höhe der vom Obergericht der Beschwerdegegnerin für das Berufungsverfahren zugesprochenen Parteientschädigung.
Der in einem Zwischenentscheid enthaltene Kosten- und Entschädigungspunkt kann an das Bundesgericht nur im Rahmen einer Beschwerde gegen den Zwischenentscheid im Hauptpunkt weitergezogen werden, soweit der Rechtsweg nach Art. 93 Abs. 1 BGG im Hauptpunkt offensteht. Der in einem Zwischenentscheid enthaltene Entscheid über Kosten- und Entschädigungsfolgen kann nicht selber einen nicht wieder gutzumachenden Nachteil gemäss Art. 93 Abs. 1 lit. a BGG bewirken (BGE 135 III 329 E. 1 S. 331 ff.). Wie soeben festgestellt, ist die Anfechtung des Zwischenentscheids im Hauptpunkt unzulässig. Somit kann auf die Anfechtung der Parteientschädigung nicht eingetreten werden. Die Entschädigungsfolgen sind zusammen mit dem Endentscheid anzufechten (Art. 93 Abs. 3 BGG).
3. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Zudem hat er die Beschwerdegegnerin für ihre Stellungnahme zum Gesuch um aufschiebende Wirkung zu entschädigen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 300.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg