Sachverhalt:
A. Die X._ Kft (Beschwerdeführerin) ist eine Gesellschaft mit beschränkter Haftung nach ungarischem Recht, die im Jahre 2004 fünf weitere Gesellschaften absorbiert hat. Diese sechs Gesellschaften hatten im Jahre 1994 56.99 % der Aktien einer Zement- und Kalkwerk AG erworben. Der Kauf der Aktien wurde durch Bankkredite mit einer Laufzeit von 15 Jahren finanziert. Die Aktien wurden der Bank als Faustpfandsicherheit hinterlegt. In den Darlehensverträgen war vereinbart, die Kredite könnten mit einer Frist von sechs Monaten gekündigt werden, falls die Kreditnehmerinnen eine ihrer im Vertrag festgeschriebenen Pflichten verletzen sollten. Bei den Krediten handelte es sich um sogenannte Existenzkredite (E-Kredite), welche der ungarische Staat im Rahmen von Privatisierungen zu Spezialkonditionen im Inland vergeben hatte.
B. Die Y._ Ltd mit Sitz in O._ (Beschwerdegegnerin) hatte über eine Tochtergesellschaft im Jahre 1989 33.33 % der Aktien der Zement- und Kalkwerk AG erworben. Zwischen den Aktionären (insbesondere der Unternehmensgruppe der Beschwerdeführerin und der Tochter der Beschwerdegegnerin) kam es zu Auseinandersetzungen. Am 10. Oktober 1996 übernahm eine ungarische Tochter der Beschwerdegegnerin die Forderungen der kreditgebenden Bank, wobei ihr diese die als Sicherheit dienenden Aktien übergab. Gleichentags kündigte die ungarische Tochtergesellschaft der Beschwerdegegnerin die Kreditverträge und verwertete am 26. Oktober 1996 die als Sicherheit dienenden Aktien. Diese wurden am 31. Januar 2001 physisch vernichtet, als die Zement- und Kalkwerk AG mit einer weiteren Zementwerkgesellschaft zur Z._ Rt fusioniert wurde. Diese wird von einer Tochter der Beschwerdegegnerin beherrscht.
C. Im Zusammenhang mit der Verwertung der als Sicherheit hinterlegten Aktien kam es in Ungarn zu gerichtlichen Auseinandersetzungen. In einem ersten Prozess (Aktienprozess I) wurde rechtskräftig entschieden, die Übertragung des E-Kredits auf die ungarische Tochter der Beschwerdegegnerin sei gültig gewesen und die Aktien seien aufgrund einer gültigen Indossierung auf diese Tochtergesellschaft übergegangen. In einem zweiten Prozess (Aktienprozess II) beantragte die Unternehmensgruppe der Beschwerdeführerin im Wesentlichen, es sei festzustellen, dass der von der ursprünglich kreditgebenden Bank mit der ungarischen Tochter der Beschwerdegegnerin geschlossene Abtretungsvertrag nichtig und die Kündigung der Kreditverträge ungültig sei. In beiden Verfahren wurde die Wiederherstellung des ursprünglichen Zustandes verlangt, gemäss Rechtsbegehren im Aktienprozess II indem die Z._ Rt verpflichtet werde, im Aktienbuch alle in Bezug auf die prozessgegenständlichen Aktien vorgenommenen Eintragungen zu löschen und das Eigentum der Unternehmensgruppe der Beschwerdeführerin vorzumerken. Die Beschwerdegegnerin sei zu verpflichten diese Wiederherstellung zu dulden. Zudem wurde von den Beklagten Schadenersatz verlangt. Sollte die Möglichkeit der Wiederherstellung des ursprünglichen Zustandes verneint werden, wurde in einem Eventualbegehren (unter anderem auch gegenüber der Beschwerdegegnerin) eine höhere Schadenersatzforderung eingeklagt.
D. Am 9. Oktober 2002 erkannte das erstinstanzliche Gericht im Aktienprozess II, die am 10. Oktober 1996 ausgesprochenen Kündigungen der Kredite seien mangels Beachtung der Kündigungsfrist ungültig. Im Übrigen wies es die Klage ab. Eine Realrestitution lehnte es ab, weil einerseits ein Kündigungsgrund vorgelegen und die kreditgebende Bank das Geld an den Staat zurückbezahlt habe. Andererseits habe die Tochtergesellschaft, welche die Forderungen von der kreditgebenden Bank übernommen hatte, durch eine weitere gültige Abtretung Befriedigung gesucht, weshalb die Wiederherstellung des ursprünglichen Zustandes insoweit nicht möglich sei. Sie sei zudem auch nicht sinnvoll, da die Klägerin dadurch nur wieder in die Position der Schuldnerin der ursprünglich kreditgebenden Bank gelangen würde. Die Aktien, ja sogar die Gesellschaft, an welcher die Beschwerdeführerin beteiligt gewesen war, existierten heute nicht mehr. Auf Berufung der Beschwerdeführerin stellte die Berufungsinstanz das Verfahren bezüglich der Eintragung des Aktieneigentums ein, da es insoweit an der Zuständigkeit mangelte. Nach Auffassung der Berufungsinstanz war der Beschluss der ersten Instanz stichhaltig, soweit diese zum Ergebnis gelangte, die eingetretenen Veränderungen seien irreversibel. Dagegen wies sie die Sache zurück zur Beurteilung der Schadenersatzforderung. Den gegen dieses Urteil gestellten Revisionsantrag wies der oberste Gerichtshof am 19. April 2005 ab. Er hielt dabei insbesondere fest, die Berufungsinstanz habe zu Recht festgehalten, es bestehe keine Möglichkeit zur Wiederherstellung des ursprünglichen Zustandes. Die gleichzeitig mit der Abtretung der Hauptforderung kraft Gesetzes übergegangenen Aktien befänden sich nicht mehr im Eigentum der ungarischen Tochter der Beschwerdegegnerin sondern seien auf neue Eigentümer übergegangen. Als die Streitsache wieder bei der ersten Instanz lag, wies diese die Schadenersatzforderung zufolge Verjährung ab. Mit Urteil vom 28. März 2008 wies die Berufungsinstanz indessen die Sache erneut an das erstinstanzliche Gericht zurück zur materiellen Beurteilung der Schadenersatzklage.
E. Am 11. Juli 2008 reichte die Beschwerdeführerin beim Handelsgericht des Kantons St. Gallen Klage ein. Sie beantragte im Wesentlichen, die Beschwerdegegnerin sei unter Strafandrohung zu verpflichten, ihre Tochtergesellschaften anzuweisen, sämtliche Vermögenswerte, welche vor der Fusion der Kalk- und Zementwerkaktiengesellschaft zuzurechnen waren, in eine neu zu gründende Aktiengesellschaft auszuscheiden oder sonstwie in einer nach ungarischem Recht zulässigen Art zu trennen, die Klägerin im Aktienbuch dieser neu zu gründenden Gesellschaft mit einer Eigentumsquote von 56.99 % einzutragen und die Aktien der Beschwerdeführerin frei von Pfand und sonstigen Sicherungsrechten zurückzugeben.
F. Mit Entscheid vom 18. Januar 2010 erachtete das Handelsgericht die von der Beschwerdegegnerin mit Blick auf den Aktienprozess II erhobene Einrede der abgeurteilten Sache für begründet und trat auf die Klage nicht ein. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin dem Bundesgericht, den angefochtenen Entscheid aufzuheben und das Handelsgericht anzuweisen, auf die Klage einzutreten. Die Beschwerdegegnerin beantragt, auf die Beschwerde nicht einzutreten, eventuell diese abzuweisen, während das Handelsgericht auf den angefochtenen Entscheid verweist und auf Vernehmlassung verzichtet.
Erwägungen:
1. Nach der bundesgerichtlichen Rechtsprechung betrifft die materielle Rechtskraft, das heisst die Verbindlichkeit eines Urteils für spätere Prozesse, eine Frage des Bundesrechts, sofern der zu beurteilende Anspruch auf Bundesrecht beruht (BGE 121 III 474 E. 2 S. 476 f. mit Hinweis). Die Beschwerdegegnerin macht geltend, dass sich die Rechtskraft des ungarischen Urteils aus ungarischem Recht ergebe, dessen Anwendung das Bundesgericht in vermögensrechtlichen Angelegenheiten nicht überprüfen könne. Unter welchen Bedingungen die materielle Rechtskraft ausländischer Entscheide zu berücksichtigen ist, ergibt sich indessen aus Bundesrecht (vgl. Art. 9 und Art. 27 Abs. 2 lit. c IPRG), dessen korrekte Anwendung das Bundesgericht überprüfen kann.
2. Die Beschwerdegegnerin ist der Auffassung, das Handelsgericht sei zur Beurteilung der Streitsache gar nicht zuständig gewesen.
2.1 Für die Anwendbarkeit des Übereinkommens vom 16. September 1988 über die gerichtliche Zuständigkeit und die Vollstreckung gerichtlicher Entscheidungen in Zivil- und Handelssachen (Lugano-Übereinkommen/LugÜ) genüge es, dass die beklagte Partei Wohnsitz in einem Vertragsstaat habe und ein internationales Sachverhaltselement hinzukomme. Unerheblich sei demgegenüber, dass der Kläger Wohnsitz in einem Drittstaat habe. Die Klage betreffe weder Eingriffe in die Substanz der Beschwerdegegnerin noch gehe es um die Gültigkeit oder Nichtigkeit der Beschlüsse von Organen der Beschwerdegegnerin. Ziel der Klage sei vielmehr die Auflösung einer ungarischen Gesellschaft, weshalb nach Art. 16 Nr. 2 LugÜ eine zwingende ausschliessliche Zuständigkeit der ungarischen Gerichte bestehe.
2.2 Es trifft zu, dass die Anwendung von Art. 2 LugÜ den Wohnsitz des Beklagten in einem Vertragsstaat sowie ein weiteres internationales Element voraussetzt. Dieses ist gegeben, wenn der Kläger Wohnsitz im Ausland hat, selbst wenn der Wohnsitzstaat nicht Lugano-Staat ist (BGE 135 III 185). Nach Art. 16 Nr. 2 LugÜ sind für Klagen, welche die Gültigkeit, die Nichtigkeit oder die Auflösung einer Gesellschaft oder juristischen Person oder der Beschlüsse ihrer Organe zum Gegenstand haben, die Gerichte des Vertragsstaats, in dessen Hoheitsgebiet die Gesellschaft oder juristische Person ihren Sitz hat, ausschliesslich zuständig. Für die Anwendbarkeit von Art. 16 Nr. 2 LugÜ wird in der Lehre indessen grundsätzlich verlangt, dass die Gesellschaft, um deren Gültigkeit, Nichtigkeit oder Auflösung es geht, Sitz in einem Vertragsstaat hat (RUSCH, in; Dasser/Oberhammer [Hrsg.], Kommentar zum Lugano-Übereinkommen, 2008, N. 11 f. zu Art. 16 Nr. 2 LugÜ). Die Frage braucht indessen nicht weiter erörtert zu werden, da die ungarische Tochtergesellschaft, von welcher nach dem Willen der Beschwerdeführerin Aktiven in eine neu zu gründende Gesellschaft übertragen werden sollen, nicht Prozesspartei ist. Selbst wenn die Klage der Beschwerdeführerin gutgeheissen würde, könnte das Urteil gegenüber den Tochtergesellschaften der Beschwerdegegnerin nicht direkt Wirkung entfalten oder vollstreckt werden. Gemäss den vor Handelsgericht gestellten Rechtsbegehren soll nicht über die Gültigkeit, Nichtigkeit oder Auflösung einer ungarischen Gesellschaft entschieden werden, sondern darüber, ob eine Pflicht der Beschwerdegegnerin besteht, soweit das ungarische Recht dies zulässt, durch Neugründung einer Aktiengesellschaft und Übertragung von Aktiven einen Zustand zu schaffen, der wirtschaftlich demjenigen vor der Fusion entspricht. Art. 16 Nr. 2 LugÜ käme somit selbst dann nicht zur Anwendung, wenn Ungarn dem Lugano-Übereinkommen beigetreten wäre.
3. Eine abgeurteilte Sache liegt vor, wenn der streitige Anspruch mit einem schon rechtskräftig beurteilten identisch ist. Dies trifft zu, wenn der Anspruch dem Richter aus demselben Rechtsgrund und gestützt auf den gleichen Sachverhalt erneut zur Beurteilung unterbreitet wird (BGE 125 III 241 E. 1 S. 242; 123 III 16 E. 2a S. 18; 119 II 89 E. 2a S. 90). Die Rechtskraftwirkung tritt nur soweit ein, als über den geltend gemachten Anspruch entschieden worden ist. Inwieweit dies der Fall ist, ergibt die Auslegung des Urteils, zu welcher dessen ganzer Inhalt heranzuziehen ist. Zwar erwächst der Entscheid nur in jener Form in Rechtskraft, wie er im Urteilsdispositiv zum Ausdruck kommt, doch ergibt sich dessen Tragweite vielfach erst aus einem Beizug der Urteilserwägungen (BGE 121 III 474 E. 4a S. 478). Durch die Anerkennung der materiellen Rechtskraft soll den Parteien verwehrt bleiben, eine von einem zuständigen Gericht bereits entschiedene Streitfrage in einem neuen Verfahren wieder aufzurollen.
3.1 Die Beschwerdeführerin bestreitet nicht, dass die Beschwerdegegnerin am Aktienprozess II beteiligt war. Sie stellt sodann nicht in Frage, dass der Sachverhalt, den sie zur Begründung ihres Rechtsbegehrens vorbringt, derselbe ist wie in den ungarischen Verfahren, nämlich die (nach den Feststellungen der ungarischen Gerichte) ungültige Kündigung der Kreditverträge mit der nachfolgenden Verwertung der als Sicherheit hinterlegten Aktien. Die Beschwerdeführerin macht allerdings geltend, sie habe im Verfahren vor Handelsgericht etwas anderes beantragt als im Aktienprozess II und stütze ihren Anspruch auf Grundlagen, die von den ungarischen Gerichten nicht beurteilt worden seien.
3.2 Die Beschwerdeführerin begründete ihren Antrag vor Vorinstanz im Wesentlichen damit, die Kündigung der Kreditverträge am 10. Oktober 1996 sei zu Unrecht erfolgt, weshalb die Verwertung der Pfänder ebenfalls rechtswidrig sei. Sie leitet ihre Ansprüche aus derselben Vertragsverletzung und insoweit aus demselben Rechtsgrund ab, der im ungarischen Verfahren rechtskräftig beurteilt worden ist.
3.3 Im Aktienprozess II hatte die Beschwerdeführerin in ihrem Rechtsbegehren präzisiert, wie der von ihr beantragte Zustand herzustellen sei, nämlich indem die Z._ Rt verpflichtet werde, im Aktienbuch alle in Bezug auf die prozessgegenständlichen Aktien vorgenommenen Eintragungen zu löschen und im Aktienbuch das Eigentum der Unternehmensgruppe der Beschwerdeführerin vorzumerken. Die Beschwerdegegnerin sei zu verpflichten, dies zu dulden. Die ungarischen Gerichte erkannten, die Verwirklichung dieses Anspruchs sei unmöglich. Die vorgenommenen Änderungen seien irreversibel.
3.4 Im Verfahren vor dem Handelsgericht soll nach den Ausführungen der Beschwerdeführerin nicht eine Minderheitsbeteiligung an einer bestehenden Gesellschaft erreicht werden, sondern eine Mehrheitsbeteiligung an einer abzuspaltenden neuen Gesellschaft. Daher weichen nach Auffassung der Beschwerdeführerin die konkreten Anliegen und damit auch die Streitgegenstände in beiden Verfahren erheblich voneinander ab, weshalb die ungarischen Verfahren bezüglich des vor Vorinstanz gestellten Begehrens keine Rechtskraftwirkung zeitigten.
3.4.1 Wie es sich damit verhält, braucht nicht entschieden zu werden, da sich die vor der Vorinstanz eingereichte Klage ohnehin als unzulässig erweist. Die Beschwerdeführerin hat vor den ungarischen Gerichten nicht nur eine bestimmte Art der Wiederherstellung des ursprünglichen Zustandes als Realersatz nebst einer gewissen Summe als Geldersatz verlangt, sondern im Eventualbegehren zusätzlichen Schadenersatz, falls die Möglichkeit der beantragten Wiederherstellung von den ungarischen Gerichten verneint werden sollte. Mit diesem Rechtsbegehren hat sie nicht nur eine bestimmte Form der Wiederherstellung des ursprünglichen Zustandes, sondern die Frage nach dem Schadenersatz insgesamt zum Thema gemacht. Es wäre ihr frei gestanden, stattdessen als Eventualantrag den dem Handelsgericht unterbreiteten zu stellen oder sich eine entsprechende Forderung vorzubehalten. Keinesfalls aber hat die Beschwerdeführerin zugleich den vor Handelsgericht eingeklagten wirtschaftlichen Realersatz und den in Ungarn geforderten, den gesamten geltend gemachten Schaden abdeckenden Geldersatz zugute, wäre sie doch doppelt entschädigt, soweit sie vor Vorinstanz mit dem Begehren auf Realersatz und vor den ungarischen Gerichten mit dem Eventualbegehren auf zusätzlichen Geldersatz durchdringen würde. Daran würde sich auch nichts ändern, wenn die Schadenersatzansprüche auf verschiedenen Anspruchsgrundlagen basieren sollten. Die Beschwerdeführerin muss sich vielmehr entscheiden, ob sie denselben Schaden primär in Geld oder realiter ersetzt haben will. Diese Wahl hat sie getroffen, indem sie im ungarischen Verfahren für den Fall, dass die von ihr im rechtskräftig abgewiesenen Hauptbegehren verlangte Art des Realersatzes nicht möglich ist, Geldersatz verlangt. Über diese Forderung wird in dem in Ungarn hängigen Verfahren entschieden. Somit beansprucht die Beschwerdeführerin von derselben Person für denselben Schaden vor verschiedenen Gerichten gleichzeitig vollständigen Real- und Geldersatz, obwohl ihr, wie sie selbst erkennt, ein doppelter Ersatz nicht zusteht. Auch indem sie auf Vertragserfüllung klagt, nachdem vor den ungarischen Gerichten im Eventualbegehren bereits Geldersatz für den Schaden eingeklagt wurde, der durch die unterbliebene Vertragserfüllung entstanden sein soll, macht sie Ansprüche geltend, die sich gegenseitig ausschliessen.
3.4.2 Derartiges in sich unvereinbares widersprüchliches Verhalten ist nach der Rechtsprechung des Bundesgerichts rechtsmissbräuchlich (Art. 2 Abs. 2 ZGB) und verdient keinen Rechtsschutz, unabhängig davon, ob dadurch berechtigte Erwartungen enttäuscht werden (vgl. Urteil des Bundesgerichts 4C.202/2006 vom 29. September 2006 E. 3). Dass der Beschwerdegegnerin bei einer doppelten Verurteilung allenfalls Ansprüche aus ungerechtfertigter Bereicherung zustünden, wie die Beschwerdeführerin einwendet, ändert daran nichts. Es besteht seitens der Beschwerdegegnerin ein berechtigtes Interesse daran zu wissen, ob sie einer allfälligen Pflicht zum Schadenersatz mit einer Geld- oder mit einer Realleistung nachzukommen hat.
3.4.3 Zudem würde mit der vor Vorinstanz verlangten unbeschwerten Herausgabe der Aktien wirtschaftlich nicht der Zustand ohne Vertragsverletzung wiederhergestellt. Dazu müssten vielmehr auch die Kreditverträge miteinbezogen werden, so dass die Beschwerdeführerin wieder Schuldnerin der Kreditgeber würde. Gerade dies erachtete indessen bereits das erstinstanzliche ungarische Gericht als sinnlos.
3.5 Damit ist die Vorinstanz im Ergebnis zu Recht auf die Klage nicht eingetreten, ohne dass auf die Tragweite der Rechtskraft näher eingegangen werden müsste. Insgesamt erweist sich die Beschwerde als unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 40'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 50'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 11. Oktober 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Luczak