Sachverhalt:
A. Die X._ Vermögensverwaltung AG (Beschwerdeführerin) ist eine Vermögensverwaltungsgesellschaft mit Sitz in Zürich, vormals in Appenzell. Sie bot Y._ (Beschwerdegegnerin) mit Wohnsitz in Ludwigsburg, Deutschland, ihre Dienste an und schloss mit ihr unter anderem einen Vermögensverwaltungsvertrag. Am 13. Februar 2009 kündigte die Beschwerdegegnerin den Vermögensverwaltungsvertrag und verlangte die Rückerstattung von Euro 66'088.03, zuzüglich entgangenen Gewinns von 4 % seit den jeweiligen Einzahlungen, sowie die Freistellung von etwaigen Verpflichtungen aus Versicherungs- und Depotverträgen. Sie setzte der Beschwerdeführerin Frist bis zum 5. März 2009 und drohte ihr für den Fall, dass sie keine Antwort erhalte oder keinen Geldeingang feststellen könne, gerichtliche Schritte an.
B. Am 26. März 2009 erhob die Beschwerdeführerin gegen die Beschwerdegegnerin beim Bezirksgericht Zürich eine negative Feststellungsklage mit dem Begehren, es sei festzustellen, dass die Beschwerdegegnerin durch die Beschwerdeführerin in ihrem Vermögen nicht geschädigt worden sei und seitens der Beschwerdegegnerin gegenüber der Beschwerdeführerin kein Anspruch auf Schadenersatz aus Vertrag oder aus unerlaubter Handlung bestehe. Mit Beschluss vom 8. April 2009 trat das Bezirksgericht mangels Rechtsschutzinteresses auf die Klage nicht ein.
Dagegen rekurrierte die Beschwerdeführerin an das Obergericht des Kantons Zürich, das den Rekurs mit Beschluss vom 17. Februar 2010 abwies und den erstinstanzlichen Beschluss bestätigte. Das Obergericht erwog unter Bezugnahme auf die bundesgerichtliche Rechtsprechung, dass auch im Anwendungsbereich des LugÜ für eine negative Feststellungsklage ein Feststellungsinteresse vorausgesetzt werden dürfe. Das Interesse des Schuldners, die Leistungsklage des Gläubigers an einem bestimmten Gerichtsstand durch eine frühere negative Feststellungsklage an einem anderen Gerichtsstand zu verhindern ("forum running"), bilde kein schutzwürdiges Feststellungsinteresse. Vorliegend gehe es der Beschwerdeführerin mit ihrer negativen Feststellungsklage erklärtermassen darum, einen ihr genehmen Gerichtsstand zu fixieren. Damit fehle es am Rechtsschutzinteresse und an einer Prozessvoraussetzung, weshalb das Bezirksgericht zu Recht nicht auf die Klage eingetreten sei.
C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, den Beschluss des Obergerichts vom 17. Februar 2010 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin stellt den Antrag, die Beschwerde abzuweisen und den angefochtenen Beschluss zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung.
D. Mit Präsidialverfügung vom 30. April 2010 wurde das Gesuch der Beschwerdeführerin um Erteilung der aufschiebenden Wirkung abgewiesen.
Erwägungen:
1. Der angefochtene Nichteintretensbeschluss schliesst das kantonale Verfahren ab. Er stellt einen anfechtbaren Endentscheid dar (Art. 90 BGG) und geht von einer letzten kantonalen Instanz (Art. 75 BGG) aus, soweit Rügen erhoben werden, die nicht beim Kassationsgericht des Kantons Zürich mit Nichtigkeitsbeschwerde hätten vorgetragen werden können. Der Streitwert übersteigt die Grenze von Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG). Die Beschwerdeführerin ist mit ihren Anträgen vor der Vorinstanz unterlegen und somit zur Einreichung der Beschwerde legitimiert (Art. 76 Abs. 1 BGG). Die Frist (Art. 100 Abs. 1 BGG) wurde eingehalten. Auf die Beschwerde ist demnach einzutreten.
2. Die Beschwerdeführerin stellt keinen materiellen Antrag, sondern beantragt lediglich die Aufhebung des angefochtenen Beschlusses und die Rückweisung der Sache zur Neubeurteilung. Der angefochtene Beschluss lautet auf Nichteintreten. Hat die Vorinstanz einen Nichteintretensentscheid gefällt und demnach die Sache materiell nicht beurteilt, kann das Bundesgericht im Falle der Gutheissung der Beschwerde nicht reformatorisch entscheiden, sondern müsste die Angelegenheit zum Entscheid in der Sache an die Vorinstanz zurückweisen. Ein materieller Antrag ist daher in solchen Fällen nicht erforderlich (Urteil 4A_330/2008 vom 27. Januar 2010 E. 2.1 mit Hinweis, nicht publ. in: BGE 136 III 102). Zutreffend weist die Beschwerdeführerin überdies darauf hin, dass die Vorinstanz auch noch nicht über die örtliche Zuständigkeit befunden hat, da sie auf die Klage mangels Feststellungsinteresses nicht eingetreten ist. Demnach genügt der Rückweisungsantrag.
3. Die Beschwerdeführerin wirft der Vorinstanz eine Verletzung von Art. 21 LugÜ vor, weil diese auf die negative Feststellungsklage mangels Feststellungsinteresses nicht eingetreten ist. Sie argumentiert, für identische Ansprüche im Sinne von Art. 21 Abs. 1 LugÜ dürften keine unterschiedlichen Eintretensvoraussetzungen geschaffen werden. Das strenge Prioritätsprinzip des Art. 21 LugÜ gebe auch einer früher angehobenen negativen Feststellungsklage den Vorrang vor einer später angehobenen Leistungsklage. Wenn für die negative Feststellungsklage ein besonderes Feststellungsinteresse verlangt werde, widerspreche dies der zwingenden Prioritätsregel des LugÜ.
4. Es trifft zu, wie die Beschwerdeführerin vorbringt, dass bei der Anwendung und Auslegung des LugÜ massgebliche Entscheidungen der Gerichte der anderen Vertragsstaaten sowie die Rechtsprechung des EuGH zum EuGVÜ zu berücksichtigen sind (BGE 133 III 282 E. 3.1 S. 285; 123 III 414 E. 4 S. 421). Klarzustellen ist aber, dass es vorliegend weder um die Auslegung von Art. 21 LugÜ oder des Begriffs der Rechtshängigkeit geht noch um die Frage der richtigen Anwendung von Art. 21 LugÜ, da die Beschwerdegegnerin bislang keine Leistungsklage anhängig gemacht hat und die Vorinstanz ohnehin nicht mangels Priorität, sondern mangels Rechtsschutzinteresses auf die negative Feststellungsklage nicht eingetreten ist. Zu entscheiden ist vorliegend einzig die Frage, ob in internationalen Verhältnissen im Geltungsbereich des LugÜ für eine negative Feststellungsklage ein besonderes Rechtsschutzinteresse vorausgesetzt werden darf bzw. ob ein solches bei "forum running" als hinlänglich anzuerkennen ist.
5. Unter welchen Voraussetzungen die gerichtliche Feststellung des Bestehens oder Nichtbestehens bundesrechtlicher Ansprüche verlangt werden kann, ist eine Frage des Bundesrechts. Nach der Rechtsprechung des Bundesgerichts ist die Feststellungsklage nur zuzulassen, wenn der Kläger an der sofortigen Feststellung ein erhebliches schutzwürdiges Interesse hat, welches kein rechtliches zu sein braucht, sondern auch bloss tatsächlicher Natur sein kann. Diese Voraussetzung ist namentlich gegeben, wenn die Rechtsbeziehungen der Parteien ungewiss sind und die Ungewissheit durch die richterliche Feststellung beseitigt werden kann und ihre Fortdauer der Klagepartei nicht zugemutet werden kann, weil sie sie in ihrer Bewegungsfreiheit behindert. Bei der negativen Feststellungsklage sind auch allfällige Interessen des Gläubigers zu berücksichtigen (BGE 133 III 282 E. 3.5; 131 III 319 E. 3.5 S. 324 f.; 123 III 414 E. 7b S. 429).
Nach der Rechtsprechung des Bundesgerichts vermag das blosse Interesse einer Partei, unter mehreren möglichen Gerichtsständen den ihr zusagenden durch schnelleres Einleiten einer Klage wählen zu können, für sich allein kein schutzwürdiges Feststellungsinteresse zu begründen (BGE 131 III 319 E. 3.5 S. 325; 123 III 414 E. 7b S. 430).
6. 6.1 Der EuGH hat sich in zwei Entscheidungen zu den Begriffen "desselben Anspruchs" bzw. "derselben Parteien", mithin zur Identität des Streitgegenstandes im Sinne von Art. 21 EuGVÜ (dem heutigen Art. 27 EuGVO), geäussert:
Im Entscheid Gubisch Maschinenfabrik/Palumbo (Urteil des EuGH vom 8. Dezember 1987 144/86, Slg. 1987 S. 4871) kam der EuGH zum Schluss, der Begriff der Rechtshängigkeit im Sinne von Art. 21 des Übereinkommens umfasse den Fall, dass eine Partei vor dem Gericht eines Vertragsstaats die Feststellung der Unwirksamkeit oder die Auflösung eines internationalen Kaufvertrags begehrt, während eine Klage der anderen Partei auf Erfüllung desselben Vertrags vor dem Gericht eines anderen Vertragsstaates anhängig ist.
Im Entscheid Tatry/Maciej Rataj (Urteil des EuGH vom 6. Dezember 1994 C-406/92, Slg. 1994 I-5460) erkannte er in Ziff. 3, Art. 21 des Übereinkommens sei dahin auszulegen, dass eine Klage, die auf die Feststellung, dass der Beklagte für einen Schaden haftet, und auf dessen Verurteilung zur Zahlung von Schadenersatz gerichtet ist, denselben Anspruch betrifft wie eine von diesem Beklagten früher erhobene Klage auf Feststellung, dass er für diesen Schaden nicht haftet.
Insbesondere aus der zuletzt genannten Entscheidung ergibt sich deutlich, dass zwischen einer negativen Feststellungsklage und einer Leistungsklage über denselben Anspruch Identität im Sinne von Art. 21 LugÜ anzunehmen ist.
6.2 Der deutsche Bundesgerichtshof (BGH) leitete aus den zitierten Entscheidungen des EuGH und gestützt auf die Meinung von Kropholler (Jan Kropholler, Europäisches Zivilprozessrecht, Kommentar zu EuGVO, Lugano-Übereinkommen und Europäischem Vollstreckungstitel, 8. Aufl. 2005, N. 10 zu Art. 27 EuGVO) ab, dass auch die früher erhobene negative Feststellungsklage Vorrang vor der später erhobenen Leistungsklage hat. Dies diene der Chancengleichheit zwischen Gläubiger und Schuldner. Der Schuldner habe durch schnelle Erhebung einer negativen Feststellungsklage die gleiche Chance, sich das streitentscheidende Gericht auszusuchen, wie der Gläubiger. Die später erhobene Leistungsklage führe nicht zum Wegfall des Feststellungsinteresses für die Feststellungsklage (Urteil des BGH vom 11. Dezember 1996, publ. in: Entscheidungen des Bundesgerichtshofes in Zivilsachen [BGHZ] 134 [1998], S. 201 ff., S. 211).
6.3 Mit Blick auf den erwähnten Entscheid des BGH wird in der Literatur teilweise die Auffassung vertreten, für internationale Verhältnisse sei bei "forum running" ein hinreichendes Feststellungsinteresse anzuerkennen. Zur Begründung wird auf die Waffengleichheit und Chancengleichheit der Parteien hingewiesen und ausgeführt, wenn beide Parteien daran seien, ein Gericht an einem ihnen genehmen Gerichtsstand anzurufen, bestehe zwar für den Feststellungskläger keine nicht mehr länger zumutbare Ungewissheit bezüglich der Rechtslage, dagegen werde der Feststellungsbeklagte nicht zu einer vorzeitigen Prozessführung gezwungen. Damit seien die bezüglich des Feststellungsinteresses abzuwägenden Parteiinteressen grundsätzlich ausgewogen, weshalb in solchen Konstellationen das Vorliegen eines Feststellungsinteresses zur Wahrung der zuständigkeitsrechtlichen Waffengleichheit zu bejahen sei (vgl. Gion Jegher, Abwehrmassnahmen gegen ausländische Prozesse im internationalen Zivilverfahrensrecht der Schweiz, Diss. Basel 2003, S. 71 f.; Derselbe, Mit schweizerischer negativer Feststellungsklage ins europäische Forum Running - Gedanken anlässlich BGE 123 III 414, ZSR 1999 I, S. 31 ff., S. 43 f.; Felix Dasser, in: Dasser/Oberhammer [Hrsg.], Kommentar zum Lugano-Übereinkommen, 2008, N. 77 zu Art. 21 LugÜ; vgl. auch Derselbe, Der Kampf ums Gericht, ZSR 2000 I, S. 253 ff., S. 268 f.).
6.4 Das Bundesgericht ist dieser Meinung jedenfalls für das nationale Schweizer Recht nicht gefolgt. Es führte aus, wenn in kurzer Zeit mit einer Leistungsklage zu rechnen sei, so sei eine unzumutbare Fortdauer der Rechtsunsicherheit und damit ein hinreichendes Interesse an der Klärung einer umstrittenen Rechtsfrage durch ein Feststellungsurteil grundsätzlich zu verneinen. Da das Feststellungsinteresse unabhängig vom Gerichtsstand vorliegen müsse, könne es nicht durch das Interesse an einem bestimmten Gerichtsstand ersetzt werden. Ansonsten würde die vom Gesetzgeber getroffene Regelung der Gerichtsstände umgangen bzw. ausser Kraft gesetzt. Zudem würde die Zulassung des "forum running" dazu führen, dass die Parteien möglichst schnell und ohne vorherige Ankündigung zu den ihnen genehmen Gerichten "rennen" und klagen müssten, um ihren Gerichtsstand zu sichern. Dies wäre nicht sachgerecht, da damit aussergerichtliche Vergleichsverhandlungen oder einvernehmliche Streitlösungsverfahren gefährdet und die Gerichte mit unnötigen parallelen Verfahren belastet würden. Aus diesen Gründen hielt es ausdrücklich an der Rechtsprechung fest, wonach das Interesse des Schuldners, die Leistungsklage des Gläubigers an einem bestimmten Gerichtsstand durch eine frühere Feststellungsklage an einem anderen Gerichtsstand zu verhindern, kein schutzwürdiges Feststellungsinteresse zu begründen vermag (BGE 131 III 319 E. 3.5 S. 326).
6.5 Diese Gründe sprechen gleichermassen für ein Festhalten an der genannten Rechtsprechung bei internationalen Verhältnissen. Das Bundesgericht hat denn auch bereits im Anwendungsbereich des LugÜ in diesem Sinne entschieden (Urteil 4C.208/2006 vom 23. Oktober 2006 E. 3.1; kritiklos wiedergegeben von Daniel Girsberger, Entwicklungen im schweizerischen internationalen Privatrecht, SJZ 2008 S. 92; demgegenüber brauchte die Frage in BGE 133 III 282 E. 3.5.1 S. 288 nicht erörtert zu werden).
Die bundesgerichtliche Rechtsprechung findet in der Literatur zur Schweizerischen ZPO Unterstützung, indem das blosse Interesse des Feststellungsklägers, seinerseits den Gerichtsstand zu bestimmen, auch für internationale Verhältnisse als nicht hinreichend bewertet und ausgeführt wird, Überlegungen zur (internationalen) Zuständigkeit sollten bei der Prüfung des Feststellungsinteresses für sich allein nicht ausschlaggebend sein (Staehelin/Staehelin/Grolimund, Zivilprozessrecht, Zürich 2008, S. 195). In der Tat leuchtet nicht ein, weshalb allein der Umstand, dass das LugÜ dem Gläubiger für bestimmte Klagen mehrere Gerichtsstände zur Verfügung stellt, eine "Chancengleichheit" des Schuldners in dem Sinn rechtfertigen soll, dass auch dieser die Möglichkeit hat, durch eine negative Feststellungsklage seinerseits den Gerichtsstand zu wählen, ohne dass er ein darüber hinausgehendes Interesse geltend machen kann.
Weder das LugÜ noch die EuGVO regeln, ob für negative Feststellungsklagen ein spezielles Rechtsschutzinteresse zu verlangen ist, sondern überlassen diese Frage nach wie vor den nationalen Rechten (Schnyder/Liatowitsch, Internationales Privat- und Zivilverfahrensrecht, 2. Aufl. 2006, S. 120 Rz. 339). Ebenso wenig verbieten die erwähnte Rechtsprechung des deutschen BGH und die von ihm herangezogenen Urteile des EuGH, dass das nationale Recht für negative Feststellungsklagen ein besonderes Feststellungsinteresse voraussetzt. Die genannte Rechtsprechung besagt lediglich, dass eine negative Feststellungsklage und eine Leistungsklage über denselben Anspruch Identität im Sinne von Art. 21 LugÜ aufweisen und eine zuerst anhängig gemachte negative Feststellungsklage eine spätere Leistungsklage blockieren kann. Sie schliesst aber nicht aus, dass das nationale Recht für negative Feststellungsklagen ein besonderes Feststellungsinteresse verlangt. In diesem Sinn argumentiert auch Tiefenthaler, der annimmt, die Gefahr des Missbrauchs negativer Feststellungsklagen sei beschränkt, wenn gemäss dem innerstaatlichen Verfahrensrecht der Kläger ein rechtliches Interesse an der Feststellung haben müsse (Stefan Tiefenthaler, in: Kurzkommentar Europäisches Gerichtsstands- und Vollstreckungsrecht, EuGVO und Lugano Übereinkommen, 2. Aufl. 2003, N. 12 zu Art. 27 EuGVO). Diese Argumentation impliziert, dass das nationale Verfahrensrecht ein besonderes Rechtsschutzinteresse verlangen darf.
Demgemäss hat die Vorinstanz entgegen der Meinung der Beschwerdeführerin Art. 21 LugÜ nicht verletzt, indem sie das blosse Interesse der Beschwerdeführerin, einen Gerichtsstand zu fixieren, nicht genügen liess und ein hinreichendes Rechtsschutzinteresse verneinte.
7. Die Beschwerde ist demzufolge abzuweisen. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. Juni 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Sommer