Sachverhalt:
A. Die am 3. März 1988 geborene Y._ (Beschwerdegegnerin) erlitt am 25. Mai 1989, d.h. im Alter von 14 Monaten, einen schweren Verkehrsunfall. Dabei wurde sie von einem bei der X._ AG (Beschwerdeführerin) haftpflichtversicherten Fahrzeug überfahren. Sie erlitt schwerste Hirnverletzungen, die sie irreversibel invalidisierten.
B. Am 31. Dezember 2010 erhob die Beschwerdegegnerin beim Handelsgericht des Kantons Zürich Klage mit dem Rechtsbegehren, die Beschwerdeführerin sei zu verurteilen, ihr Fr. 2'816'087.-- nebst Zins zu 5 % zu bezahlen. "Die Mehrforderung" werde "vorbehalten".
Die Beschwerdeführerin beantragte, sie sei zur Zahlung von Fr. 640'814.-- zu verpflichten. Im Mehrbetrag sei die Klage abzuweisen. Ausserdem erhob sie Widerklage mit dem Begehren, es sei festzustellen, dass sie der Beschwerdegegnerin als Schadenersatz und Genugtuung insgesamt nicht mehr als Fr. 640'814.-- schulde. Es sei der Beschwerdeführerin die Hinterlegung von Fr. 640'814.-- bei der Zürcher Kantonalbank zu gestatten.
In der Verfügung vom 21. April 2011 hielt die Instruktionsrichterin fest, dass die sachliche Zuständigkeit des Handelsgerichts für die Widerklage zweifelhaft erscheine, weil weder eine vorgängige Vereinbarung der Parteien im Sinne von § 64 des Gerichtsverfassungsgesetzes des Kantons Zürich vom 13. Juni 1976 [aGVG/ZH] behauptet worden noch die Beschwerdegegnerin im Handelsregister eingetragen sei, weshalb vorab über die Zuständigkeit des Handelsgerichts für die Widerklage zu entscheiden sei. Den Parteien wurde Gelegenheit gegeben, sich zu dieser Frage zu äussern.
Mit Beschluss vom 22. Juni 2011 trat das Handelsgericht auf die Widerklage nicht ein. Es setzte der Beschwerdeführerin Frist bis zum 25. August 2011, um das zuständige Gericht zu bezeichnen. Bei Säumnis unterbleibe eine Prozessüberweisung. Am 26. Juli 2011 beantragte die Beschwerdeführerin die Überweisung des Prozesses an das Bezirksgericht Zürich. Mit Verfügung vom 2. August 2011 überwies die Instruktionsrichterin den Prozess hinsichtlich der Widerklage an das Bezirksgericht Zürich.
C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, der Beschluss des Handelsgerichts vom 22. Juni 2011 sei aufzuheben. Es sei das Handelsgericht des Kantons Zürich anzuweisen, auf die Widerklage einzutreten.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Die Parteien reichten Replik und Duplik ein.
Erwägungen:
1. Nach Art. 90 BGG ist die Beschwerde zulässig gegen Entscheide, die das Verfahren abschliessen. Gegen selbstständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit ist gemäss Art. 92 Abs. 1 BGG die Beschwerde ebenfalls zulässig. Verneint das Gericht seine Zuständigkeit, erlässt es nicht einen Zwischenentscheid, sondern einen Endentscheid im Sinne von Art. 90 BGG (BGE 135 V 153 E. 1.3). Vorliegend ist das Handelsgericht mangels sachlicher Zuständigkeit auf die Widerklage nicht eingetreten. Damit fällte es betreffend die Widerklage einen Teilentscheid (Art. 91 BGG), der eine Form des Endentscheids darstellt. Ob der Beschluss allenfalls als Zwischenentscheid betreffend die Zuständigkeit qualifiziert werden könnte, weil die Überweisung an das zuständige Gericht in Aussicht gestellt wurde (vgl. dazu BGE 132 III 178 E. 1.1; Urteil 9C_1000/2009 vom 6. Januar 2010 E. 1.2; FELIX UHLMANN, in: Basler Kommentar zum Bundesgerichtsgesetz, 2. Aufl. 2011, N. 8a zu Art. 92 BGG), kann offen bleiben, da der Beschluss so oder anders selbständig anfechtbar ist (Art. 92 BGG).
Nachdem die Streitwertgrenze von Fr. 30'000.-- nach Art. 74 Abs. 1 lit. b BGG erreicht wird, ist die Beschwerde in Zivilsachen grundsätzlich zulässig und fällt eine Behandlung der Eingabe als subsidiäre Verfassungsbeschwerde ausser Betracht (Art. 113 BGG).
2. Das Verfahren war bei Inkrafttreten der Schweizerischen Zivilprozessordnung vom 19. Dezember 2008 (SR 272; ZPO) vor der Vorinstanz rechtshängig, weshalb das bisherige zürcherische Prozessrecht anwendbar blieb (Art. 404 Abs. 1 ZPO). Die intertemporale Regelung betreffend die örtliche Zuständigkeit (Art. 404 Abs. 2 ZPO) ist nicht einschlägig, da es um die Frage der sachlichen Zuständigkeit des Handelsgerichts für die Widerklage ging.
Die Beschwerdegegnerin machte für die Hauptklage von ihrem Wahlrecht nach § 63 Ziff. 1 aGVG/ZH Gebrauch und reichte die Klage zulässigerweise beim Handelsgericht ein. Dieses verneinte seine sachliche Zuständigkeit betreffend die Widerklage, da die hierfür nach dem GVG/ZH geltenden Voraussetzungen nicht gegeben seien. Es führte aus, die Widerklage sei zulässig, wenn das Gericht u.a. auch für den Gegenanspruch sachlich zuständig sei. Dies treffe auf das Handelsgericht zu, wenn der Widerkläger Anspruch gegen eine im Handelsregister eingetragene Firma erhebe und sich der Streitgegenstand auf die Gewerbetätigkeit bzw. die Handelsverhältnisse einer Partei beziehe. Hingegen sei die Widerklage ausgeschlossen, wenn die eine Klage der Handelsgerichtsbarkeit und die andere der ordentlichen Gerichtsbarkeit unterstehe. Mache - wie vorliegend die Beschwerdegegnerin - ein nicht im Handelsregister eingetragener Kläger seine Klage nach § 63 Ziff. 1 aGVG/ZH am Handelsgericht anhängig, so könne dieses eine Widerklage nur gestützt auf eine schriftliche Parteivereinbarung gemäss § 64 Ziff. 1 aGVG/ZH behandeln. Eine solche liege aber nicht vor.
Das Handelsgericht verwarf sämtliche Vorbringen, mit denen die Beschwerdeführerin versuchte, die sachliche Zuständigkeit des Handelsgerichts für die Widerklage herzuleiten. Namentlich wies es die Argumentation der Beschwerdeführerin zu Art. 6 des Gerichtsstandsgesetzes vom 24. März 2000 (aGestG; AS 2000 2355) zurück, da das Gerichtsstandsgesetz nur die örtliche Zuständigkeit regle und Art. 6 aGestG betreffend die Widerklage den Kantonen nicht verbiete, die Voraussetzung der gleichen sachlichen und funktionellen Zuständigkeit für die Zulässigkeit einer Widerklage aufzustellen, wozu auch die Zuständigkeit von Sondergerichten gehöre. Im Kanton Zürich ergebe sich der Vorbehalt der gleichen sachlichen Zuständigkeit aus § 60 des Gesetzes des Kantons Zürich über den Zivilprozess vom 13. Juni 1976 [aZPO/ZH].
3. Die Beschwerde wirft die Frage auf, ob das Handelsgericht die erhobene negative Feststellungswiderklage behandeln muss.
3.1 Die hier noch massgebende altrechtliche zürcherische Regelung und Praxis sind zu dieser Frage klar:
Nach § 62 aGVG/ZH war das Handelsgericht u.a. sachlich zuständig für Handelsgeschäfte, d.h. für alle Zivilprozesse zwischen Parteien, die als Firmen im Handelsregister eingetragen sind, sofern sich der Streit auf das von einer Partei betriebene Gewerbe oder auf Handelsverhältnisse überhaupt bezog und wenn der Streitwert für die Berufung an das Bundesgericht erreicht wurde. Entsprach der Streitgegenstand im Übrigen den Anforderungen von § 62, konnte der Kläger zwischen dem Bezirksgericht oder dem Arbeitsgericht und dem Mietgericht einerseits und dem Handelsgericht anderseits wählen, wenn nicht er, wohl aber der Beklagte im Handelsregister eingetragen ist (§ 63 Ziff. 1 aGVG/ZH).
Nach § 60 Abs. 1 Satz 1 aZPO/ZH war Widerklage zulässig, wenn das Gericht auch für den Gegenanspruch sachlich zuständig und für diesen die gleiche Verfahrensart vorgesehen war. Klagte ein im Handelsregister nicht eingetragener Kläger gestützt auf § 63 Ziff. 1 aGVG/ZH beim Handelsgericht, so konnte dieses eine Widerklage nur behandeln, wenn eine vorgängige schriftliche Vereinbarung nach § 64 aGVG/ZH vorlag (FRANK/STRÄULI/MESSMER, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl., Zürich 1997, N. 5a und 9b zu § 60 ZPO/ZH). Zwischen zwei Klagen, von denen die eine der Handelsgerichtsbarkeit und die andere der ordentlichen Gerichtsbarkeit untersteht, war die Widerklage ausgeschlossen (HAUSER/SCHWERI, Kommentar zum zürcherischen Gerichtsverfassungsgesetz, Zürich 2002, N. 37 zu § 62 GVG/ZH; FRANK/STRÄULI/MESSMER, a.a.O., N. 9a zu § 60 zu ZPO/ZH).
Dementsprechend trat das Handelsgericht mangels sachlicher Zuständigkeit nicht auf eine Widerklage ein, wenn die Voraussetzungen der §§ 61 ff. aGVG/ZH nicht erfüllt waren (so etwa Urteil des Handelsgerichts des Kantons Zürich vom 12. Juni 1990, in: ZR 89/1990 Nr. 70; Urteil des Kassationsgerichts des Kantons Zürich vom 11. April 1983, in: ZR 82/1983 Nr. 100).
Die Beschwerdeführerin führt denn auch selber aus, ihr sei diese Praxis bekannt gewesen.
3.2 Sie hält die zürcherische Regelung indessen für bundesrechtswidrig, weil mit dem Erfordernis der gleichen sachlichen Zuständigkeit eine über Art. 6 aGestG hinausgehende Voraussetzung für die Zulässigkeit einer Widerklage statuiert werde. Art. 6 aGestG regle die Voraussetzungen für die Zulässigkeit der Widerklage abschliessend.
Dem kann nicht gefolgt werden. Nach Art. 6 Abs. 1 aGestG konnte beim Gericht der Hauptklage Widerklage erhoben werden, wenn die Widerklage mit der Hauptklage in einem sachlichen Zusammenhang stand. Der Gerichtsstand der Widerklage diente dem Zweck, widersprüchliche Urteile zu verhindern sowie eine rasche und effiziente gesamthafte Erledigung zusammenhängender Streitsachen zwischen denselben Parteien zu ermöglichen (MÜLLER, in: Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2001, N. 1 und 6 zu Art. 6 GestG; KELLERHALS/GÜNGERICH, in: Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2. Aufl. 2005, N. 1 zu Art. 6 GestG).
Ausgehend vom Grundsatz, dass das Gerichtsstandsgesetz ausschliesslich die örtliche Zuständigkeit regelte und der Gesetzgeber weitere Eingriffe in die kantonale Hoheit vermeiden wollte, verblieb den Kantonen die Befugnis, die übrigen prozessualen Voraussetzungen der Zulässigkeit einer Widerklage zu regeln. So durften die Kantone auch unter der Herrschaft des Gerichtsstandsgesetzes weiterhin namentlich die Voraussetzung der gleichen sachlichen Zuständigkeit vorsehen, wozu auch die Zuständigkeit von Sondergerichten (wie Miet-, Arbeits- oder Handelsgerichte) gehörte (Botschaft vom 18. November 1998 zum GestG, BBl 1999 2847; MÜLLER, a.a.O., N. 14 zu Art. 6 GestG; KELLERHALS/GÜNGERICH, a.a.O., N. 35 zu Art. 6 GestG; SPÜHLER, in: Bundesgesetz über den Gerichtsstand in Zivilsachen, 2001, N. 9 zu Art. 6 GestG; vgl. auch SPÜHLER/REETZ, Die allgemeinen Gerichtsstandsvorschriften des GestG, in: Das Gerichtsstandsgesetz, 2001, S. 19, welche die Widerklage gar unter Berufung auf ungeschriebenes Bundesrecht von der gleichen sachlichen Zuständigkeit abhängig machen wollten).
Die zürcherische Regelung verstiess daher mit dem Erfordernis der gleichen sachlichen Zuständigkeit nicht gegen Art. 6 aGestG.
4. Die Beschwerdeführerin rügt, es sei willkürlich und widerspreche dem Grundsatz der Waffengleichheit bzw. des fairen Verfahrens, wenn eine nicht im Handelsregister eingetragene Partei mit der Klage eine sachliche Zuständigkeit eines Sondergerichts begründen könne, die im Handelsregister eingetragene Partei jedoch die so begründete sachliche Zuständigkeit des Handelsgerichts für die Hauptklage nicht für die Widerklage beanspruchen könne, obwohl es um den gleichen Lebenssachverhalt gehe wie bei der Klage. Ferner sieht sie Art. 18 Abs. 1 KV/ZH (SR 131.211) verletzt, der jeder Person vor Verwaltungs- und Gerichtsinstanzen Anspruch auf rasche und wohlfeile Erledigung des Verfahrens gewährt. Mit der (sequentiellen) Befassung von zwei Zürcher Gerichten komme die für alle Beteiligten ungünstigste Variante der Streiterledigung zum Zug und werde der Grundsatz einer raschen Rechtsprechung unterlaufen.
Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1; 134 II 244 E. 2.2; 133 III 439 E. 3.2 S. 444). Dies gilt namentlich für die Rüge der Verletzung kantonalen Verfassungsrechts, die notabene durchaus im Rahmen der ordentlichen Beschwerde in Zivilsachen (und nicht mittels subsidiärer Verfassungsbeschwerde) zu erheben ist (Art. 95 lit. c BGG). Macht der Beschwerdeführer eine Verletzung des Willkürverbots von Art. 9 BV geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Er hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352).
Diesen Begründungsanforderungen werden die allzu pauschal gehaltenen Rügen der Verletzung des Willkürverbots, verfassungsrechtlicher Verfahrensgrundsätze und von kantonalem Verfassungsrecht kaum gerecht. Sie verfangen ohnehin nicht. So wird der Grundsatz der Waffengleichheit bzw. des fairen Verfahrens nicht schon allein durch den Umstand verletzt, dass für die Zulässigkeit der Widerklage die gleiche sachliche Zuständigkeit wie für die Hauptklage vorausgesetzt wird. Ebensowenig muss die Befassung von zwei Gerichten per se zu einer ungebührlichen Verfahrensverzögerung führen. Sodann mögen zwar prozessökonomische Überlegungen durchaus für die von der Beschwerdeführerin geforderte Zulassung der negativen Feststellungswiderklage zumindest bei der optionalen Handelsgerichtsbarkeit nach § 63 aGVG/ZH sprechen (in diesem Sinne etwa KELLERHALS/GÜNGERICH, a.a.O., N. 37 zu Art. 6 GestG). Indessen gebieten diese Gründe nicht, die bisherige zürcherische Regelung für willkürlich auszugeben (zumal für die verbleibende intertemporalrechtlich bedeutsame Zeit).
5. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Dem Verfahrensausgang entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 7'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 24. Februar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz