Sachverhalt: A. Die LEGO System A/S (Beklagte, Beschwerdeführerin) gehört zur dänischen LEGO-Gruppe, die seit mehreren Jahrzehnten die bekannten LEGO-Klemmbausteine herstellt. Sie hinterlegte verschiedene Formen ihrer Klemmbausteine beim Eidgenössischen Institut für Geistiges Eigentum (IGE) als dreidimensionale Marken für Spielbausteine (Formmarken Nr. 411 469, 433 265, 433 266, 433 267 und 433 268). Die MEGA Brands Inc., vormals Mega Bloks Inc. bzw. Ritvik Holdings Inc., (Klägerin, Beschwerdegegnerin) gehört zur kanadischen Ritvik-Gruppe und vertreibt weltweit Spielzeuge. Seit den Achtzigerjahren stellt sie auch Klemmbausteine her, die mit den LEGO-Bausteinen kompatibel sind. B. B.a Am 9. März 2000 stellte die Klägerin beim Handelsgericht des Kantons Zürich das Rechtsbegehren, es seien die von der Beklagten eingetragenen Formmarken Nr. 411 469, 433 265, 433 266, 433 267 und 433 268 nichtig zu erklären. Mit Urteil vom 17. Dezember 2002 hiess das Handelsgericht die Klage gut und erklärte die fünf Streitmarken für nichtig. Mit Urteil vom 2. Juli 2003 hiess das Bundesgericht die von der Beklagten erhobene Berufung gegen den Entscheid des Handelsgerichts vom 17. Dezember 2002 teilweise gut und wies die Sache zur Prüfung an das Handelsgericht zurück, ob die von der Beklagten beanspruchten Formen technisch notwendig im Sinne von Art. 2 lit. b MSchG seien und, falls nicht, ob sich die fraglichen, an sich dem Gemeingut zugehörigen Formen im Verkehr als Unterscheidungsmerkmal für die Spielbausteine der Beklagten durchgesetzt haben (BGE 129 III 514 ff.). B.b Mit Beschluss vom 27. Januar 2004 setzte das Handelsgericht der Beklagten Frist an, um - neben den 24 bisher aufgezeigten - weitere gleichwertige Alternativformen aufzuzeigen, wobei es in seinen Erwägungen im Einzelnen festlegte, welche Voraussetzungen diese zu erfüllen hätten, damit sie überhaupt als Alternativen zu den eingetragenen Formen in Frage kämen. Mit Urteil vom 7. Juli 2004 hiess das Bundesgericht ein Erläuterungsgesuch der Beklagten teilweise gut und erläuterte seinen Rückweisungsentscheid vom 2. Juli 2003 in dem Sinne, dass Alternativformen mit den Formen der Beklagten nicht kompatibel bzw. zusammenbaubar sein müssten (Urteil 4C.86/2004). Das Bundesgericht erwog, die Beklagte bringe in ihrem Erläuterungsgesuch zu Recht vor, das Handelsgericht verkenne mit seinem Beweisbeschluss vom 17. Januar 2004 die Tragweite der Rückweisung. Die vom Bundesgericht angeordnete Rückweisung sei allein zur tatsächlichen Feststellung erfolgt, ob die nach dem handelsgerichtlichen Urteil vom 17. Dezember 2002 bestehenden praktikablen Alternativen zu runden, gefüllten Noppen ebenso praktisch, ebenso solide und mit keinen grösseren Herstellungskosten verbunden seien als die umstrittene, als Marke beanspruchte Form der auf dem Quader aufgesetzten Noppen (Urteil 4C.86/2004 vom 7. Juli 2004 E. 2.1.1 mit Verweis auf BGE 129 III 514 E. 3.2.4 S. 524). Mit Urteil vom 7. Juli 2004 hiess das Bundesgericht ein Erläuterungsgesuch der Beklagten teilweise gut und erläuterte seinen Rückweisungsentscheid vom 2. Juli 2003 in dem Sinne, dass Alternativformen mit den Formen der Beklagten nicht kompatibel bzw. zusammenbaubar sein müssten (Urteil 4C.86/2004). Das Bundesgericht erwog, die Beklagte bringe in ihrem Erläuterungsgesuch zu Recht vor, das Handelsgericht verkenne mit seinem Beweisbeschluss vom 17. Januar 2004 die Tragweite der Rückweisung. Die vom Bundesgericht angeordnete Rückweisung sei allein zur tatsächlichen Feststellung erfolgt, ob die nach dem handelsgerichtlichen Urteil vom 17. Dezember 2002 bestehenden praktikablen Alternativen zu runden, gefüllten Noppen ebenso praktisch, ebenso solide und mit keinen grösseren Herstellungskosten verbunden seien als die umstrittene, als Marke beanspruchte Form der auf dem Quader aufgesetzten Noppen (Urteil 4C.86/2004 vom 7. Juli 2004 E. 2.1.1 mit Verweis auf BGE 129 III 514 E. 3.2.4 S. 524). B.c B.c.a Das Handelsgericht zog seinen Beschluss vom 27. Januar 2004 in der Folge in Wiedererwägung, formulierte ihn hinsichtlich der Frage der Kompatibilität neu und setzte der Beklagten die Frist zur Nennung von Alternativformen und zum Vorschlag eines Gutachters neu an. Mit Eingabe vom 15. Oktober 2004 bezeichnete die Beklagte 26 weitere Alternativformen, lehnte den von der Klägerin vorgeschlagenen Gutachter, Prof. A._, ab und schlug ihrerseits ein Gutachter-Team bestehend aus Prof. B._ und C._ vor. B.c.b Mit Beschluss vom 8. Juli 2005 hielt das Handelsgericht fest, die Beklagte habe nun insgesamt 50 Alternativformen aufgezeigt, von denen sie je geltend mache, sie stellten eine ebenso praktische, ebenso solide und nicht mit höheren Herstellungskosten verbundene Ausführung dar wie die Streitmarken. Die Klägerin bestreite dies und liste für jede dieser Alternativen eine Reihe von Nachteilen gegenüber den Streitmarken auf. Die Beweislast liege bei der Beklagten, der Klägerin stehe der Gegenbeweis für die behaupteten Nachteile offen. Nachdem mit den Parteien davon auszugehen sei, dass die Gültigkeit aller fünf Streitmarken am sogenannten "Grundbaustein" mit 4 x 2 Noppen abgehandelt werden könne, scheine es angezeigt, auch das Beweisverfahren auf diesen Stein bzw. die dazu aufgezeigten Alternativen zu beschränken. Als Beweismittel hätten sich die Parteien auf ein Gutachten berufen und je auch Gutachtervorschläge unterbreitet, die von der Gegenseite abgelehnt worden seien; diese Ablehnungen erschienen beidseits unbegründet. Entsprechend sei festzustellen, dass die Parteien gegen die vorgeschlagenen Gutachter nichts vorgebracht hätten, was geeignet wäre, deren Bestellung zu verhindern. Damit die vorzunehmende gutachterliche Beurteilung nicht nur aus universitärer Sicht und auch nicht nur aus der Sicht des Praktikers erfolge, erscheine es angezeigt, das Gutachten durch Prof. A._ und C._ gemeinsam erstellen zu lassen; Letzterer lehnte allerdings auf entsprechende Anfrage des Gerichts hin aufgrund anderweitiger zeitlicher Beanspruchung ab. Mit Verfügung vom 30. August 2005 wurde den Parteien als Praktiker des Gutachter-Teams D._, Werkzeugmacher und Kunststoffingenieur HTL, Inhaber der D._ AG, die sich mit Formenbau und Kunststofftechnik befasst, vorgeschlagen. Am 9. Februar 2006 erfolgte der Beweisabnahmebeschluss. Während sich die Beweismittel der Klägerin auf das Gutachten beschränkten, wurden bei der Beklagten zusätzlich noch gewisse Urkunden und die Zeugenaussage von E._ (des ehemaligen Entwicklungsleiters der Beklagten) als Beweismittel abgenommen. Sodann wurde mit einlässlicher Begründung D._ als zweiter Gutachter neben Prof. A._ bestellt. Weiter stellte das Handelsgericht den Parteien den Entwurf der Experteninstruktion zur Stellungnahme zu. Am 24. März bzw. 27. April 2006 erfolgten die Stellungnahmen der Parteien zum Entwurf der Experteninstruktion. Anlässlich der Beweisverhandlung vom 17. Mai 2006, die auf Antrag der Beklagten vor dem Kollegialgericht durchgeführt wurde, erfolgte vorab die Einvernahme des Zeugen E._ und eine provisorische Stellungnahme der Parteien dazu. Anschliessend erläuterte der Instruktionsrichter den Parteien, wie weit ihre Anträge bezüglich Änderungen der Experteninstruktion berücksichtigt worden seien. Danach erfolgte die Instruktion der Experten Prof. A._ und D._. Den Experten wurden namentlich die Fragen unterbreitet, ob jede der 50 Alternativen ebenso praktisch (Frage 1), ebenso solide (Frage 2) und nicht mit höheren Herstellungskosten verbunden (Frage 3) sei wie die Streitmarken. Auf Meinungsäusserung der beiden eingesetzten Gutachter hin wurde am 12. März 2007 mit Zustimmung der beiden Parteien C._ als zusätzlicher Experte für die Beurteilung der Herstellungskosten und für die Vornahme der Bauteilabrechnungen der Alternativformen bestellt. Die Instruktion von C._ erfolgte am 31. Mai 2007, gefolgt von einer Diskussion mit den Parteien und den drei Gutachtern über das einzuschlagende Prüfungsverfahren. Gericht, Gutachter und Parteien einigten sich dabei auf den Versuchsablauf, in dessen Rahmen im Kunststoff Ausbildungs- und Technologie-Zentrum (KATZ), Aarau, alternative Bausteine produziert werden und anschliessend durch die Gutachter geprüft werden sollten. Am 17. Januar 2008 fand eine weitere Beweisverhandlung statt, an der im Beisein der Parteien und der drei Gutachter die Materiallieferungen protokolliert und die Versuchsumgebung sowie die zu verwendenden Maschinen von den Parteien genehmigt wurden. In der Folge wurde von den Gutachtern - in Rücksprache mit dem Gericht und unter Mithilfe der Parteien - am 14. Juli 2008 der definitive Vorschlag für den Produktionsablauf am KATZ, mit Start im September 2008, unterbreitet. Das Gericht stellte diesen Vorschlag den Parteien am 17. Juli 2008 zur Stellungnahme zu. Innert Frist reichten die Parteien mit Eingaben vom 30. Juli 2008 ihre Stellungnahmen ein. Während die Beklagte ihr Einverständnis mit dem Vorschlag der Experten erklärte, brachte die Klägerin eine Reihe von Bemerkungen an. Mit Verfügung vom 11. August 2008 begründete der Instruktionsrichter, weshalb die klägerischen Bemerkungen keine Änderungen des Vorschlags der Gutachter für den Produktionsablauf rechtfertigten. Am 29./30. April 2009 wurden im Beisein der Parteien Vorversuche durchgeführt und am 25. Mai 2009 die Produktion aufgenommen. Am 29. Juli 2009 fand im Beisein der Parteien an der ETH die Versuchsaufnahme der sogenannten "Clutch Power"-Messungen statt. B.c.c Am 26. August 2009 schlugen die Gutachter Praxisversuche für das Erodierverfahren vor, die den Parteien am 28. August 2009 zur Erhebung von Einwendungen zugestellt wurden, worauf die Parteien am 31. August bzw. 2. September 2009 ihre Zustimmung erteilten. Am 31. Mai 2010 erstatteten die Gutachter Prof. A._, C._ und D._ ihr Gutachten. Mit Verfügung vom 25. Juni wurde das Gutachten den Parteien zugestellt und ihnen Frist angesetzt, zum Beweisergebnis und insbesondere zum Gutachten Stellung zu nehmen und dessen Erläuterung oder Ergänzung oder die Bestellung anderer Sachverständiger zu beantragen. Mit Eingabe vom 15. September 2010 reichte die Klägerin ihre Stellungnahme mit Ergänzungsfragen zum Gutachten ein. Am 22. Oktober 2010 nahm die Beklagte zum Beweisergebnis und zum Gutachten Stellung und stellte einige Zusatzfragen. Mit Eingabe vom 21. November 2011 nahm die Beklagte Stellung zur Eingabe der Klägerin vom 15. September 2010. B.c.d Mit Urteil vom 23. November 2011 hiess das Handelsgericht des Kantons Zürich die Klage gut und erklärte die schweizerischen Formmarken Nr. 411 469, 433 265, 433 266, 433 267 und 433 268 für nichtig. Es hielt unter anderem fest, jede Abweichung von der Geometrie des gefüllten Zylinders führe zu Nachteilen in Form höherer Kosten, was sich besonders bei den Werkzeugkosten zeige, die gemäss Gutachten bei den kompatiblen Alternativen 11,06 - 30,91 % und bei den nicht kompatiblen 28.8 - 54.13 % höher lägen als bei den Werkzeugen für den LEGO-Stein. Den Einwand der Beklagten, die Werkzeugkosten fielen nicht ins Gewicht, weil sie sich auf die Gesamtkosten für die Herstellung von 5 Mio. Bausteinen letztlich nicht massgeblich auswirkten, erachtete das Handelsgericht als unzutreffend. Ein Hersteller könne sich nicht mit der Aussicht begnügen, die Kosten seines Werkzeugs auf 5 Mio. damit zu produzierende Steine umlegen zu können; vielmehr müsse er die Initialkosten aufbringen, die erforderlich seien, um nicht nur mehrere Werkzeuge pro Steinform, sondern auch Werkzeuge im Hinblick auf ganz verschiedene Steinformen für ein ganzes Sortiment herstellen zu lassen. Bei Kosten eines einzelnen Werkzeugs von über Fr. 80'000.-- bis über Fr. 115'000.-- ergäben die von den Experten ermittelten Differenzen auch im allergünstigsten Fall (11,06 %) Summen, die sich durchaus massgeblich auswirkten. Damit erwiesen sich alle Alternativformen als jedenfalls anfänglich wesentlich teurer als der LEGO-Stein, weshalb sie das Kriterium, dass sie nicht mit höheren Herstellungskosten verbundene Ausführungen darstellen als der LEGO-Stein, nicht erfüllten. Das Handelsgericht erwog im Weiteren, alle Alternativen erwiesen sich auch insgesamt, d.h. über die Lebensdauer des Werkzeugs, als teurer. Bei den kompatiblen Alternativen seien die Mehrkosten für die Herstellung gegenüber dem LEGO-Stein gemäss Gutachten mit 1.326 - 4.927 % zu beziffern. Diese von den Experten ermittelten Differenzen seien unter Berücksichtigung der Aussagen des ehemaligen Entwicklungsleiters der Beklagten, wonach jede Ersparnis bei der Produktion wichtig sei, durchaus relevant, womit die kompatiblen Alternativen das Kriterium, dass sie nicht mit höheren Herstellungskosten verbunden sein dürfen, nicht erfüllten. Bei den nicht kompatiblen Alternativen lägen die Herstellungskosten pro Teil etwa 50 % über den Kosten für den LEGO-Stein. Damit scheiterten alle Alternativformen am Kostenkriterium, womit die von den Streitmarken beanspruchten Formen als technisch notwendig im Sinne von Art. 2 lit. b MSchG zu betrachten seien, was zur Nichtigerklärung der Streitmarken führe. C. Mit Beschwerde in Zivilsachen beantragt die Beklagte dem Bundesgericht, es sei das Urteil des Handelsgerichts des Kantons Zürich vom 23. November 2011 aufzuheben und es sei die Nichtigkeitsklage abzuweisen. Eventualiter sei das angefochtene Urteil aufzuheben und die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Die Beschwerdeführerin reichte dem Bundesgericht eine Replik, die Beschwerdegegnerin eine Duplik ein.