Sachverhalt:
A. Mit Generalunternehmervertrag vom 5. März 1996 übernahm die X._ AG (beziehungsweise deren Rechtsvorgängerinnen, nachfolgend ohne Unterscheidung als Beschwerdeführerin bezeichnet) die Erstellung eines Neubaus für den Kanton A._. Die Y._ AG (Beschwerdegegnerin) war als Subunternehmerin an der Ausführung der Doppelböden beteiligt. Vor Abschluss des betreffenden Werkvertrages (10. bzw. 14. August 1998) unterzeichnete sie am 11. Mai 1998 im Rahmen des Ausschreibungs- bzw. Offertenverfahrens die allgemeinen Vertragsbedingungen (AVB) der Beschwerdeführerin, welche in Ziff. 35.2 Abs. 1, Ziff. 35.3 Abs. 1 und Ziff. 35.2 Abs. 4 festlegen, das Ende der Garantie- und Verjährungsfristen werde nicht ab der Abnahme bzw. Teilabnahme mit dem einzelnen Subunternehmer gerechnet, sondern ab der Abnahme des durch die Generalunternehmung hergestellten Werkes durch die Bauherrschaft. Artikel 2 des Werkvertrags hält fest, dass der Vertragsinhalt durch die Werkvertragsurkunde und die vom Unternehmer bereits vorher unterzeichneten allgemeinen Vertragsbedingungen gebildet wird.
B. Nach Ablieferung des Gesamtwerkes beanstandete die Bauherrschaft eine mangelhafte Heizleistung in gewissen Büroräumen. Die Beschwerdeführerin erhob Mängelrüge und verlangte die Durchführung der Sanierung. Mit Eingabe vom 24. April 2008 klagte sie gegen die Beschwerdegegnerin sowie drei weitere am Bau beteiligte Aktiengesellschaften und verlangte im Wesentlichen Fr. 440'996.60 unter solidarischer Haftbarkeit. Mit Bezug auf zwei der Beklagten wurde das Verfahren zufolge Vergleichs abgeschrieben. Die Beschwerdegegnerin sowie eine Mitbeklagte erhoben die Einrede der Verjährung, worauf das Verfahren auf diesen Punkt beschränkt wurde. Am 4. März 2010 wies das Handelsgericht die Klage gegen die Beschwerdegegnerin zufolge Verjährung ab. Die von der Beschwerdeführerin gegen dieses Urteil erhobene kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich am 3. Juni 2011 ab, soweit es darauf eintrat.
C. Die Beschwerdeführerin hat bereits mit Eingabe vom 21. April 2010 (Poststempel 22. April 2010) Beschwerde in Zivilsachen gegen das Urteil des Handelsgerichts erhoben. Mit Eingabe vom 6. Juli 2011 beantragt sie dem Bundesgericht im Wesentlichen, sowohl den Entscheid des Kassationsgerichts als auch das Urteil des Handelsgerichts, soweit dieses sie betrifft, aufzuheben und die Beschwerdegegnerin zu verpflichten, ihr Fr. 315'996.60 zu bezahlen. Eventuell sei die Streitsache an das Handelsgericht zurückzuweisen. Die Eingabe vom 21. April 2010 sei nur zu behandeln, soweit auf die Beschwerde vom 6. Juli 2011 nicht eingetreten werden könnte. Ein am 12. Juli 2011 aufgegebenes Gesuch um aufschiebende Wirkung wies das Bundesgericht am 30. August 2011 ab. Die Beschwerdegegnerin beantragt, die Beschwerde kostenfällig abzuweisen, soweit darauf einzutreten sei. Die kantonalen Instanzen haben sich nicht vernehmen lassen oder auf Vernehmlassung verzichtet.
Erwägungen:
1. Im Zeitpunkt des Urteils des Handelsgerichts war die ZPO noch nicht in Kraft getreten. Für das kantonale Rechtsmittelverfahren galt mithin noch das alte Recht. Entsprechend läuft die Beschwerdefrist auch für die Anfechtung des Urteils des Handelsgerichts nach aArt. 100 Abs. 6 BGG erst mit Eröffnung des Entscheides des Kassationsgerichts. Da auf die zuletzt erhobene Beschwerde in Zivilsachen auch mit Bezug auf das Urteil des Handelsgerichts einzutreten ist, bleibt die vom 21. April 2010 datierte Eingabe gemäss dem Antrag der Beschwerdeführerin unbeachtet.
2. Die einschlägige Vertragsklausel findet sich in den AVB unter Ziff. "35. Garantie" bei Ziff. "35.2 Haftung für Mängel". In dieser Ziffer wird unter dem Titel "Fristbeginn" festgehalten: "Die gemeinsame Prüfung und die Abnahme des vom Subunternehmer hergestellten Werkes erfolgen gemäss Art. 157 ff SIA-Norm 118. Das Ende der Garantie- und Verjährungsfristen wird jedoch nicht von der Abnahme, bzw. Teilabnahme an berechnet, sondern erst ab der Abnahme des von der Generalunternehmung hergestellten Werkes durch den Bauherrn, wenn diese Abnahme später als die Abnahme des Werkes des Subunternehmers durch die Generalunternehmung erfolgt."
2.1 Das Handelsgericht liess sich bei der Beurteilung dieser Klausel im Wesentlichen von der in BGE 132 III 226 eingeleiteten Rechtsprechungsänderung leiten, wonach sich das in Art. 141 Abs. 1 OR enthaltene Verbot, im Voraus auf die Verjährung zu verzichten, nicht nur auf die im Dritten Titel des Obligationenrechts enthaltenen Bestimmungen bezieht. Es hielt fest, soweit Ziff. 35.2 AVB als Vereinbarung über den Fristbeginn verstanden würde, begänne die Verjährungsfrist erst zu einem im Voraus noch unbekannten Datum zu laufen, auf welches der Subunternehmer keinen Einfluss habe und welches erhebliche Zeit nach der Abnahme des durch den Subunternehmer erstellten Werkes liegen könnte. Es sei im Voraus ungewiss, wann und ob überhaupt das Gesamtwerk durch den Bauherrn abgenommen bzw. vom Generalunternehmer abgeliefert werde. Da auf die Verjährung aber nicht im Voraus und ohnehin nicht gänzlich verzichtet werden könne, sei es nicht zulässig, den Fristbeginn durch Parteiabrede im Voraus auf unbestimmte Zeit hinauszuschieben. Ziff. 35.2 AVB regle aber materiell den Zeitpunkt des Fristendes. Es werde nur die Berechnung der Verjährungsfrist geregelt. Das Fristende solle nicht von der (Teil-)Abnahme des Werkes des Subunternehmers, sondern ab Abnahme des von der Generalunternehmung hergestellten Werkes durch den Bauherrn berechnet werden und fünf Jahre nach dieser Werkabnahme enden. Es sei nicht darum gegangen, die Verjährungsfrist zu verlängern, es sei nur der Endtermin der ersten Verjährung hinausgeschoben worden. Es handle sich nicht um eine Verlängerung der Verjährungsfrist im Sinne von Art. 129 OR, sondern der Subunternehmer verzichte im Ergebnis im Voraus darauf, die Zeit zwischen der (Teil-)Abnahme seines Werkes und der Abnahme des Gesamtwerks durch den Bauherrn als verjährungsrelevant geltend zu machen. Derartige Verzichte seien nach der bundesgerichtlichen Rechtsprechung unzulässig. Da das Handelsgericht die AVB-Klausel für unzulässig erachtete, liess es die umstrittene Frage offen, ob sich die Beschwerdegegnerin die Vertragsklausel, die sie als ungewöhnlich erachtet, entgegen halten lassen muss. Es ging davon aus, die Verjährungsfrist habe bereits mit Abnahme des Teilwerks der Beschwerdegegnerin zu laufen begonnen, und die eingeklagte Forderung sei verjährt.
2.2 Die Beschwerdeführerin wendet sich zunächst gegen das Urteil des Kassationsgerichts. Sie beanstandet diverse Sachverhaltsfeststellungen als willkürlich und ist der Auffassung, die Rechtsanwendung des Handelsgerichts sei überraschend gewesen. Da die Gültigkeit der behaupteten Vereinbarung umstritten war, musste die Beschwerdeführerin indessen damit rechnen, dass umfassend auch die Zulässigkeit der Vereinbarung geprüft würde. Insoweit liegt keine überraschende Rechtsanwendung vor. Die Beschwerdeführerin ist vielmehr der Auffassung, das Handelsgericht habe das Recht falsch angewendet. Im angefochtenen Urteil hat das Handelsgericht im Wesentlichen keine Beweiswürdigung vorgenommen, sondern die AVB-Regelung betreffend den Verjährungsbeginn, deren Inhalt es wiedergegeben hat, nach der bundesgerichtlichen Rechtsprechung für unzulässig erachtet. Dabei handelt es sich um eine Rechtsfrage, welche das Bundesgericht von Amtes wegen prüft (Art. 106 Abs. 1 BGG), so dass die Nichtigkeitsbeschwerde nicht offen stand. Das Urteil des Kassationsgericht ist insoweit nicht zu beanstanden. Zu prüfen bleibt, ob das Handelsgericht die AVB-Klausel zu Recht für unzulässig hielt.
3. Art. 129 OR entzieht die Verjährungsbestimmungen des dritten Titels des Obligationenrechts der Parteiautonomie (BGE 132 III 226 E. 3.3.1 S. 234). Ausserhalb des dritten Titels sind die Verjährungsfristen einer Abänderung durch Parteiabrede dagegen zugänglich (so schon BGE 63 II 180; DÄPPEN, in: Basler Kommentar, Obligationenrecht I, 5. Aufl. 2011, N. 2 zu Art. 129 OR; NIKLAUS, La prescription extinctive: modifications conventionnelles et renonciation, 2008, S. 154 f. Rz. 755 ff.). Nur eine Verlängerung über die Frist von 10 Jahren hinaus ist nicht statthaft (BGE 99 II 185 E. 2a S. 189; 132 III 226 E. 3.3.8 S. 240; SPIRO, Der Verzicht auf die laufende Verjährung, in: Festschrift für Karl H. Neumayer, Baden-Baden 1985, S. 548 Fn. 17). Gemäss Art. 141 Abs. 1 OR kann auf die Verjährung nicht zum Voraus verzichtet werden. Diese Bestimmung kommt nach der Rechtsprechungsänderung des Bundesgerichts, auf welche sich die Vorinstanz beruft, auch ausserhalb des dritten Titels des Obligationenrechts zur Anwendung (BGE 132 III 226). Es ist mithin nicht zulässig, bei Vertragsschluss das Institut der Verjährung für nicht anwendbar zu erklären oder dem Schuldner die Anrufung der Verjährung faktisch zu verunmöglichen.
3.1 Die Verjährung der Ansprüche des Bestellers wegen Mängeln des Werkes ist in Art. 371 OR und damit ausserhalb des Anwendungsbereichs von Art. 129 OR geregelt. Die Verjährungsfristen nach Art. 371 OR sind dispositiver Natur und können nach konstanter bundesgerichtlicher Rechtsprechung durch Parteivereinbarung abgeändert werden (BGE 63 II 180; 120 II 214 E. 3d S. 220; 118 II 142 E. 4 S. 149). Daran ändert die Anwendbarkeit von Art. 141 Abs. 1 OR nichts. Darin, dass die Parteien bei Vertragsschluss von der ihnen bezüglich der Verjährungsfristen ausserhalb des dritten Titels des Obligationenrechts (Art. 129 OR) eingeräumten Privatautonomie Gebrauch machen, liegt kein unzulässiger Vorausverzicht auf die Verjährung. Sonst könnten Verjährungsfristen vertraglich nur einseitig zu Lasten des Gläubigers abgeändert werden. Art. 371 Abs. 1 OR erklärt aber durch den Verweis auf die Verjährung der Ansprüche des Käufers (Art. 210 Abs. 1 OR) die Übernahme der Haftung für eine längere Zeit ausdrücklich für zulässig (SPIRO, a.a.O., S. 548 Fn. 17).
3.2 Ziff. 35.2 AVB regelt den Beginn der Verjährungsfrist, nicht deren Ende, auch wenn dieses im Ergebnis hinausgeschoben und so die Frist zur Geltendmachung des Anspruchs verlängert wird. Gemäss den AVB beginnt die Verjährung allfälliger Mängelrechte gegen den Subunternehmer nicht vor der Abnahme des von der Generalunternehmung hergestellten Werkes durch den Bauherrn. Damit wird der Beginn der Verjährung der Ansprüche gegen den Generalunternehmer und gegen den Subunternehmer koordiniert. Von einem Verzicht auf die Verjährung ist keine Rede. Das Handelsgericht weist zwar zu Recht darauf hin, die AVB könnten nicht als eigentliche Verlängerung der Verjährungsfrist verstanden werden, denn nach dem verzögerten Beginn soll die gesetzliche Verjährungsfrist greifen. Das Bundesgericht hat indessen ausdrücklich festgehalten, von der gesetzlichen Regel, wonach die Verjährungsfrist mit der Abnahme des Werkes zu laufen beginnt (Art. 371 Abs. 2 OR), könne durch vertragliche Vereinbarung abgewichen werden (BGE 118 II 142 E. 4 S. 149). Auch in der Lehre wird die Auffassung vertreten, im Werkvertragsrecht komme den Parteien eine weite Freiheit bei der Abänderung der Verjährungsfristen zu; daraus fliesse auch die Freiheit, den Beginn der Verjährung abzuändern, sofern dadurch das Ende der Verjährung nicht mehr als 10 Jahre nach dem im Gesetz vorgesehenen Zeitpunkt eintritt (NIKLAUS, a.a.O., S. 137 f. Rz. 675 ff.; vgl. auch GAUCH, Der Werkvertrag, 5. Aufl. 2011, S. 893 Rz. 2486). Nach den Feststellungen des Handelsgerichts wurde das Teilwerk der Beschwerdegegnerin frühestens im November 1998 und spätestens am 17. Mai 1999 abgenommen. Gemäss den Behauptungen der Beschwerdeführerin hat diese das Bauwerk der Bauherrschaft am 31. Mai 1999 abgeliefert. Trifft dies zu, hat die in den AVB vorgesehene Regelung des Verjährungsbeginns nicht zur Folge, dass die Verjährung erst über 10 Jahre nach dem gesetzlichen vorgesehenen Verjährungsbeginn eintritt. Die Klausel erweist sich daher als zulässig.
4. Die AVB beinhalten eine im Werkvertragsrecht zulässige privatautonome Abänderung der gesetzlichen Verjährungsbestimmungen, und zwar unabhängig davon, ob gleichzeitig auch die Garantiedauer abgeändert wurde. Ein (nach Art. 141 Abs. 1 OR bei Vertragsschluss unzulässiger) Verzicht auf die in den AVB geregelte Verjährung ist nicht vorgesehen. Ob die an sich zulässige Klausel zwischen den Parteien gültig vereinbart wurde, hat das Handelsgericht offen gelassen. In Ermangelung der notwendigen tatsächlichen Feststellungen zu den Umständen des Vertragsschlusses kann das Bundesgericht über die Frage nicht selbst entscheiden. Die Sache ist an das Handelsgericht zu neuer Entscheidung zurückzuweisen. Die kantonale Nichtigkeitsbeschwerde war zur Klärung der Anwendung von Bundesrecht nicht das geeignete Rechtsmittel. Es besteht auch im Kostenpunkt kein Anlass, den Entscheid des Kassationsgerichts zu beanstanden. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdegegnerin für das Verfahren vor Bundesgericht kosten- und entschädigungspflichtig.
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird das Urteil des Handelsgerichts Zürich vom 4. März 2010 aufgehoben und die Sache zur weiteren Bearbeitung an das Handelsgericht zurückgewiesen.
2. Die Gerichtskosten von Fr. 6'500.-- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Handelsgericht des Kantons Zürich und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 12. Januar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak