Sachverhalt:
A. Die X._ AG (Beklagte) stellt Anlagen oder Anlageteile zur Bearbeitung und Verpackung von Butter her. In den Jahren 2002 und 2003 zog sie zur Realisierung von vier Projekten in Neuseeland, Deutschland und Saudi-Arabien die Y._ GmbH (Klägerin) bei. Die von dieser offerierten Leistungen umfassten die Herstellung der Hardware zur Steuerung der Anlagen, wie z.B. Schaltschränke, Waagen, das Software-Engineering, die Inbetriebsetzung der Anlagen inklusive Funktionstest, die Kundenausbildung sowie die Abnahme. Für die Erbringung dieser Leistungen verlangte die Klägerin von der Beklagten Fr. 318'000.-- und liess diese am 6. Juni 2003 über Fr. 317'529.-- nebst Zins zu 5 % seit 1. Mai 2003 betreiben. Die Beklagte erhob Rechtsvorschlag.
B. Mit Eingabe vom 16. Juli 2003 belangte die Klägerin die Beklagte beim Handelsgericht des Kantons St. Gallen für die in den vier genannten Projekten erbrachten Leistungen auf Zahlung von Fr. 95'491.35 nebst Zins zu 5 % seit 2. Januar 2003, Fr. 95'356.95 nebst Zins zu 5 % seit 25. März 2003, Fr. 61'412.70 nebst Zins zu 5 % seit 25. März 2003 und Fr. 45'584.80 nebst Zins zu 5 % seit 29. Mai 2003.
Die Beklagte wendete ein, die Lieferungen der Klägerin seien mangelhaft und verspätet erfolgt. In ihrer Klageantwort führte die Beklagte aus, die Z._ Ltd., Neuseeland, habe gegen die XV._ AG am 5. Januar 2005 einen Forderungsprozess eingeleitet. Die in dieser Klageschrift geltend gemachten massiven Vorwürfe würden auch die Klägerin im vorliegenden Verfahren betreffen. Sollte die Klage der Z._ Ltd. Erfolg oder einen Teilerfolg haben, stehe der Beklagten ein Regressrecht auf die Klägerin zu (Klageantwort, S. 4).
In einer nach Abschluss des Schriftenwechsels eingereichten Prozesseingabe vom 19. Oktober 2006 führte die Beklagte an, die XV._ AG habe sich im Verfahren gegen die Z._ Ltd. am 3. Oktober 2006 in einem Vergleich verpflichtet, dieser NZD 300'000.-- resp. CHF 244'650.-- zu bezahlen. Der Vergleich sei am 11. Oktober 2006 rechtsverbindlich geworden. Am folgenden Tag habe die XV._ AG ihre entsprechenden Gewährleistungsansprüche gegenüber der Klägerin der Beklagten abgetreten. Gemäss dem Vergleich hätten NZD 195'333.-- als Kosten für die Behebung der Mängel betreffend "Automatisierung und Elektrisch" zu gelten. Insgesamt habe die XV._ AG CHF 244'650.-- bezahlt. Diesen Betrag stellte die Beklagte den von der Klägerin eingeklagten Forderungen, soweit diese überhaupt ausgewiesen seien, verrechnungsweise gegenüber.
In ihrer Stellungnahme vom 2. November 2006 bestritt die Klägerin diese Verrechnungsposition mit der Begründung, die von der Z._ Ltd. behaupteten Aufwendungen seien nicht nachvollziehbar und hätten daher als bestritten zu gelten.
Mit Urteil vom 26. August 2008 verpflichtete das Handelsgericht die Beklagte, der Klägerin Fr. 213'249.10 nebst 5 % Zins seit 11. Juli 2003 zu bezahlen. Eine dagegen erhobene Nichtigkeitsbeschwerde der Beklagten wies das Kassationsgericht des Kantons St. Gallen am 10. März 2009 ab, soweit es darauf eintrat.
C. Die Beklagte (Beschwerdeführerin) erhebt Beschwerde in Zivilsachen mit den Anträgen, es sei sowohl der Entscheid des Handelsgerichts vom 26. August 2008 wie auch jener des Kassationsgerichts vom 10. März 2009 aufzuheben und die Klage abzuweisen. Eventuell sei der Prozess zur Neubeurteilung im Sinne der Erwägungen an das Handelsgericht zurückzuweisen.
Die Klägerin (Beschwerdegegnerin) schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Handels- und das Kassationsgericht verzichten auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Nach Art. 100 Abs. 6 BGG beginnt die Beschwerdefrist, wenn der Entscheid eines oberen kantonalen Gerichts mit einem Rechtsmittel, das nicht alle Rügen nach den Artikeln 95-98 zulässt, bei einer zusätzlichen kantonalen Gerichtsinstanz angefochten worden ist, erst mit der Eröffnung des Entscheids dieser Instanz (BGE 134 III 92 E. 1.1 S. 93 f.). Die innert 30 Tagen seit Eröffnung des Kassationsgerichtsentscheids eingereichte Beschwerde gegen das Urteil des Handelsgerichts ist damit rechtzeitig erfolgt.
1.2 Die Beschwerde ist zulässig gegen Entscheide letzter kantonaler Instanzen und des Bundesverwaltungsgerichts (Art. 75 Abs. 1 BGG). Die Letztinstanzlichkeit setzt bezüglich der vor Bundesgericht vorgebrachten Rügen die Ausschöpfung des kantonalen Instanzenzugs voraus (BGE 134 III 524 E. 1.3 S. 527). Verzichtet ein Beschwerdeführer darauf, in seiner kantonalen Nichtigkeitsbeschwerde zulässige Rügen zu erheben, kann er sie im bundesgerichtlichen Verfahren mangels Letztinstanzlichkeit nicht mehr vorbringen.
Das St. Galler Zivilprozessgesetz vom 20. Dezember 1990 (ZPO/SG) nennt als Nichtigkeitsgründe (a) die Verletzungen des kantonalen Rechts und (b) tatsächliche Feststellungen, die dem Inhalt der Akten offensichtlich widersprechen oder sonst willkürlich sind (Art. 239 Abs. 1 ZPO/SG).
2. 2.1 Das Handelsgericht erwog, bei den umstrittenen Leistungen habe es sich im Wesentlichen nicht um Standard-Hard- und Software, sondern um individuell gemäss den Bedürfnissen der Beschwerdeführerin resp. deren Kunden hergestellte Hardwarekomponenten und Steuerungsprogramme gehandelt. Deshalb seien die Vertragsverhältnisse zwischen den Parteien als Werkverträge und nicht als gemischte Verträge, bestehend aus Elementen des Kauf- und Werkvertrages, zu qualifizieren.
2.2 Die Beschwerdeführerin rügt, die Feststellung, es handle sich nicht um Standard-Hardware, widerspreche auf krasse Art und Weise den tatsächlichen Verhältnissen und sei damit gemäss Art. 97 BGG als offensichtlich unrichtig zu korrigieren.
2.3 Die Beschwerdeführerin zeigt nicht auf, dass sie diese Sachverhaltsrüge gemäss Art. 239 Abs. 1 lit. b ZPO/SG mit Nichtigkeitsbeschwerde erhoben und das Kassationsgericht sie zu Unrecht abgewiesen hat. Auf diese Rüge ist daher mangels Letztinstanzlichkeit nicht einzutreten. Im Übrigen wäre sie ungenügend begründet, weil die Beschwerdeführerin bloss behauptet, aus den Offerten der Beschwerdegegnerin sei ersichtlich, dass es sich bei der Hardware um Standardhardware und bei der Waage ebenfalls um ein [Standard] Hardwareprodukt handle, ohne zu erläutern, weshalb eine abweichende Würdigung unhaltbar sein soll (vgl. BGE 133 II 249 E. 1.4.3 S. 254 f.; 133 III 462 E. 2.4 S. 466 f.). Dass das Handelsgericht, ausgehend vom festgestellten Sachverhalt, den Vertrag bundesrechtswidrig qualifiziert hätte, macht die Beschwerdeführerin nicht geltend.
3. 3.1 Das Handelsgericht erwog, die Beschwerdeführerin habe betreffend das Projekt in Neuseeland behauptet, aufgrund der mangelhaften Vertragserfüllung der Beschwerdegegnerin habe die Anlage nicht funktioniert. Ob die diesbezüglichen sehr allgemein gehaltenen Mängelrügen als genügend zu betrachten seien, könne offen bleiben, da die Beschwerdeführerin den Minderungsanspruch in Bezug auf das Projekt in Neuseeland der Höhe nach überhaupt nicht substanziiere. Daran vermöge auch der pauschale Hinweis auf eine Expertise nichts zu ändern, zumal die Beschwerdeführerin die Expertisen jeweils nur für die von ihr behaupteten Mängel und deren Ursachen, nicht jedoch für die Höhe des Minderungsanspruches offeriere.
Betreffend die in der Prozesseingabe vom 19. Oktober 2006 gestützt auf einen Vergleich geltend gemachte Verrechnungsforderung führte das Handelsgericht aus, auch wenn danach ein Teil der Vergleichssumme für die Behebung der Mängel betreffend "Automatisierung und Elektrisch" bestimmt gewesen sein sollte, handle es sich hierbei lediglich um eine Parteivereinbarung zwischen den am Vergleich beteiligten Personen. Der Vergleich entfalte jedoch keine Drittwirkung auf daran nicht beteiligte Personen und entbinde die Beschwerdeführerin als Zessionarin der Forderung aus Gewährleistung nicht vom Nachweis, dass der angegebene Betrag von rund NZD 195'000.-- tatsächlich Kosten für die Behebung der von der Beschwerdegegnerin zu verantwortende Mängel betreffe, was von ihr bestritten werde. Ferner liefere die Beschwerdeführerin, welche für diese Verrechnungsforderung beweispflichtig sei, hierfür keine weiteren Beweise. Die Verrechnungsforderung sei damit - unabhängig von der Zulässigkeit der nachträglichen Eingabe - abzuweisen.
3.2 Vor dem Kassationsgericht rügte die Beschwerdeführerin, das Handelsgericht habe eine verlangte Expertise in willkürlicher antizipierter Beweiswürdigung abgelehnt. Das Kassationsgericht kam zum Ergebnis, das Handelsgericht habe keine antizipierter Beweiswürdigung vorgenommen. Vor Bundesgericht macht die Beschwerdeführerin erneut geltend, die Erwägungen des Handelsgerichts stellten eine antizipierte Beweiswürdigung dar.
3.3 Eine antizipierte Beweiswürdigung liegt vor, wenn das Sachgericht von beantragten Beweiserhebungen absieht, weil es sie von vornherein nicht für geeignet hält, die behaupteten Tatsachen zu beweisen oder weil es seine Überzeugung bereits aus anderen Beweisen gewonnen hat und davon ausgeht, dass weitere Abklärungen am massgeblichen Beweisergebnis nichts mehr zu ändern vermöchten (BGE 122 III 219 E. 3c S. 2 f. mit Hinweisen).
3.4 Das Handelsgericht hat die angebotenen Beweise nicht mangels Tauglichkeit nicht abgenommen, sonders mangels hinrechender Sachvorbringen. Das Kassationsgericht nahm daher zur Recht an, das Handelsgericht habe keine Beweise antizipiert gewürdigt, weshalb die dagegen gerichtete Rüge der Beschwerdeführerin gegenstandslos ist.
3.5 Alsdann macht die Beschwerdeführerin geltend, das Handelsgericht habe zu Unrecht eine ungenügende Substanziierung der verrechnungsweise geltend gemachten Gewährleistungsforderung angenommen. Da beim Abschluss des erstinstanzlichen Schriftenwechsels am 30. März 2006 noch nicht festgestanden habe, wie der Prozess zwischen der XV._ AG und der Z._ Ltd. ausgehen werde, hätten die entsprechenden Beweisanträge und Rügen gar nicht oder nur unvollständig gestellt werden können. Nachdem der Vergleich am 10. Oktober 2006 verbindlich geworden sei, habe die Beschwerdeführerin am 19. Oktober 2006 fristgerecht eine nachträgliche Prozesseingabe eingereicht. Darin werde die Verrechnungsforderung in der Höhe von NZD 195'333.-- substanziiert, indem die Stundenaufwände der Z._ Ltd. für die Behebung der Mängel angeführt würden. Unabhängig davon seien in der Klageantwort betreffend die von der Beschwerdegegnerin hergestellte Software sowie in der Duplik bezüglich der mangelhaften Steuerung Expertisen beantragt worden. Diese hätten zur Aufgabe gehabt, abzuklären, ob Mängel am "Elektrischen und der Automatisierung" bestanden und wo die Ursachen der Mängel gelegen haben. Ferner hätte sich die Expertise über die Höhe des Schadensbetrags äussern können. Zudem sei von grosser Wichtigkeit gewesen, den angerufenen Zeugen Z._ über die festgestellten Mängel zu befragen. Die Anordnung und Durchführung einer Expertise sowie die Einvernahme des Zeugen Z._ hätten eine Klärung des Sachverhalts bringen und die Überprüfung zulassen können, ob in rechtlicher Hinsicht eine uneigentliche Drittschadensliquidation vorliege.
3.6 Wie weit die anspruchsbegründenden Tatsachen inhaltlich zu substanziieren sind, damit sie unter die massgeblichen Bestimmungen des materiellen Rechts subsumiert werden können, bestimmt das materielle Bundesrecht. Die jeweiligen Anforderungen ergeben sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei. Tatsachenbehauptungen müssen dabei so konkret formuliert sein, dass ein substanziiertes Bestreiten möglich ist oder der Gegenbeweis angetreten werden kann. Bestreitet der Prozessgegner das an sich schlüssige Vorbringen der behauptungsbelasteten Partei, kann diese gezwungen sein, die rechtserheblichen Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar darzulegen, dass darüber Beweis abgenommen werden kann (BGE 127 III 365 E. 2b mit Hinweisen). Auf welchem Weg ein subsumptionsfähiger Sachverhalt erlangt werden soll, bestimmt dagegen das kantonale Prozessrecht. Ihm bleibt die Regelung der Frage vorbehalten, in welcher Form und bis zu welchem Zeitpunkt die inhaltlich genügenden Sachvorbringen in das Verfahren einzuführen sind. Kantonales Prozessrecht entscheidet auch darüber, ob eine Ergänzung der Sachvorbringen aufgrund des Beweisverfahrens zulässig ist oder ob bereits die vorgängigen Behauptungen so konkret und detailliert sein müssen, dass das Beweisverfahren allein noch ihrer Überprüfung dient (BGE 127 III 365 E. 2c; 108 II 337 E. 3; Urteil 4C.351/2000 vom 20. Juli 2001 E. 3c).
3.7 Die Beschwerdeführerin macht nicht geltend, sie habe vor dem Kassationsgericht erfolglos gerügt, das Handelsgericht habe kantonales Prozessrecht willkürlich angewendet, indem es in den Rechtsschriften eine substanziierte Sachverhaltsdarstellung und entsprechende Beweisanträge verlangte und allgemeine Anträge auf Expertisen, Zeugenbefragungen oder den Beizug von Akten eines Parallelverfahrens nicht genügen liess. Demnach ist einzig zu prüfen, ob das Handelsgericht die bundesrechtlichen Anforderungen an die Substanziierung der Sachvorbringen überspannt hat. Die Beschwerdeführerin räumt selber ein, dass sie im Rahmen des Schriftenwechsels die tatsächlichen Grundlagen ihrer Minderungsforderung nur unvollständig dargelegt hat. Insoweit ist bundesrechtlich nicht zu beanstanden, dass das Handelsgericht dem Antrag auf Anordnung einer Expertise nicht stattgab. Soweit die Beschwerdeführerin vorbringt, sie habe in der nachträglichen Prozesseingabe vom 19. Oktober 2006 die Grundlagen der Minderungsforderung mit dem eingereichten Vergleich hinreichend klar geschildert, ist ihr entgegenzuhalten, dass diese Eingabe nach dem angefochtenen Urteil keine weiteren Beweisanträge enthält, was die Beschwerdeführerin nicht in Abrede stellt. Das Handelsgericht hat somit kein Bundesrecht verletzt, wenn es mit Bezug auf die Vorbringen in dieser Eingabe mangels Beweisofferten kein Beweisverfahren durchführte. Ob mit der nachträglichen Eingabe eine hinreichende Substanziierung erfolgte, kann demnach offen bleiben.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Kassationsgericht des Kantons St. Gallen und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 30. September 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Gelzer