Sachverhalt:
A. Die Y._ AG (Beklagte) schloss am 8. Mai 2004 als Generalunternehmerin einer Grundeigentümerin (GB St. Gallen Parz. 111._) mit der X._ AG (Klägerin), die damals als Z._ AG firmierte, einen Werkvertrag ab, mit dem sie der Klägerin zum Pauschalpreis von Fr. 6'650'000.-- inkl. MWSt im Wesentlichen die Baumeisterarbeiten für die Überbauung Q._, die Häuser A und B sowie 1-4 und die Tiefgarage in St. Gallen übertrug. Die Klägerin führte die werkvertraglichen Arbeiten aus und die Beklagte bezahlte zwischen dem 27. Juni 2008 und dem 22. Mai 2009 zehn Akonto-Rechnungen im Gesamtbetrag von Fr. 6'049'990.-- inkl. MWSt.
B. B.a Am 12. Juni 2009 reichte die Klägerin beim Handelsgericht St. Gallen ein Gesuch um superprovisorische Eintragung eines Bauhandwerkerpfandrechts auf der Parzelle 111._ GB St. Gallen im Betrag von Fr. 2'724'058.55 ein. Die Beklagte überwies darauf der Gerichtskasse am 19. Juni 2009 einen Betrag in dieser Höhe mit dem Hinweis "Sicherstellung Bauhandwerkerpfandrecht". Die Beklagte beteiligte sich in der Folge als Nebenintervenientin der Grundeigentümerin am Massnahmeverfahren. Der Handelsgerichtspräsident entschied in diesem Verfahren, die Klägerin habe grundsätzlich für den Betrag von Fr. 1'570'356.40 einen Anspruch auf vorläufige Eintragung eines Bauhandwerkerpfandrechts, da insoweit sowohl der Bestand der Forderung für den Restlohn wie auch für die Mehrkosten für Armierungen und der Betrag für die Teuerung hinreichend glaubhaft gemacht seien. Der Handelsgerichtspräsident verfügte dementsprechend, dass Fr. 1'570'356.40 bei der Gerichtskasse hinterlegt blieben und der Restbetrag von Fr. 1'153'702.15 nach Rechtskraft des Massnahmeentscheides an die Nebenintervenientin zurückerstattet würden.
B.b Am 9. Oktober 2009 gelangte die Klägerin an das Handelsgericht St. Gallen mit dem Begehren, die Beklagte sei zu verpflichten, ihr Fr. 2'358'797.87 nebst Zins zu 5% seit 30. September 2009 zu bezahlen und die Sicherstellung sei ihr auszuzahlen. Am 11. Dezember 2009 erklärte die Beklagte, sie anerkenne die Klage im Teilbetrag von Fr. 716'869.15 und sei damit einverstanden, dass dieser Betrag von der Gerichtskasse ab der Sicherheitsleistung ausgerichtet werde. Die Sicherheit reduzierte sich damit auf Fr. 853'487.25. Die Klägerin reduzierte ihre Forderung auf Fr. 1'641'928.72.
B.c Mit Entscheid vom 25. Mai 2011 verurteilte das Handelsgericht des Kantons St. Gallen die Beklagte dazu, der Klägerin Fr. 184'667.55 nebst 5 % Zins ab 8. November 2009 zu bezahlen. Ausserdem wurde die Beklagte verurteilt, der Klägerin 5 % Zins ab 8. November 2009 bis 31. Dezember 2009 vom Betrag von Fr. 716'869.15 zu bezahlen. Im Übrigen wurde die Klage abgewiesen, soweit sie nicht gegenstandslos geworden war (Ziffer 1). Die Sicherstellung wurde im Betrag von Fr. 184'667.55 bestätigt und von der restlichen Sicherheitsleistung von Fr. 853'487.25 wurden Fr. 184'667.55 der Klägerin und Fr. 668'819.70 der Beklagten ausbezahlt (Ziffer 2). Die Gerichtskosten des Hauptverfahrens wurden auf Fr. 110'800.-- festgesetzt und der Klägerin im Umfang von Fr. 99'720.--, der Beklagten im Umfang von Fr. 11'080.-- auferlegt (Ziffer 3). Die Klägerin wurde verurteilt, der Beklagten deren Parteikosten im Haupt- und Massnahmeverfahren mit Fr. 100'800.-- zu entschädigen (Ziffer 4).
Mit eingehender Begründung gelangte das Handelsgericht zum Schluss, dass sich die gegenseitigen Ansprüche der Parteien wie folgt berechneten:
Werklohn gemäss Werkvertrag Fr. 6'650'000.00
Geleistete Akontozahlungen der Beklagen Fr. -6'049'990.00
Restwerklohn Fr. 600'000.00
Freigabe der Beklagten ab Sicherheitsleistung Fr. -716'869.15
Minderleistung Tiefgarage C Fr. -41'736.05
Mehrausmass Armierungen Fr. +290'847.40
Ausgleich Negativteuerung Stabarmierungen Fr. -16'670.75
Mehrforderung Winterbaumassnahmen Fr. 0.00
Mehrforderung Zusatzleistungen Oblichter Fr. 0.00
Mehrforderung Vormauern in Nasszellen Fr. +74'473.15
Mehrforderung gestörter Bauablauf Fr. 0.00
Verrechnungsanspruch Wassereindringung Fr. 0.00
Verrechnungsanspruch Schrammborde Fr. -5'387.05
Forderungstotal zugunsten der Klägerin Fr. 184'667.55
Die Gerichtskosten auferlegte das Handelsgericht der Klägerin zu 9/10 und der Beklagten zu 1/10 mit der Begründung, die Streitsache habe im Umfang des von der Beklagten anerkannten Betrages keinen grossen Aufwand verursacht, weshalb es sich rechtfertige, die Verteilung ungefähr aufgrund des um die Abschlagszahlung reduzierten Streitwertes im Verhältnis des geschützten Betrages vorzunehmen.
C. Gegen den Entscheid des Handelsgerichts des Kantons St. Gallen haben beide Parteien Beschwerde in Zivilsachen beim Bundesgericht eingereicht.
Die Beklagte stellt die Begehren, die Klage sei abzuweisen und der Betrag aus der Sicherheitsleistung von Fr. 184'667.55 sei ihr auszuzahlen, eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, mit entsprechender Kostenfolge.
Die Klägerin stellt die Rechtsbegehren, die Ziffern 3 und 4 des Dispositivs des angefochtenen Entscheids seien vollumfänglich aufzuheben, die Kosten seien gemäss Verfahrensausgang im Verhältnis 38.22% zu 61.78% zu verlegen, d.h. von den Gerichtskosten von Fr. 110'800.00 sei der Klägerin der Betrag von Fr. 68'452.20 und der Beklagten der Betrag von Fr. 42'387.80 zu auferlegen und ausserdem sei die Klägerin zu verpflichten, der Beklagten eine Parteientschädigung für das Haupt- und Massnahmeverfahren im Betrag von Fr. 32'685.60 zu bezahlen.
Mit Präsidialverfügung vom 8. Juli 2011 wurde das Gesuch der Beklagten um Gewährung der aufschiebenden Wirkung als gegenstandslos abgeschrieben.
Vernehmlassungen wurden keine eingeholt.
Erwägungen:
1. Die Beschwerden richten sich gegen denselben Entscheid und die Parteien sind identisch. Es rechtfertigt sich, die beiden Verfahren zu vereinigen und die Beschwerden in einem einzigen Entscheid zu beurteilen.
2. 2.1 Die Streitsache ist zivilrechtlicher Natur (Art. 72 Abs. 1 BGG), der vor der Vorinstanz streitige Betrag übersteigt die Streitwertgrenze von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG), die rechtzeitig eingereichten Eingaben (Art. 100 BGG) der je mit ihren Begehren nicht vollständig erfolgreichen Parteien (Art. 76 BGG) richten sich gegen einen Endentscheid (Art. 90 BGG) eines oberen kantonalen Gerichts, das als Fachgericht für handelsrechtliche Streitigkeiten als einzige kantonale Instanz entschieden hat (Art. 75 Abs. 2 lit. b BGG). Die Beschwerden in Zivilsachen sind insoweit zulässig.
2.2 In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Dazu ist unerlässlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.). Dabei gilt hinsichtlich der Verletzung von Grundrechten, insbesondere des Willkürverbots, eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; vgl. BGE 133 II 249 E. 1.4.2 S. 254, 396 E. 3.1 S. 399).
Das Bundesgericht legt seinem Urteil sodann den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise ihrer Ansicht nach zu würdigen gewesen wären. Vielmehr hat sie klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4).
Wird Willkür in der Ermittlung des Sachverhalts geltend gemacht, ist zu beachten, dass dem Sachrichter in der Beweiswürdigung ein breiter Ermessensspielraum zusteht; die beschwerdeführende Partei hat daher darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich ausser Acht gelassen habe (vgl. BGE 132 III 209 E. 2.1; 129 I 8 E. 2.1; 120 Ia 31 E. 4b S. 40; 118 Ia 28 E. 1b S. 30). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, namentlich auf bloss appellatorische Vorbringen, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3, 396 E. 3.1 S. 399).
3. Die Beklagte bringt in ihrer Beschwerde (4A_411/2011) vor, die Vorinstanz habe Bundesrecht verletzt, eventuell den Sachverhalt unrichtig festgestellt, indem sie geschlossen habe, die drei Positionen 421.201 (Abschalungseinlagen), 442.001 (Isolation Deckenschalung) und 851.501 (Elektroverteilkästen) seien im Pauschalpreis enthalten, obwohl diese nicht ausgeführt wurden, und indem sie den für die Vormauerung bei den Nasszellen geforderten Betrag wegen einer Bestellungsänderung zugesprochen habe. Weiter habe die Vorinstanz Bundesrecht verletzt, indem sie der Beklagten den geforderten Schadenszins auf dem hinterlegten Betrag nicht zugesprochen habe und indem sie nicht begründet habe, weshalb die Sicherheitsleistung im Umfang von Fr. 184'667.55 zu bestätigen sei.
3.1 Die Vorinstanz hat den Anspruch der Beklagten auf Reduktion des Pauschalpreises wegen Nichtausführung von drei Positionen des Leistungsverzeichnisses mit der Begründung abgelehnt, es liege bei diesen Positionen keine Bestellungsänderung im Sinne von Art. 89 der hier massgebenden SIA-Norm 118 vor. Da ein nachträglicher Leistungsverzicht der Beklagten nach Abschluss des Werkvertrages nicht nachgewiesen sei, bestehe kein Anspruch auf Reduktion des Pauschalwerkpreises, denn Abweichungen von den vertraglich vorgesehenen Erstellungkosten seien unter Vorbehalt ausserordentlicher Umstände unerheblich.
Die Beschwerdeführerin setzt sich mit dieser Begründung nicht auseinander; sie greift vielmehr den einleitenden Satz der Erwägung 7.3 heraus, den sie nicht verstehen will, und begnügt sich mit der Behauptung, die Argumentation der Vorinstanz sei nicht einschlägig, da es nicht darum gehe, ob bei der Ausführung eines Werkes zu einem Pauschalpreis mehr oder weniger Aufwand entstehe. Die Begründung genügt den Anforderungen von Art. 42 Abs. 2 BGG nicht, weshalb darauf nicht einzutreten ist.
3.2 In Bezug auf die Nasszellen ist die Vorinstanz davon ausgegangen, dass es eine Projektänderung gegeben habe, welche als Bestellungsänderung zu qualifizieren sei, welche der Klägerin einen Anspruch auf Mehrvergütung gebe.
Die Beschwerdeführerin bestreitet zwar ausdrücklich nicht, dass eine Bestellungsänderung erfolgt ist, beanstandet aber auch hier, dass sich die Vorinstanz nicht mit ihren Vorbringen zur Berechnung des Pauschalpreises bzw. den im Leistungsverzeichnis enthaltenen Positionen auseinandergesetzt habe. Inwiefern die Vorinstanz Bundesrecht verletzt haben könnte, indem sie vom vereinbarten Pauschalpreis ausgehend geprüft hat, ob eine Bestellungsänderung vorlag, die nach der von den Parteien als anwendbar erklärten SIA-Norm 118 zu einem Mehrpreis führte, ist auch hier der Beschwerde nicht zu entnehmen. Soweit die Beschwerdeführerin im Übrigen tatsächlich mit Verweis auf ihren Standpunkt im kantonalen Verfahren behaupten wollte, die Vorinstanz habe den Sachverhalt in Bezug auf die Höhe des Mehrpreises unrichtig festgestellt, genügt sie den Begründungsanforderungen von Art. 106 Abs. 2 BGG offensichtlich nicht.
3.3 Die Vorinstanz hat den von der Beklagten verrechnungsweise geltend gemachten Schadenersatz wegen Eintragung des Bauhandwerkerpfandrechts abgelehnt mit der Begründung, Schadenersatz wäre nur zuzusprechen, wenn der Klägerin im Zusammenhang mit dem Begehren um Eintragung eines Bauhandwerkerpfandrechts eine Pflichtwidrigkeit vorzuwerfen wäre, was nicht leichthin anzunehmen sei. Zudem hätte die Beklagte beweisen müssen, dass ihr tatsächlich ein Schaden entstanden sei; sie könne sich nicht damit begnügen, einen pauschalisierten Schadenszins auf dem hinterlegten Kapitalbetrag zu verlangen.
Mit dieser Begründung setzt sich die Beschwerdeführerin nicht auseinander. Sie beharrt auf ihren Vorbringen im kantonalen Verfahren und verkennt mit ihren Verweisen auf ihre Vorträge im kantonalen Verfahren auch hier, dass die Begründung der Beschwerde aus den Rechtsschriften an das Bundesgericht selbst hervorgehen muss (BGE 134 II 244 E. 2.1. S. 245, 126 III 198 E. 1d). Auch auf dieses Vorbringen ist nicht einzutreten.
3.4 Die Beklagte beanstandet schliesslich, dass die Vorinstanz die Sicherheitsleistung in dem Umfang bestätigt hat, als die Forderung der Klägerin bewiesen ist. Die Vorinstanz hat in diesem Zusammenhang ausgeführt, dass nach Art. 839 Abs. 3 ZGB zwar die Eintragung des Bauhandwerkerpfandrechts nur verlangt werden kann, wenn der Eigentümer nicht anderweitig Sicherheit leistet und die Beklagte hier eine hinreichende Sicherheit geleistet hat. Die Beklagte beanstandet, dass sich die Vorinstanz mit ihren Vorbringen im kantonalen Verfahren nicht auseinandergesetzt hat, ohne dass sie aber auch nur ansatzweise begründen würde, inwiefern im vorliegenden Fall das "andere rechtliche Fundament der Prosquierungsklage" dazu führen könnte, dass die statt des Grundpfands geleistete Sicherheit für den zugesprochenen Betrag nicht in Anspruch genommen werden könnte.
3.5 Die Begründung der Beschwerde der Beklagten erschöpft sich im Wesentlichen in Verweisen auf die Standpunkte im kantonalen Verfahren, ohne dass sie sich mit den Erwägungen der Vorinstanz auseinandersetzen würde. Daran vermag die unzutreffende Behauptung der Beklagten nichts zu ändern, die Begründung der Vorinstanz sei nicht verständlich und genüge den Anforderungen an Art. 112 Abs. 1 lit. b BGG nicht. Auf die Beschwerde der Beklagten ist nicht einzutreten.
4. Die Klägerin (4A_396/2011) beanstandet die Kostenverlegung. Sie vertritt die Ansicht, die Gerichts- und Parteikosten hätten im Verhältnis von 38.22% zu 61.78% verlegt werden müssen. Sie führt dabei unter Verweis auf die Literatur zur hier noch anwendbaren kantonalen Zivilprozessordnung aus, dass als unterliegend auch diejenige Partei zu betrachten ist, die ein Begehren anerkennt.
4.1 Die Vorinstanz hat die von der Beklagten im Dezember 2009 kurz nach Einreichung der Hauptklage anerkannte Forderung bei der Verteilung der Gerichts- und Parteikosten mit der Begründung nur unwesentlich berücksichtigt, dass dieser Teil der Forderung kaum Aufwand verursacht habe.
4.2 Der Beschwerde ist nicht zu entnehmen, inwiefern die Vorinstanz Grundrechte der Klägerin verletzt habe könnte, die hier in Bezug auf die Anwendung kantonalen Zivilprozessrechts allein gerügt werden können (Art. 95 i.V.m. Art. 106 Abs. 2 BGG). Die Klägerin begnügt sich mit der Darstellung der aus ihrer Sicht zutreffenden Auslegung von Art. 106 und 107 der kantonalen Zivilprozessordnung, womit sie nicht zu hören ist. Das Vorbringen, die vorgenommene Kostenverteilung überschreite das Mass des Ermessens bei weitem und müsse als unsachlich und damit als willkürlich bezeichnet werden, genügt den Begründungsanforderungen von Art. 106 Abs. 2 BGG offenkundig nicht. Auf die Beschwerde der Klägerin ist damit ebenfalls nicht einzutreten.
5. Beide Beschwerden genügen den Begründungsanforderungen nicht und es ist darauf nicht einzutreten.
Dementsprechend sind die Gerichtskosten den Beschwerdeführerinnen je für ihre Beschwerde zu auferlegen (Art. 66 Abs. 1 BGG). Der Beklagten ist im Verfahren 4A_396/2011 kein Aufwand entstanden, weshalb keine Parteientschädigung zu sprechen ist. Die Klägerin hat demgegenüber im Verfahren 4A_411/2011 innert gerichtlich angesetzter Frist eine durch ihren Anwalt verfasste Stellungnahme zum Gesuch um Erteilung der aufschiebenden Wirkung eingereicht, wofür sie zu entschädigen ist (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren Nr. 4A_396/2011 und 4A_411/2011 werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Gerichtsgebühr von Fr. 6'000.-- im Verfahren 4A_411/2011 wird der Beklagten auferlegt. Die Beklagte hat der Klägerin eine Parteientschädigung von Fr. 1'000.-- zu bezahlen.
4. Die Gerichtsgebühr von Fr. 1'000.-- im Verfahren 4A_396/2011 wird der Klägerin auferlegt.
5. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 25. Juli 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni