Sachverhalt: A. A.a Die von A._ beherrschte X._ AG (Bestellerin) mit Hauptsitz im Fürstentum Liechtenstein und der Zweigniederlassung Y._ in der Schweiz wollte für die Fischzucht in M._ warmes Tiefengrundwasser gewinnen. Auf Anfrage der Bestellerin unterbreitete ihr die Z._ AG, N._, (Unternehmerin) am 6. Juli 2006 für eine Tiefenbohrung eine Offerte, welche die beigefügten allgemeinen Offertbedingungen als integrierenden Bestandteil erklärte. Diese Bedingungen sahen namentlich vor: "Gefahrtragung und auflaufende Kosten gehen auf den Auftraggeber über, wenn Schadenfälle auftreten: durch Naturereignisse durch Antreffen unvorhergesehener, schwieriger Gebirgs- und oder Druckverhältnisse, die mit den vertraglich gebotenen technischen Mitteln nicht beherrscht werden können. durch plötzliche, erhebliche Spülungsverluste und ein dadurch bedingtes Aussetzen des Spülungsumlaufes. [...] Weitere Regiearbeiten sind: die Messungen und andere Untersuchungsarbeiten im Bohrloch einschliesslich des Spülens des Bohrlochs vor und nach der Durchführung dieser Arbeiten [...] das Bekämpfen von Spülverlusten, Wasserzufluss und Gas. [...] alle in der Offerte nicht aufgeführten Arbeiten. Verzögerungen, die durch Lieferfristen von Zulieferanten (z.B. Gestänge, Rohre, Werkzeuge, Gerätekomponenten etc.) entstehen, werden in Regie (Wartezeit) verrechnet. Arbeitszeitunterbrechungen und Wartezeiten, die der Unternehmer nicht zu vertreten hat. Materiallieferungen und Transporte im Zusammenhang mit zuvor aufgeführten Arbeiten werden zu den Selbstkosten mit 25 % Zuschlag in Rechnung gestellt." Das Leistungsverzeichnis der Offerte sah für gewisse Positionen eine Pauschalvergütung und für andere eine Vergütung nach Einheitspreisen vor. So lautete Ziff. 2 mit dem Titel "Fördertest" im Ø 5/8" Casing: "2.1.1 An- und Abtransport der benötig- ten Ausrüstung zur Durchführung eines Fördertests pauschal CHF 15'800.-- 2.1.2 Installation und Demontage der Ausrüstung zum Fördertest pauschal CHF 15'000.-- 2.1.3 Betrieb der ganzen Anlage inkl. Bedienungspersonal 10 h à CHF 580.-- CHF 5'800.-- Total Fördertest CHF 36'600.--" Die Addition der Pauschalvergütungen und Einheitspreise ergab die Summe von Fr. 2'193'426.--. Zudem enthielt die Offerte verschiedene Eventualpositionen (EP), welche summenmässig noch nicht bestimmt waren. Als solche Position wurde in Ziff. 1.6.2 angeführt: "Bohranlage in Betrieb inkl. Personal a) Zementation in Verlustzonen per h à CHF 640.-- CHF EP b) Aufbohren von Zement per h à CHF 690.-- CHF EP" Die Bestellerin nahm die Offerte am 13. Juli 2006 grundsätzlich an, verlangte jedoch einen Rabatt von 5 % zuzüglich 3 % Skonto. Am 19. Juli 2006 sandte die Unternehmerin der Bestellerin folgendes Schreiben: "Wie vereinbart bestätigen wir Ihnen gerne den am 13. Juli 2006 erteilten Auftrag auf Basis unserer Offerte vom 6. Juli 2006 inkl. folgende Beilagen: allgemeine Offertbedingungen, Stand 01.2006; Bohr- und Verrohungsschema (Richtangaben) Bohrzeitplan (hat nur informativen Charakter); Beispiel Bohrplatzinstallation AGBO G-750; Ausrüstungsliste; Patentschrift betreffend Verfahren und Vorrichtung zur Entnahme von warmem Tiefenwasser. Wie mit Ihnen besprochen, liegt das Fündigkeits- und Temperaturrisiko (also das Risiko, ob überhaupt Wasser gefunden wird und zu welchen Temperaturen) vollumfänglich bei der Bauherrschaft. Der Einfachheit halber gewähren wir Ihnen anstelle der von Ihnen gewünschten 5 % Rabatt zuzüglich 3 % Skonto über den gesamten Betrag einen einheitlichen Rabatt von 8 %. [...]" Dieses Schreiben wurde durch A._ für die Bestellerin gegengezeichnet. Der Rabatt von 8 % führte zu einer Summe von Fr. 2'017'951.90. A.b Die Unternehmerin führte ab September 2006 Bohrarbeiten in M._ aus und stiess am 28. Oktober 2006 in einer Tiefe von 856 Metern auf eine Wasser führende Kluft, die gemäss Messungen Grundwasser in der gewünschten Menge aufwies. Trotzdem wurde die Kluft provisorisch abgedichtet und weitergebohrt. Am 16. November 2006 trat in einer Tiefe von 1369 Metern ein Defekt am Kraftdrehkopf der Bohranlage auf, weshalb das Bohrgestänge zum Teil ausgebaut werden musste. Beim erneuten Einfügen des Gestänges wurde eine Instabilität des Bohrlochs festgestellt. Die Bohrung wurde daher eingestellt und die provisorisch geschlossene Kluft wieder geöffnet. Die ab dem 29. November 2006 durchgeführten Pumpversuche förderten vorwiegend verschmutztes Spülwasser, weshalb das Amt für Umwelt und Energie (AFU) am 4. Dezember 2006 insbesondere die Klarspülung des Bohrlochs anordnete, welche die Unternehmerin vom 5. bis 20. Dezember 2006 vornahm. Vom 8. bis 22. Januar 2007 führte die Unternehmerin Pumpversuche mit Messungen durch. Aufgrund der Testergebnisse beschloss die Bestellerin den Ausbau und die definitive Nutzung der wasserführenden Kluft. Im Hinblick darauf wurde das Bohrloch unterhalb der Kluft mittels einer Zementbrücke abgedichtet. Am 16. Februar 2007 teilte die Bestellerin der Unternehmerin mit, sie sei mit dem Einbau von Filterrohren einverstanden. In der Folge wurden diese Rohre hergestellt und am 13./14. März 2007 eingebaut. Danach konnte die Bohranlage am 15./16. März 2007 abgebaut werden. A.c Die Unternehmerin forderte von der Bestellerin in diversen Teilrechnungen insgesamt Fr. 2'827'617.50. Die Bestellerin bezahlte jedoch nur Fr. 2'116'156.75. Am 12. April 2007 liess die Unternehmerin der Bestellerin eine Mahnung über den Betrag von Fr. 712'777.-- zustellen. Zur Sicherstellung der offenen Forderung liess die Unternehmerin gemäss einem Vergleich mit der Bestellerin auf zwei dieser gehörenden Grundstücken in M._ ein Bauhandwerkerpfand definitiv eintragen. Die entsprechenden Verfahrenskosten wurden mit Entscheid des Kreisgerichtspräsidenten Rheintal vom 1. Oktober 2007 der Unternehmerin auferlegt, wobei gemäss dem Vergleich deren Geltendmachung im Forderungsprozess vorbehalten wurde. B. Am 9. April 2008 klagte die Unternehmerin (Klägerin) beim Handelsgericht des Kantons St. Gallen gegen die Bestellerin (Beklagte) auf Zahlung von Fr. 711'460.75 nebst Zins zu 5 % seit 13. April 2007 für Leistungen, welche die im Werkvertrag angeführten Mengen überstiegen oder als Regiearbeiten erbracht wurden, sowie auf Ersatz der Gerichtsgebühr von Fr. 1'000.--, der Parteikosten von Fr. 2'601.75 aus dem Verfahren um Eintragung des Bauhandwerkerpfandrechts und der Gebühren des Grundbuchamtes von Fr. 1'170.15. Die Beklagte wandte ein, da im Werkvertrag ein Fixpreis vereinbart worden sei, habe sie keine Mehrkosten zu bezahlen. Zudem bestritt sie die Höhe einzelner Teilforderungen. Schliesslich machte sie verrechnungsweise eine den eingeklagten Betrag übersteigende Schadenersatzforderung geltend, welche sie daraus ableitete, dass die Klägerin nicht bis zu einer Tiefe von 1500 Metern gebohrt hat, weshalb die Erdwärme in dieser Tiefe nicht habe genutzt werden können. Das Handelsgericht verneinte einen Fixpreis, kürzte einzelne Rechnungspositionen und wies die Schadenersatzforderung der Beklagten ab. Entsprechend hiess es mit Entscheid vom 7./16. März 2012 die Klage im Umfang von Fr. 594'321.25 nebst Zins von 5 % ab dem 5. Mai 2007 gut und wies sie im Mehrbetrag ab. C. Die Beklagte (Beschwerdeführerin) erhebt Beschwerde in Zivilsachen mit den Rechtsbegehren, den Entscheid des Handelsgerichts vom 7./16. März 2012 aufzuheben und zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Das Handelsgericht verzichtet auf eine Vernehmlassung. Die Klägerin (Beschwerdegegnerin) schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Beschwerdeführerin reichte eine Replik ein.