Sachverhalt:
A. A.a Die von A._ beherrschte X._ AG (Bestellerin) mit Hauptsitz im Fürstentum Liechtenstein und der Zweigniederlassung Y._ in der Schweiz wollte für die Fischzucht in M._ warmes Tiefengrundwasser gewinnen. Auf Anfrage der Bestellerin unterbreitete ihr die Z._ AG, N._, (Unternehmerin) am 6. Juli 2006 für eine Tiefenbohrung eine Offerte, welche die beigefügten allgemeinen Offertbedingungen als integrierenden Bestandteil erklärte. Diese Bedingungen sahen namentlich vor:
"Gefahrtragung und auflaufende Kosten gehen auf den Auftraggeber über, wenn Schadenfälle auftreten:
durch Naturereignisse
durch Antreffen unvorhergesehener, schwieriger Gebirgs- und oder Druckverhältnisse, die mit den vertraglich gebotenen technischen Mitteln nicht beherrscht werden können.
durch plötzliche, erhebliche Spülungsverluste und ein dadurch bedingtes Aussetzen des Spülungsumlaufes.
[...]
Weitere Regiearbeiten sind:
die Messungen und andere Untersuchungsarbeiten im Bohrloch einschliesslich des Spülens des Bohrlochs vor und nach der Durchführung dieser Arbeiten
[...]
das Bekämpfen von Spülverlusten, Wasserzufluss und Gas.
[...]
alle in der Offerte nicht aufgeführten Arbeiten.
Verzögerungen, die durch Lieferfristen von Zulieferanten (z.B. Gestänge, Rohre, Werkzeuge, Gerätekomponenten etc.) entstehen, werden in Regie (Wartezeit) verrechnet.
Arbeitszeitunterbrechungen und Wartezeiten, die der Unternehmer nicht zu vertreten hat.
Materiallieferungen und Transporte im Zusammenhang mit zuvor aufgeführten Arbeiten werden zu den Selbstkosten mit 25 % Zuschlag in Rechnung gestellt."
Das Leistungsverzeichnis der Offerte sah für gewisse Positionen eine Pauschalvergütung und für andere eine Vergütung nach Einheitspreisen vor. So lautete Ziff. 2 mit dem Titel "Fördertest" im Ø 5/8" Casing:
"2.1.1 An- und Abtransport der benötig-
ten Ausrüstung zur Durchführung
eines Fördertests pauschal CHF 15'800.--
2.1.2 Installation und Demontage der
Ausrüstung zum Fördertest pauschal CHF 15'000.--
2.1.3 Betrieb der ganzen Anlage inkl.
Bedienungspersonal 10 h à CHF 580.-- CHF 5'800.--
Total Fördertest CHF 36'600.--"
Die Addition der Pauschalvergütungen und Einheitspreise ergab die Summe von Fr. 2'193'426.--. Zudem enthielt die Offerte verschiedene Eventualpositionen (EP), welche summenmässig noch nicht bestimmt waren. Als solche Position wurde in Ziff. 1.6.2 angeführt:
"Bohranlage in Betrieb inkl. Personal
a) Zementation in Verlustzonen per h à CHF 640.-- CHF EP
b) Aufbohren von Zement per h à CHF 690.-- CHF EP"
Die Bestellerin nahm die Offerte am 13. Juli 2006 grundsätzlich an, verlangte jedoch einen Rabatt von 5 % zuzüglich 3 % Skonto.
Am 19. Juli 2006 sandte die Unternehmerin der Bestellerin folgendes Schreiben:
"Wie vereinbart bestätigen wir Ihnen gerne den am 13. Juli 2006 erteilten Auftrag auf Basis unserer Offerte vom 6. Juli 2006 inkl. folgende Beilagen:
allgemeine Offertbedingungen, Stand 01.2006;
Bohr- und Verrohungsschema (Richtangaben)
Bohrzeitplan (hat nur informativen Charakter);
Beispiel Bohrplatzinstallation AGBO G-750;
Ausrüstungsliste;
Patentschrift betreffend Verfahren und Vorrichtung zur Entnahme von warmem Tiefenwasser.
Wie mit Ihnen besprochen, liegt das Fündigkeits- und Temperaturrisiko (also das Risiko, ob überhaupt Wasser gefunden wird und zu welchen Temperaturen) vollumfänglich bei der Bauherrschaft.
Der Einfachheit halber gewähren wir Ihnen anstelle der von Ihnen gewünschten 5 % Rabatt zuzüglich 3 % Skonto über den gesamten Betrag einen einheitlichen Rabatt von 8 %.
[...]"
Dieses Schreiben wurde durch A._ für die Bestellerin gegengezeichnet. Der Rabatt von 8 % führte zu einer Summe von Fr. 2'017'951.90.
A.b Die Unternehmerin führte ab September 2006 Bohrarbeiten in M._ aus und stiess am 28. Oktober 2006 in einer Tiefe von 856 Metern auf eine Wasser führende Kluft, die gemäss Messungen Grundwasser in der gewünschten Menge aufwies. Trotzdem wurde die Kluft provisorisch abgedichtet und weitergebohrt. Am 16. November 2006 trat in einer Tiefe von 1369 Metern ein Defekt am Kraftdrehkopf der Bohranlage auf, weshalb das Bohrgestänge zum Teil ausgebaut werden musste. Beim erneuten Einfügen des Gestänges wurde eine Instabilität des Bohrlochs festgestellt. Die Bohrung wurde daher eingestellt und die provisorisch geschlossene Kluft wieder geöffnet. Die ab dem 29. November 2006 durchgeführten Pumpversuche förderten vorwiegend verschmutztes Spülwasser, weshalb das Amt für Umwelt und Energie (AFU) am 4. Dezember 2006 insbesondere die Klarspülung des Bohrlochs anordnete, welche die Unternehmerin vom 5. bis 20. Dezember 2006 vornahm. Vom 8. bis 22. Januar 2007 führte die Unternehmerin Pumpversuche mit Messungen durch. Aufgrund der Testergebnisse beschloss die Bestellerin den Ausbau und die definitive Nutzung der wasserführenden Kluft. Im Hinblick darauf wurde das Bohrloch unterhalb der Kluft mittels einer Zementbrücke abgedichtet. Am 16. Februar 2007 teilte die Bestellerin der Unternehmerin mit, sie sei mit dem Einbau von Filterrohren einverstanden. In der Folge wurden diese Rohre hergestellt und am 13./14. März 2007 eingebaut. Danach konnte die Bohranlage am 15./16. März 2007 abgebaut werden.
A.c Die Unternehmerin forderte von der Bestellerin in diversen Teilrechnungen insgesamt Fr. 2'827'617.50. Die Bestellerin bezahlte jedoch nur Fr. 2'116'156.75.
Am 12. April 2007 liess die Unternehmerin der Bestellerin eine Mahnung über den Betrag von Fr. 712'777.-- zustellen.
Zur Sicherstellung der offenen Forderung liess die Unternehmerin gemäss einem Vergleich mit der Bestellerin auf zwei dieser gehörenden Grundstücken in M._ ein Bauhandwerkerpfand definitiv eintragen. Die entsprechenden Verfahrenskosten wurden mit Entscheid des Kreisgerichtspräsidenten Rheintal vom 1. Oktober 2007 der Unternehmerin auferlegt, wobei gemäss dem Vergleich deren Geltendmachung im Forderungsprozess vorbehalten wurde.
B. Am 9. April 2008 klagte die Unternehmerin (Klägerin) beim Handelsgericht des Kantons St. Gallen gegen die Bestellerin (Beklagte) auf Zahlung von Fr. 711'460.75 nebst Zins zu 5 % seit 13. April 2007 für Leistungen, welche die im Werkvertrag angeführten Mengen überstiegen oder als Regiearbeiten erbracht wurden, sowie auf Ersatz der Gerichtsgebühr von Fr. 1'000.--, der Parteikosten von Fr. 2'601.75 aus dem Verfahren um Eintragung des Bauhandwerkerpfandrechts und der Gebühren des Grundbuchamtes von Fr. 1'170.15.
Die Beklagte wandte ein, da im Werkvertrag ein Fixpreis vereinbart worden sei, habe sie keine Mehrkosten zu bezahlen. Zudem bestritt sie die Höhe einzelner Teilforderungen. Schliesslich machte sie verrechnungsweise eine den eingeklagten Betrag übersteigende Schadenersatzforderung geltend, welche sie daraus ableitete, dass die Klägerin nicht bis zu einer Tiefe von 1500 Metern gebohrt hat, weshalb die Erdwärme in dieser Tiefe nicht habe genutzt werden können.
Das Handelsgericht verneinte einen Fixpreis, kürzte einzelne Rechnungspositionen und wies die Schadenersatzforderung der Beklagten ab. Entsprechend hiess es mit Entscheid vom 7./16. März 2012 die Klage im Umfang von Fr. 594'321.25 nebst Zins von 5 % ab dem 5. Mai 2007 gut und wies sie im Mehrbetrag ab.
C. Die Beklagte (Beschwerdeführerin) erhebt Beschwerde in Zivilsachen mit den Rechtsbegehren, den Entscheid des Handelsgerichts vom 7./16. März 2012 aufzuheben und zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Das Handelsgericht verzichtet auf eine Vernehmlassung. Die Klägerin (Beschwerdegegnerin) schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Beschwerdeführerin reichte eine Replik ein.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen einen Endentscheid eines Fachgerichts für handelsrechtliche Streitigkeiten, das als einzige kantonale Instanz entschieden hat. Solche Entscheide können gemäss <ref-law> direkt beim Bundesgericht angefochten werden (<ref-ruling> E. 1.1 S. 475). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist unter Vorbehalt einer hinreichenden Begründung auf die Beschwerde einzutreten.
1.2 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (<ref-law>). Als solches genügt der Antrag auf Aufhebung des angefochtenen Entscheids wegen der reformatorischen Natur des Rechtsmittels der Beschwerde in Zivilsachen (<ref-law>) grundsätzlich nicht. Vielmehr ist anzugeben, welche Punkte des Entscheides angefochten und welche Abänderungen beantragt werden, wobei Anträge betreffend Geldforderungen zu beziffern sind (<ref-ruling> E. 2). Bei der Beurteilung, ob ein genügender Antrag vorliegt, stellt das Gericht nicht nur auf die förmlich gestellten Anträge, sondern auch auf die Begründung ab. Ergibt sich daraus zweifelsfrei, welches Urteil vom Bundesgericht begehrt wird, ist von einem entsprechenden Antrag auszugehen (<ref-ruling> E. 1.4.1 S. 414 f.; <ref-ruling> E. 4 S. 122; <ref-ruling> E. 1.2 S. 135 f.).
1.3 Die Beschwerdeführerin ersucht in ihrer Beschwerde um Kürzung des von der Vorinstanz zuerkannten Betrages von Fr. 594'321.25 um Fr. 578'595.32. Damit liegt ein reformatorischer Antrag vor.
2. 2.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4). Wird Willkür in der Ermittlung des Sachverhalts geltend gemacht, ist zu beachten, dass dem Sachrichter in der Beweiswürdigung ein breiter Ermessensspielraum zusteht. Die beschwerdeführende Partei hat daher darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich ausser Acht gelassen habe (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Überdies ist in der Beschwerde darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2).
2.2 Auf die Beschwerde ist nicht einzutreten, soweit die Beschwerdeführerin damit vom vorinstanzlich festgestellten Sachverhalt abweicht, ohne eine substanziierte Sachverhaltsrüge zu erheben (<ref-ruling> E. 1.4.3, 396 E. 3.1 S. 399). Dies trifft auf die Rüge zu, die Vorinstanz verkenne, dass die eingeklagten Mehrkosten nicht auf die angeblich hohen Spülverluste und das angeblich fehlerhafte Geologieprofil zurückzuführen seien.
2.3 Die Behauptungen der Beschwerdeführerin, der für 43 Tage in Rechnung gestellte Blowout-Preventer (BOP) sei nur für 22 Tage erforderlich gewesen, und die Beschwerdegegnerin habe in ihrer Rechnung vom 27. Dezember 2006 Leistungen, welche nicht Materiallieferungen und Transporte im Sinne der allgemeinen Offertbedingungen betreffen, mit einem Zuschlag von 25 % belegt, finden im angefochtenen Urteil keine Stütze. Da die Beschwerdeführerin nicht mit Aktenangaben belegt, diese Behauptungen bereits im vorinstanzlichen Verfahren vorgebracht zu haben, kann sie damit und den darauf aufbauenden Rügen nicht gehört werden.
3. Die Beschwerdeführerin rügt, das Gleichbehandlungsgebot gemäss <ref-law> sei durch das Handelsgericht verletzt worden, indem es ihren Präsidenten A._ - anders als B._ von der Beschwerdegegnerin - nicht zu streitigen Themen als Partei einvernommen habe.
Die Rüge ist gegenstandslos geworden, da notorisch und von der Beschwerdeführerin auch anerkannt ist, dass A._ zwischenzeitlich verstorben ist und damit nicht mehr einvernommen werden könnte. Im Übrigen wäre die Rüge ungenügend begründet, weil die Beschwerdeführerin nicht angibt, zu welchen Behauptungen sie die Einvernahme von A._ beantragt hatte.
4. Weiter rügt die Beschwerdeführerin, die Feststellung des Handelsgerichts, der zeitliche Umfang der Pumpversuche sei bestritten worden, sei aktenwidrig und damit offensichtlich unrichtig im Sinne von <ref-law>.
Die von der Beschwerdeführerin angerufenen Aktenstellen betreffen jedoch nicht Bestreitungen des zeitlichen Umfangs der Pumpversuche, sondern deren Genehmigung bzw. Absprache mit der Bauleitung, weshalb die Rüge unbegründet ist.
5. Das Handelsgericht kam zum Ergebnis, bezüglich der Frage, ob die Parteien einen Festpreis vereinbart hätten, habe der wirkliche Wille der Parteien nicht ermittelt werden können.
Die Beschwerdeführerin macht geltend, aus dem nachträglichen Verhalten der Parteien ergebe sich, dass diese einen Festpreis gewollt hätten. So habe die Beschwerdeführerin nach der letzten Zahlung am 30. Januar 2007 den Standpunkt vertreten, sie schulde nichts mehr. Zudem habe sie die ihr vorgelegten Tagesrapporte nicht unterzeichnet und sei dazu seitens der Beschwerdegegnerin auch nicht gedrängt worden. Damit zeigt die Beschwerdeführerin jedoch nicht rechtsgenüglich auf, inwieweit die Vorinstanz bei der Ermittlung des Willens der Beschwerdegegnerin in Willkür verfallen sein soll (vgl. E. 2 hiervor).
6. 6.1 Vertragliche Vereinbarungen sind, wenn ein übereinstimmender wirklicher Parteiwille nicht ermittelt werden kann, aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen, die ihnen vorausgegangen und unter denen sie abgegeben worden sind, verstanden werden durften und mussten (<ref-ruling> E. 4 S. 27 f.; <ref-ruling> E. 4.1. S. 611). Das Bundesgericht überprüft die objektivierte Auslegung nach dem Vertrauensprinzip als Rechtsfrage, wobei es an die Feststellungen der kantonalen Gerichte über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>; <ref-ruling> E. 2.2.1 S. 67 mit Hinweisen).
6.2 Bei Werkverträgen wird von Einheitspreisen gesprochen, wenn die Vergütung für eine Einzelleistung nach der Menge der vom Unternehmer geleisteten Einheit, multipliziert mit dem dazugehörigen Preis, bestimmt wird. Die Menge der Einheiten wird dabei je nach dem Inhalt des Werkvertrages nach dem tatsächlich erbrachten oder dem plangemässen theoretischen Ausmass ermittelt (Urteil 4C.385/2005 vom 31. Januar 2006 E. 6 mit Hinweis). Sind in einem Werkvertrag für alle Leistungen oder zumindest einen Teil davon Einheitspreise vereinbart, wird er als "Einheitspreisvertrag" bezeichnet. Solche Verträge enthalten in der Regel ein in den Vertrag integriertes Leistungsverzeichnis, in dem die Leistungspositionen mit der voraussichtlichen Menge der Leistungseinheiten multipliziert werden, welche allenfalls zusammen mit Pauschalpreisen zu einer Gesamt- bzw. Hauptsumme addiert werden (PETER GAUCH, Der Werkvertrag, 5. Aufl. 2011, S. 383 Rz. 931; vgl. auch Urteil 4C.385/2005 vom 31. Januar 2006 E. 6).
6.3 Zur Auslegung des Werkvertrags nach dem Vertrauensprinzip führte das Handelsgericht aus, da der Vertrag zwischen Pauschalpreisen, Einheitspreisen nach Ausmass sowie Regiearbeiten nach Aufwand unterscheide, könne die Hauptsumme kein Festpreis sein. Die Offerte der Beschwerdegegnerin habe auf der von der Beschwerdeführerin in Auftrag gegebenen geologischen Prognose basiert, welche aufgrund fehlender Vergleichsbohrungen in der näheren Umgebung mit erheblichen Unsicherheiten behaftet gewesen sei. Die Beschwerdeführerin habe daher nicht davon ausgehen dürfen, die gestützt auf diese Prognose ermittelten Mengenangaben seien verbindlich, zumal die von ihr gegengezeichnete Auftragsbestätigung festhalte, dass das entsprechende Bohr- und Verrohrungsschema lediglich Richtangaben enthalte. Gegen einen Festpreis spreche auch, dass die Beschwerdeführerin auf zusätzliche Kosten für die Abdichtung der Kluft und die entsprechenden Folgekosten hingewiesen worden sei. Zusätzliche Arbeiten seien immer erst nach Freigabe durch die Beschwerdeführerin vorgenommen worden.
6.4 Die Beschwerdeführerin wendet ein, die Vorinstanz habe nicht berücksichtigt, dass der Passus in der Auftragsbestätigung vom 19. Juli 2006, wonach das Bohr- und Verrohrungsschema nur Richtangaben enthalte, eine einseitige nachträgliche Änderung des ursprünglichen Werkvertrages vom 6./13. Juli 2006 darstelle, in welchem sich keine derartige Einschränkung finde.
Damit übersieht die Beschwerdeführerin, dass sie unterschriftlich bestätigte, mit der "Auftragsbestätigung" vom 19. Juli 2006 einverstanden zu sein und sie diese damit zum Bestandteil des Vertrages erhob.
6.5 Weiter bringt die Beschwerdeführerin vor, sie habe eine klare Kostengrenze gebraucht, da unsicher gewesen sei, ob überhaupt Wasser gefunden würde. In der Offerte seien sämtliche Zwischensummen mit dem Begriff "Total" versehen, was ein Indiz für einen Festpreis darstelle. Die Beschwerdeführerin habe auch deshalb auf einen solchen Preis vertraut, weil sie davon ausgegangen sei, die Beschwerdegegnerin habe aufgrund ihrer Erfahrung und Fachkunde und des Beizugs eines Ingenieurs und eines Geologen die Kosten genau abschätzen können. Sodann sei aus der Angabe in der Bestätigung vom 19. Juli 2007, das Fündigkeits- und Temperaturrisiko liege vollumfänglich bei der Bauherrschaft, der Umkehrschluss zu ziehen, dass sämtliche anderen Kostenrisiken bei der Beschwerdegegnerin lägen. Daran könne der Hinweis des Handelsgerichts auf die von der Beschwerdeführerin gemäss den allgemeinen Geschäftsbedingungen zu tragenden Risiken nichts ändern, weil diese durch die Regelung zum "Fündigkeits-und Temperaturrisiko" abbedungen worden seien.
6.6 Daraus, dass die Beschwerdeführerin das Risiko zu tragen hatte, dass kein oder nur kaltes Grundwasser gefunden wird, kann indessen nicht abgeleitet werden, die Beschwerdegegnerin trage alle übrigen Risiken einer Tiefenbohrung. So hatte die Beschwerdeführerin gemäss Ziff. 1.6.2 des Werkvertrages die Zementation in Verlustzonen zu bezahlen und damit das entsprechende Risiko zu tragen. Dies war für die Beschwerdeführerin auch ohne Berücksichtigung der allgemeinen Offertbedingungen erkennbar, weshalb unerheblich ist, ob sie insoweit über ein Fachwissen verfügte. Einer Entschädigung nach plangemässem Ausmass stand sodann entgegen, dass das Bohr- und Verrohrungsschema nur Richtangaben enthielt. Zudem widerlegt die Beschwerdeführerin die vorinstanzliche Feststellung nicht, dass die geologische Prognose mit erheblichen Unsicherheiten verbunden war. Die Beschwerdeführerin musste daher davon ausgehen, die Leistungen, für welche der Werkvertrag Einheitspreise vorsah, seien entsprechend den tatsächlich geleisteten Mengen zu bezahlen. Daran vermag nichts zu ändern, dass im Werkvertrag die einzelnen Einheitspreise addiert wurden, wie dies bei Einheitspreisverträgen häufig vorkommt. Unerheblich ist schliesslich, ob sich die Beschwerdegegnerin bei der Erstellung der Offerte verkalkuliert hat, wie dies die Beschwerdeführerin behauptet.
Aus dem Gesagten folgt, dass das Handelsgericht das Vertrauensprinzip nicht verletzte, wenn es annahm, die Beschwerdeführerin habe nach Treu und Glauben nicht von einem Festpreis ausgehen dürfen.
7. 7.1 Die Vorinstanz erwog, da im vorliegenden Werkvertrag die angegebenen Mengen nicht verbindlich seien und aufgrund der vom Unternehmer tatsächlich geleisteten Einheiten abgerechnet werde, komme der errechneten Gesamtsumme nicht einmal die Bedeutung eines ungefähren Kostenansatzes zu.
7.2 Die Beschwerdeführerin macht demgegenüber geltend, da der Werkvertrag vom 13. Juli 2006 eine detaillierte und präzise Kostenkalkulation aufweise, liege ein ungefährer Kostenansatz im Sinne von <ref-law> vor. Davon dürfe nur im Umfang von 10 - 20 % abgewichen werden, wobei der Richter nach seinem Ermessen unter Berücksichtigung der Umstände des Einzelfalls zu entscheiden habe.
7.3 <ref-law> mit der Marginalie "Rücktritt wegen Überschreitung des Kostenansatzes" lautet:
"1 Wird ein mit dem Unternehmer verabredeter ungefährer Ansatz ohne Zutun des Bestellers unverhältnismässig überschritten, so hat dieser sowohl während als nach der Ausführung des Werkes das Recht, vom Vertrag zurückzutreten.
2 Bei Bauten, die auf Grund und Boden des Bestellers errichtet werden, kann dieser eine angemessene Herabsetzung des Lohnes verlangen oder, wenn die Baute noch nicht vollendet ist, gegen billigen Ersatz der bereits ausgeführten Arbeiten dem Unternehmer die Fortführung entziehen und vom Vertrage zurücktreten."
Ein ungefährer Kostenansatz gemäss <ref-law> liegt vor, wenn der Unternehmer dem Besteller eine Kostenschätzung im Sinne eines Richtpreises abgegeben hat und dieser Kostenvoranschlag bei Vertragsschluss als Geschäftsgrundlage diente (<ref-ruling> E. 5.1.2 S. 29; <ref-ruling> E. 3; je mit Hinweisen). Sind die Einzelleistungen des Unternehmers zu einem Einheitspreis zu entschädigen und die Mengeneinheiten geschätzt worden, so kann die daraus folgende Gesamt- bzw. Hauptsumme je nach den konkreten Umständen einen ungefähren Kostenansatz darstellen (ZINDEL/PULVER, in: Basler Kommentar, OR I, 5. Aufl. 2011, N. 6 zu Art. 375; THOMAS TWERENBOLD, Der "unverbindliche" Kostenvoranschlag beim Werkvertrag - zur rechtlichen Tragweite von <ref-law>, 2001, S. 56 f. Rz. 114; BERNARD CORBOZ, Werkvertrag, IV, Werklohn, in: SJK Nr. 461, 1981, S. 6 f.; vgl. auch BGE 29 II 538 E. 4 S. 543 f.; a.M. GAUCH, a.a.O., S. 383 Rz. 931 und S. 406 Rz. 1000). Im Zweifelsfall ist mittels Auslegung zu ermitteln, ob die Gesamtsumme eine Kostenschätzung darstellt, auf die der Besteller vertrauen durfte (ZINDEL/PULVER, a.a.O., N. 7 zu <ref-law>; TWERENBOLD, S. 62 Rz. 126; vgl. auch <ref-ruling> E. 5.1.2 S. 30). Dabei ist zu berücksichtigen, inwieweit der Besteller die Ungenauigkeit der Schätzung erkennen konnte (vgl. BGE <ref-ruling> E. 3b und c S. 462 f.).
7.4 Im vorliegenden Fall beruhte die Offerte der Beschwerdegegnerin auf einer von der Beschwerdeführerin in Auftrag gegebenen geologischen Prognose, welche mit erheblichen Unsicherheiten verbunden war. Dieses Risikopotenzial musste der Beschwerdeführerin klar sein, zumal sie wusste, dass sogar unsicher war, ob an der Bohrstelle überhaupt Grundwasser vorhanden war. Zudem ist allgemein bekannt, dass Bohrungen im Erdinneren aufgrund der unterschiedlichen geologischen Gegebenheiten mit schwer vorhersehbaren Risiken verbunden sind und deshalb Tunnelbauten häufig wesentlich teurer zu stehen kommen, als ursprünglich geplant. Unter diesen Umständen musste die Beschwerdeführerin aufgrund der ihr bekannten Risiken einer Tiefenbohrung mangels anderslautenden Zusicherungen seitens der Beschwerdegegnerin damit rechnen, dass beim Auftauchen von Schwierigkeiten sowohl die vorgesehene Dauer als auch das erforderliche Material im Vergleich zur Offerte erheblich überschritten werden könnten. Die Offerte sah denn auch Bohrlochtests für Fr. 550.-- pro Sunde und den Stillstand der Bohranlage gemäss Absprache mit der Bauleitung für Fr. 550.-- pro Stunde als unbestimmte Eventualpositionen vor, was auf mögliche erhebliche Mehrkosten schliessen lässt. Unter diesen Umständen konnte die in der Offerte bestimmte Gesamtsumme nicht in guten Treuen als Geschäftsgrundlage betrachtet werden, weshalb das Handelsgericht kein Bundesrecht verletzte, wenn es einen ungefähren Kostenansatz gemäss <ref-law> verneinte.
Die wegen der Überschreitung eines solchen Ansatzes von der Beschwerdeführerin verlangte Reduktion einzelner Rechnungsposten ist daher abzulehnen.
8. 8.1 Die Vorinstanz erwog, bei den Kurztests von Ende Oktober und Ende November 2006 mittels Lufthebeverfahren zur Ermittlung des approximativen Zuflusses habe es sich gemäss dem hydrogeologischen Bericht nicht um Fördertests im Sinne von Ziff. 2 des Werkvertrags gehandelt. Da im Leistungsverzeichnis das Lufthebeverfahren nicht enthalten gewesen seien, habe die Beschwerdegegnerin die Kosten für die dafür notwendige Miete des Hochdruckkompressors und dessen An- und Abtransport separat als Regiearbeit mit einem Zuschlag von 25 % gemäss den allgemeinen Offert-Bedingungen in Rechnung stellen dürfen (kläg. act. 26 Beleg 2).
8.2 Die Beschwerdeführerin macht auch vor Bundesgericht geltend, die in Rechnung gestellten Kosten für den Transport und die Miete des Kompressors und Hochdruckkompressors seien in der Pauschale zum Fördertest inbegriffen.
8.3 Die Beschwerdeführerin begründet jedoch nicht, weshalb sie entgegen der Meinung der Vorinstanz davon ausgehen durfte, die in Ziff. 2 des Werkvertrages genannten Fördertest umfassten auch Kurztests im Lufthebeverfahren, was auch nicht ersichtlich ist.
9. Die Vorinstanz erläuterte, weshalb die Bohranlage für die Vorbereitung von Fördertests, während der Reparatur der Unterwasserpumpe, zur Entwässerungs- und Frostsicherheitsarbeiten und für den Ausbau der Unterwasserpumpe im Januar 2007 zu gewissen Zeiten im Betrieb oder Stand-by-Betrieb war.
Die Beschwerdeführerin rügt, diese Ausführungen gingen an der Sache vorbei, weil die Bohranlage spätestens ab dem 16. November 2006 nicht mehr nötig gewesen sei.
Damit übt die Beschwerdeführerin appellatorische Kritik am angefochtenen Urteil, zumal sie an anderer Stelle einräumt, dass die Bohranlage allenfalls bis zur Fertigstellung der Zementbrücke am 2. Februar 2007 erforderlich war und sie nicht darlegt, weshalb ein nachträglicher Einsatz der Bohranlage namentlich beim Einbau der Filterrohre ausgeschlossen werden konnte.
10. Nach dem angefochtenen Urteil hat die Beschwerdeführerin nicht ausreichend substanziiert dargelegt, inwiefern die Kosten für die Vorbereitung des Fördertests, die Entwässerungs- und Sicherheitsarbeiten sowie den Ausbau der Unterwasserpumpe bereits pauschal abgegolten sein sollten, bzw. die Beschwerdegegnerin die entsprechenden Risiken selbst zu tragen habe. Jedoch gehe die Arbeitsunterbrechung aufgrund des Pumpendefekts vom 11./12. Januar 2007 zulasten der Beschwerdegegnerin, da dieser Defekt in ihre Risikosphäre falle.
Die Beschwerdeführerin wendet ein, Arbeiten an einer Bohranlage lägen im Risikobereich des Unternehmers, der diese Anlage bediene. Es sei nicht ersichtlich, was bei der klaren gesetzlichen Risikoverteilung substanziiert dargelegt werden müsse.
Mit diesen allgemeinen Ausführungen zeigt die Beschwerdeführerin nicht auf, welche Pauschale des Werkvertrages die von der Vorinstanz genannten Leistungen erfassen soll.
11. Die Vorinstanz wies die von der Beschwerdegegnerin verrechnungsweise erhobene Schadenersatzforderung wegen Nichterreichung der Bohrtiefe von 1500 Metern ab, weil eine solche Tiefe vertraglich nicht vereinbart worden sei. Im Übrigen habe die Beschwerdeführerin selbst den Abbruch der Bohrung auf einer Tiefe von 1369 Metern angeordnet oder ihm zumindest konkludent zugestimmt, da ein Weiterbohren nur bei einer definitiven Schliessung der bereits gefundenen Kluft möglich gewesen wäre. Damit habe die Beschwerdeführerin die Nichterreichung der Bohrtiefe von 1500 selbst zu verantworten.
Die Beschwerdeführerin macht geltend, sie habe die Nutzung der Kluft bei Horizont 856 erst genehmigt, nachdem ihr die Beschwerdegegnerin mitgeteilt habe, ein Weiterbohren sei unter den gegebenen Umständen nicht möglich.
Mit dieser Behauptung weicht die Beschwerdeführerin jedoch ohne eine substanziierte Sachverhaltsrüge von den vorinstanzlichen tatsächlichen Feststellungen ab, weshalb auf die darauf aufbauende Rüge nicht eingetreten werden kann (vgl. E. 2 hiervor). Damit bleibt die Eventualbegründung, welche auf der Zustimmung zum Abbruch der Bohrungen beruht, unangefochten, weshalb auf die Kritik der Beschwerdeführerin an der Hauptbegründung mangels Entscheiderheblichkeit nicht einzutreten ist.
12. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des bundesgerichtlichen Verfahrens wird die Beschwerdeführerin dafür kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'500.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 9'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 3. Dezember 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer