Sachverhalt:
A.
Die D._AG (Verkäuferin) war Eigentümerin des Hotels E._ in U._, das an die A._AG (Mieterin; Beschwerdeführerin) vermietet war, deren Anteile zu 100 % der Verkäuferin gehörten. Mit Kaufvertrag vom 30. Oktober 2012 erwarb die B._AG (Käuferin; Vermieterin; Beschwerdegegnerin) per 1. November 2012 das Hotel.
A.a. Am 25./26. Oktober 2012 schloss die Käuferin mit der Mieterin, die das Hotel und die Fahrzeughalle schon während Jahren betrieben hatte, einen bis 2032 befristeten Mietvertrag zu einem Anfangsmietzins von jährlich 2'370'000.-- zuzüglich MwSt, fällig jeweils per Monatsanfang. Im Ingress des Vertrages ist festgehalten, die Mieterin sei mit der Verkäuferin "konzernmässig verbunden". Die Mieterin verpflichtete sich im Mietvertrag, eine Bankgarantie über Fr. 2 Mio. zur Sicherstellung sämtlicher Ansprüche der Vermieterin aus dem Mietverhältnis zu stellen. Am 30. Oktober 2012 gab die Bank eine entsprechende Garantie ab, in der sie sich gegenüber der Vermieterin unwiderruflich verpflichtete: " Ihnen auf erstes Verlangen, ungeachtet der Gültigkeit und der Rechtswirkung des eingangs erwähnten Mietverhältnisses und unter Verzicht auf jegliche Einreden und Einwendungen aus demselben, jeden Betrag bis maximal CHF 2'000'000, Kapital, Zinsen und Nebenkosten eingeschlossen, zu bezahlen, gegen Ihre schriftliche Zahlungsaufforderung und Ihre schriftliche Bestätigung, dass die A._AG, [...], ihre unter dem Mietverhältnis vereinbarten Verpflichtungen nicht erfüllt hat. " Die Garantie war bis zum 31. Dezember 2032 gültig.
Der Mietvertrag hielt ferner fest, die Verkäuferin als Muttergesellschaft der Mieterin gebe eine Patronatserklärung für diese zur Sicherstellung der oben im Mietvertrag genannten Ansprüche für die Dauer von dessen Gültigkeit ab. Die Verkäuferin stellte am 31. Oktober 2012 zugunsten der Vermieterin eine entsprechende Patronatserklärung aus.
A.b. Am 2. Oktober 2013 wurde die Verkäuferin, die D._AG, in F._Ltd. umfirmiert und die ehemalige F._Ltd. wechselseitig in D._AG. Danach übernahm die Mieterin aufgrund eines Fusionsvertrages vom 8. November 2013 die Aktiven und Passiven der nunmehr als F._Ltd. firmierenden Verkäuferin, worauf diese im Handelsregister gelöscht wurde. Bereits am 4. Juli 2013 waren die bisherigen Mitglieder des Verwaltungsrates der Mieterin aus diesem ausgetreten. Die an ihre Stelle in den Verwaltungsrat gewählten Mitglieder schieden am 11. April 2014 ebenfalls aus, und es wurden am 17. April 2014 drei neue Mitglieder in den Verwaltungsrat der Mieterin gewählt. Hintergrund dieser Mutationen bildete ein Wechsel der Kontroll- und Beherrschungsverhältnisse.
A.c. Zwischen der Vermieterin und der unter neuer Führung stehenden Mieterin kam es im Frühjahr 2014 rasch zu Auseinandersetzungen, da die Mieterin den vertraglichen Mietzins als aus dem Betrieb nicht erwirtschaftbar erachtete, eine Anpassung auf ein wirtschaftlich tragbares Mass anstrebte und die Miete per 1. Mai 2014 nicht mehr bezahlte. Mit Schreiben vom 23. Mai 2014 kündigte die Vermieterin den Mietvertrag aus wichtigem Grund, wobei sie sich Schadenersatz und Mietzinsforderungen vorbehielt. Mit Schreiben vom 26. Mai 2014 beanspruchte sie bei der Bank den Garantiebetrag und berief sich auf einen Schadenersatzanspruch gegenüber der Mieterin, der Fr. 2 Mio. übersteige. Nachdem die Mieterin erfolglos versucht hatte, die Zahlung gerichtlich untersagen zu lassen, führte die Bank die Zahlung am 6. Juni 2014 aus und belastete diese dem Konto der Mieterin. Die Mieterin forderte die Garantie unter Abzug der nicht bezahlten Mietzinse zurück und erklärte vorsorglich die Verrechnung mit den zukünftig fällig werdenden Mietzinsen, die sie in der Folge ebenfalls nicht bezahlte. Die Kündigung focht sie beim Kreisgericht St. Gallen an. In der Folge einigten sich die Parteien auf eine nahtlose Weiterführung des Hotelbetriebs durch die Vermieterin und eine "faktische Rückgabe" des Mietobjekts per 31. Januar 2015. Von dieser Einigung nicht betroffen war die Frage der von der Vermieterin bezogenen Garantie und der Zulässigkeit der Verrechnung mit den Mietzinsen.
B.
Die Vermieterin führte vor dem Handelsgericht St. Gallen Klage und forderte von der Mieterin die ausstehenden Mietzinse ein. Sie erhöhte den eingeklagten Betrag im Verlaufe des Verfahrens, da weitere Mietzinsraten verfallen waren, und verlangte schliesslich je Fr. 213'300.-- zuzüglich Zins für die Monate Mai 2014 bis Januar 2015 sowie Rechtsöffnung in den für die ausstehenden Mietzinse eingeleiteten Betreibungen unter Nachklagevorbehalt für Schadenersatz. Die Mieterin verlangte widerklageweise Fr. 80'300.-- nebst Zins entsprechend der von der Vermieterin bezogenen Garantiesumme abzüglich der Mietzinse, für die sich die Mieterin auf Verrechnung berufen hatte. Am 22. März 2016 schützte das Handelsgericht die Klage und wies die Widerklage ab.
C.
Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde beantragt die Mieterin dem Bundesgericht im Wesentlichen, den Entscheid des Handelsgerichts aufzuheben, die Klage abzuweisen und die Widerklage zu schützen. Ihr Gesuch um Gewährung der aufschiebenden Wirkung wies das Bundesgericht mit Präsidialverfügung vom 18. August 2016 ab. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Handelsgericht auf Vernehmlassung verzichtet.

Erwägungen:
1.
Die Beschwerdeführerin betitelt ihre Eingabe an das Bundesgericht zwar als Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde. Sie legt aber selbst dar, dass die Voraussetzungen einer Beschwerde in Zivilsachen gegeben sind, was die subsidiäte Verfassungsbeschwerde ausschliesst (<ref-law>). Zu dieser äussert sie sich nicht weiter. Die Beschwerde ist daher allein als Beschwerde in Zivilsachen entgegenzunehmen.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2 S. 88 f.; <ref-ruling> E. 4.3.4 S. 241). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116).
1.2. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (vgl. <ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Unerlässlich ist dabei im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116 mit Hinweis).
2.
Die Vorinstanz liess offen, ob der Mietzins aus den Erträgnissen des Hotels erbringbar war. Da die Beschwerdeführerin das Hotel vor dem Vertragsschluss bereits während Jahren betrieben hatte, habe ihr bei Vertragsschluss bewusst sein müssen, welcher Mietzins noch tragbar war. Daher müsse sie sich beim vereinbarten Mietzins behaften lassen. Dass sie nicht mehr bereit war, den gesamten Mietzins zu bezahlen, erachtete die Vorinstanz nicht nur als wichtigen Grund für eine Kündigung im Sinne vom <ref-law> (zumal auch der Wegfall der Patronatserklärung zufolge Fusion geeignet gewesen sei, die Vertrauensgrundlage zwischen den Parteien zu zerstören), sondern auch als antizipierten Vertragsbruch, weshalb die Beschwerdegegnerin nach <ref-law> das positive Vertragsinteresse als Schadenersatz wegen Nichterfüllung verlangen könne. Die Frage nach der Fälligkeit der Ansprüche erübrige sich bei antizipierter Leistungsverweigerung, da diese ohne weiteres Schuldnerverzug auslöse. Die vorzeitige Rücknahme des Mietobjekts sei Teil der Schadenminderung und stehe Schadenersatzansprüchen nicht entgegen. Mit Blick auf die potentiellen Schwierigkeiten, einen Ersatzmieter zu finden, der den vollen Mietzins zahlt, und die lange Mietdauer, erachtete es die Vorinstanz als offensichtlich, dass der Gesamtschaden die Garantiesumme übersteige. Die Beschwerdegegnerin habe die Garantiesumme als Sicherheit für ihre Schadenersatzansprüche zumindest vorläufig einbehalten dürfen, sei es gestützt auf <ref-law> oder <ref-law> per analogiam. Da die Beschwerdegegnerin wählen könne, welche Ansprüche die Garantie sichern solle, hiess die Vorinstanz die Klage gut und wies die Widerklage ab.
3.
Die Beschwerdeführerin macht im Wesentlichen geltend, die Beschwerdegegnerin habe das Mietverhältnis mit Schreiben vom 23. Mai 2014 gestützt auf <ref-law> auf den 30. November 2014 gekündigt. Die Beschwerdeführerin habe die Kündigung angefochten. Das Mietverhältnis zwischen den Parteien sei aber nicht aufgrund der Kündigung aufgelöst worden. Vielmehr habe die Beschwerdeführerin die Mietsache im Rahmen einer einvernehmlichen Einigung am 31. Januar 2015 an die Beschwerdegegnerin übergeben. Das Mietverhältnis sei auf dieses Datum vorzeitig im gegenseitigen Einvernehmen aufgelöst worden. Entsprechend sei das Kreisgericht St. Gallen mangels Rechtsschutzinteresse weder auf die Klage der Beschwerdeführerin noch auf die Widerklage der Beschwerdegegnerin eingetreten. Die Beschwerdegegnerin habe am 26. Mai 2014 die Bankgarantie von Fr. 2 Mio. gezogen. Die Beschwerdeführeri n habe gegen die Auszahlung der gesamten Bankgarantie protestiert und erfolglos versucht, die Auszahlung zu verhindern, soweit sie die damals ausstehenden Mietzinse überstieg. Die Sicherheitsleistung sei vollumfänglich erbracht worden. Damit existiere keine Garantie/Sicherheit mehr. Die Beschwerdegegnerin müsse den Mittelzufluss gemäss vertraglicher Vereinbarung für ihre Ansprüche aus dem Mietvertrag verwenden. Könne sie dies nicht, sei ein allfälliger Mittelüberschuss an die Beschwerdeführerin zurückzuerstatten, zumal kein vertraglicher Anspruch auf Erstellung einer neuen Sicherheitsleistung bestehe. Zur Zeit der Auszahlung seien die beiden Mietzinse für die Monate Mai 2014 und Juni 2014 im Betrag von insgesamt Fr. 426'600.-- offen gewesen. Die Beschwerdeführerin habe einerseits Verrechnung zwischen der Garantieleistung und den Mietzinsen für die Monate Mai und Juni 2014 erklärt. Den Restbetrag der Garantiezahlung von Fr. 1'573'400.-- habe sie zurückgefordert beziehungsweise bei Nichtbezahlung die Verrechnung mit den laufend fällig werdenden Mietzinsen erklärt. Bei Beendigung des Mietverhältnisses per 31. Januar 2015 habe sich der Restbetrag der Garantiesumme unter Berücksichtigung der durch Verrechnung getilgten Mietzinse auf Fr. 80'300.-- belaufen. Dieser Betrag sei widerklageweise geltend gemacht worden. Die Vorinstanz sei davon ausgegangen, der Beschwerdegegnerin stehe ein Wahlrecht zu, auf welche Ansprüche aus dem Mietverhältnis sie die Garantie anrechnen wolle. Die Beschwerdeführerin macht geltend, für das Wahlrecht sei Voraussetzung, dass die Beschwerdegegnerin mehrere Ansprüche aus dem Mietverhältnis gegen die Beschwerdeführerin besitze. Soweit die Beschwerdegegnerin keinen beziehungsweise keinen fälligen Anspruch ausser der Mietzinsforderung habe, könne sie ihr Wahlrecht nicht ausüben. Die von der Beschwerdegegnerin geltend gemachten Schadenersatzansprüche auf Ersatz des positiven Vertragsinteresses könnten aber erst mit der einvernehmlichen Auflösung des Vertragsverhältnisses per 31. Januar 2015 entstehen.
Sodann ist die Beschwerdeführerin der Auffassung, das positive Vertragsinteresse der Beschwerdegegnerin sei in keiner Weise ausgewiesen. Die Vorinstanz habe bei ihrer Berechnung des Schadenersatzanspruchs der Beschwerdegegnerin nicht berücksichtigt, dass diese das Hotel selbst weitergeführt habe und der Schaden aufgrund der Ergebnisse berechnet werden müsse. Diesbezüglich lägen aber keine Angaben im Recht und die Beschwerdegegnerin habe auch keinen Beweisantrag auf eine gutachterliche Bestimmung der Höhe des Schadens gestellt.
4.
Mit der Bankgarantie verpflichtete sich die Bank gegen schriftliche Zahlungsaufforderung und die schriftliche Bestätigung, dass die Mieterin ihre unter dem Mietverhältnis vereinbarten Verpflichtungen nicht erfüllt habe, zur Leistung der Garantiesumme an die Vermieterin unter Verzicht auf jegliche Einreden und Einwendungen aus dem Mietverhältnis.
4.1. Die Bankgarantie sollte der Sicherstellung sämtlicher Ansprüche aus dem Mietvertrag dienen. Diesen Zweck kann sie nur erfüllen, wenn dafür gesorgt ist, dass die von der Vermieterin geltend gemachten Forderungen, falls sie tatsächlich bestehen, aus der Garantie gedeckt werden können. Anders als bei einem Mietzinsdepot, das auf ein Sperrkonto einbezahlt wird und auf das bei Uneinigkeit der Parteien nicht gegriffen werden kann, solange die Zahlungspflicht im Streit steht (<ref-law>), kann die Vermieterin zufolge des Einredeverzichts der Bank die Garantie abrufen, auch wenn ihre Forderungen von der Mieterin nicht anerkannt werden und noch nicht rechtskräftig beurteilt worden sind. Eine derartige Ausgestaltung stellt nicht nur (wie ein Mietzinsdepot) sicher, dass die Ansprüche der Vermieterin, falls sie ihr im Streitfall vom Gericht zugesprochen werden, im Betrag der Sicherheitsleistung gedeckt sind, sondern sie ermöglicht der Vermieterin, sofort auf den Betrag zu greifen, ohne dass sie dafür eine Betreibung oder einen Prozess anstrengen müsste. Es genügt die schriftliche Bestätigung der Vermieterin, dass die Mieterin " ihre unter dem Mietverhältnis vereinbarten Verpflichtungen nicht erfüllt hat. " Dass eine derartige Ausgestaltung der Garantie unzulässig wäre, behauptet die Beschwerdeführerin nicht, so dass auf diese Frage nicht einzugehen ist (vgl. E. 1.1 hiervor).
4.2. Die Beschwerdeführerin macht geltend, ausser den damals schon ausstehenden Mietzinsen seien allfällige Ansprüche der Beschwerdegegnerin im Moment, in dem diese die Sicherheit in Anspruch genommen hat, nicht fällig gewesen. Sie hat Verrechnung mit den von ihr geschuldeten Mietzinsen erklärt. Ihren Zweck, die geltend gemachten Ansprüche, für den Fall, dass sie bestehen, zu sichern und der Vermieterin die ihr zustehende Befriedigung nicht erst nach Beendigung des Prozesses zu verschaffen, kann die einmal bezogene Bankgarantie indessen nur erfüllen, wenn sie im Streitfall bei der Vermieterin verbleibt, bis über das Schicksal der geltend gemachten Ansprüche rechtskräftig entschieden ist. Die Verrechnung zielt aber darauf ab, die Sicherheit zur Tilgung anderer als der zu sichernden Ansprüche heranzuziehen. Das kann nur zulässig sein, wenn rechtskräftig feststeht, dass keine zu sichernden Ansprüche bestehen. Die Verrechnung mit laufenden Mietzinsen ist daher nicht zulässig, bevor rechtskräftig feststeht, dass die Forderungen, für welche die Garantie beansprucht wurde, tatsächlich nicht bestehen (und auch danach ist sie nur denkbar, wenn die Mieterin diesfalls die Rückzahlung an sich selbst verlangen kann und nicht verpflichtet ist, die Bankgarantie wiederherzustellen, welche Frage hier nicht vertieft werden muss). Sonst würde die Beschwerdegegnerin faktisch um die mit der Garantie im Vergleich zu einem Mietzinsdepot verbundenen Vorteile gebracht. Nur wenn offensichtlich wäre, dass keine zu sichernde Forderung existiert, erwiese sich bereits der Bezug der Garantie als schikanöse, nutzlose Rechtsausübung, die nach <ref-law> keinen Rechtsschutz beanspruchen könnte (<ref-ruling> E. 3.3 S. 531), und wäre die Verrechnung, falls die Beschwerdeführerin bei ungerechtfertigtem Bezug der Sicherheit Rückzahlung an sich selbst verlangen könnte, zulässig.
4.2.1. Es wäre an der Beschwerdeführerin, ein derart rechtsmissbräuchliches Verhalten der Beschwerdegegnerin beim Bezug der Sicherheit nachzuweisen. Von einem rechtsmissbräuchlichen Verhalten kann aber keine Rede sein, zumal die Beschwerdeführerin selbst behauptet hatte, der vertragliche Mietzins sei aus dem Betrieb nicht erwirtschaftbar. Trifft diese Behauptung zu, ändert die Selbstbewirtschaftung nichts daran, dass die Beschwerdegegnerin durch die vorzeitige Vertragsauflösung den von der Vorinstanz angenommenen Schaden erleiden kann, der die Garantiesumme übertrifft. Nicht massgebend ist, wie der Schaden im Einzelnen zu berechnen ist und ob die Beschwerdegegnerin den Schaden nachgewiesen und diesbezüglich Beweisanträge gestellt hat. Die Vermieterin ist nicht gehalten, ihren Schaden zu beweisen, damit sie die Garantie beanspruchen und sich der Verrechnung mit laufenden Mietzinsen widersetzen kann. Dass die Beschwerdeführerin sich nicht nur auf Verrechnung berufen, sondern auch Widerklage erhoben hat, ändert nichts, da in dieser - wie sich aus der Begrenzung auf den nach Durchführung der Verrechnung noch offenen Betrag ergibt - die Zulässigkeit der Verrechnung vorausgesetzt wird. Die Vorinstanz hat daher zu Recht lediglich entschieden, dass die Beschwerdegegnerin den Betrag aus der Bankgarantie vorläufig weiterhin als Sicherheit für den Schaden aus der vorzeitigen Kündigung beanspruchen kann, und nicht abschliessend geprüft, ob die Schadenersatzansprüche, für welche die Garantie bezogen wurde, tatsächlich bestehen. Ohnehin wäre eine Verknüpfung dieser Frage mit der Beurteilung einer von der Vermieterin angestrengten Klage über nicht durch die Sicherheit gedeckte Forderungen nur zulässig, wenn dadurch der Entscheid über diese nicht verzögert würde. Ansonsten wäre eine entsprechende Widerklage mit Blick auf den mit der Ausgestaltung der Garantie verfolgten Zweck vom Hauptverfahren zu trennen (<ref-law>).
4.2.2. Bezüglich der Fälligkeit der Schadenersatzforderung setzt sich die Beschwerdeführerin nicht rechtsgenüglich mit den zentralen Ausführungen der Vorinstanz auseinander, wonach eine antizipierte Leistungsverweigerung gegeben sei, die ohne weiteres Schuldnerverzug auslöse. Insoweit genügt die Beschwerde den Begründungsanforderungen nicht (vgl. E. 1.2 hiervor). Allein aus der Tatsache, dass sich die Parteien nachträglich auf eine Übergabe des Mietobjekts geeinigt haben, kann nicht abgeleitet werden, im Zeitpunkt des Garantiebezugs (als noch keine Einigung über die Rückgabe vorlag) hätten keine fälligen Schadenersatzansprüche bestanden. Insoweit ist auf die Beschwerde nicht einzutreten und bleibt es beim angefochtenen Entscheid. Damit kann offenbleiben, was die Folge wäre, wenn die Beschwerdegegnerin die Garantie vor Fälligkeit allfälliger Ansprüche bezogen hätte.
5.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 17'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 19'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 1. Dezember 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak