Sachverhalt:
A. Am 15. November 2007 schlossen die X._ AG (Beschwerdeführerin) und die Z._ mbH als Verkäuferinnen mit der Y._ (Beschwerdegegnerin) als Käuferschaft einen Vorvertrag, in welchem sich die Vertragsparteien bis spätestens 31. März 2008 zum Abschluss von zwei Kaufverträgen verpflichteten. Der von der Beschwerdeführerin als Verkäuferin zu schliessende Vertrag betraf die Liegenschaft Q._ in R._. Vom Kaufpreis für die Liegenschaft einschliesslich Hotelinventar und Mobiliar ohne Restaurantinventar von EUR 18'710'000.-- waren EUR 250'000.-- bereits bezahlt. EUR 2'900'000.-- sollten am 19. November 2007 der Verkäuferschaft überwiesen werden. Dieser Betrag diente ausschliesslich dem Rückkauf einer auf dem Kaufobjekt begründeten und veräusserten Stockwerkeinheit, damit die gesamte Liegenschaft übernommen werden könnte. Ein weiterer, noch festzusetzender Betrag sollte zur Sicherstellung der Wertzuwachssteuern dem Notar überwiesen werden, der Restbetrag der Verkäuferin, beides Zug um Zug, gegen den Grundbucheintrag des Kaufvertrages. Die letzten beiden Kaufpreisraten waren bis spätestens fünf Tage vor Unterzeichnung des Kaufvertrages mit unwiderruflichen Zahlungsversprechen von der Käuferin sicherzustellen. Die Höhe der Wertzuwachssteuern hatte die Beschwerdeführerin bis spätestens am 28. Februar 2008 durch die Steuerverwaltung ermitteln zu lassen und betragsmässig in den Kaufvertrag aufzunehmen. In Ziff. IV/2.1 des Vorvertrages vereinbarten die Parteien, die Beschwerdeführerin habe der Beschwerdegegnerin die Anzahlung von EUR 2'900'000.-- zurückzuerstatten, sofern das Zustandekommen oder der Vollzug der Kaufverträge daran scheitern sollte, dass die Verkäuferin die heute nicht in ihrem Eigentum stehende Wohnung nicht zurückkaufen könne.
B. Am 19. März 2008 teilte der Rechtsberater der Beschwerdegegnerin dem Verwaltungsratspräsidenten der Beschwerdeführerin mit, er werde am Freitag in R._ sein, und er bat um die notwendigen Informationen, um alles für die ausstehenden Zahlungen vorbereiten zu können. Er müsse wissen, ob die sich im Stockwerkeigentum befindliche Wohnung zurückgekauft worden sei und das vollständige Eigentum erworben werden könne und wie hoch der Betrag für die Steuerbehörde sei. Gleichentags antwortete der Verwaltungsratspräsident in einer E-Mail, er wisse seit dem Morgen, dass er die kleine Wohnung im Haus nicht kaufen könne. Der Eigentümer wolle nicht verkaufen, er wisse nicht warum. Damit hätten sie zwei Möglichkeiten: Entweder die Liegenschaft zu einem um EUR 2'500'000.-- geringeren Preis als vereinbart ohne die fragliche Wohnung zu erwerben oder aber auf einen Kauf zu verzichten unter Rückzahlung des Betrags von EUR 2'900'000.--. Das Steuerproblem werde am nächsten Tag erledigt werden. Der Verwaltungsratspräsident erbat eine Rückmeldung, was die Beschwerdegegnerin zu tun gedenke, entschuldigte sich für die ganze Angelegenheit und fügte an, alles getan zu haben, um die Wohnung zurückkaufen zu können. Daraufhin eröffnete die Beschwerdegegnerin der Beschwerdeführerin mit Schreiben vom 25. März 2008, sie trete von den vereinbarten Käufen zurück, da die Gegenpartei die vertraglichen Abmachungen verletzt habe und ausser Stande sei, die eingegangenen Verpflichtungen zu erfüllen.
C. Da sich die Parteien über die Rückabwicklung des Vorvertrages nicht einigen konnten, verlangte die Beschwerdegegnerin von der Beschwerdeführerin Fr. 7'001'659.50 nebst Zins als Rückzahlung der geleisteten Anzahlungen von EUR 250'000.-- und EUR 2'900'000.-- und Schadenersatz. Sowohl das Bezirksgericht Maloja als auch das Kantonsgericht von Graubünden hiessen die Klage übereinstimmend teilweise gut. Das Kantonsgericht brachte im Vergleich zum Bezirksgericht eine geringfügige Korrektur bezüglich des Schadenpostens für Übersetzungskosten an, den es nicht als nachgewiesen erachtete, und sprach der Beschwerdegegnerin Fr. 5'141'656.10 nebst Zins zu.
D. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin im Wesentlichen, die Klage abzuweisen. Ihr Gesuch um aufschiebende Wirkung wies das Bundesgericht ab, ebenso wie den Antrag der Beschwerdegegnerin, die aufschiebende Wirkung gegen Sicherstellung des geschuldeten Betrages zu gewähren. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, während das Kantonsgericht auf Vernehmlassung verzichtet.

Erwägungen:
1. Die Vorinstanz ging davon aus, die Beschwerdegegnerin habe aufgrund der E-Mail des Verwaltungsratspräsidenten der Beschwerdeführerin vom 19. März 2008 davon ausgehen dürfen, diese sei definitiv nicht in der Lage ihren Pflichten gemäss Vorvertrag nachzukommen. Die Behauptung, der Rückkauf sei letztlich am noch fehlenden Zahlungsversprechen der Beschwerdegegnerin als Voraussetzung für ein höheres Preisangebot für den Rückkauf der Wohnung gescheitert, wies die Vorinstanz als Schutzbehauptung zurück, zumal den Akten nicht zu entnehmen sei, dass die Beschwerdeführerin je auf einen entsprechenden Zusammenhang hingewiesen hätte. Die Beschwerdegegnerin sei auch nicht über das Mass der Wertzuwachssteuern informiert gewesen, so dass sie den entsprechenden Pflichten nicht habe nachkommen können. Gestützt auf die E-Mail vom 19. März 2008 habe die Beschwerdegegnerin davon ausgehen dürfen, die Beschwerdeführerin werde ihren vertraglichen Pflichten nicht nachkommen und eine Mahnung oder die Ansetzung einer Nachfrist werde sich als unnütz erweisen. Folglich habe sie ohne Ansetzung einer Nachfrist nach <ref-law> rechtsgültig vom Vertrag zurücktreten können. Die Vorinstanz erkannte sodann, Ziff. IV/2.1 des Vorvertrages, gemäss welcher bei Unmöglichkeit des Rückkaufs die Anzahlung von EUR 250'000.-- bei der Verkäuferschaft verbleibe und nur die Anzahlung von EUR 2'900'000.-- der Käuferschaft zu erstatten war, regle nur die Folgen der unverschuldeten Leistungsunmöglichkeit. Dass die Beschwerdeführerin die Unmöglichkeit nicht zu vertreten habe, sei nicht nachgewiesen. Aufgrund von <ref-law> sei indessen die Beschwerdeführerin dafür beweispflichtig. Daher brachte die Vorinstanz Ziff. IV/2.1 des Vorvertrages nicht zur Anwendung, sondern beurteilte die geltend gemachten Ansprüche nach den allgemeinen Bestimmungen von <ref-law> insbesondere von <ref-law>.
2. Die Beschwerdeführerin hält auch vor Bundesgericht daran fest, die E-Mail vom 19. März 2008 habe lediglich der Information der Käuferschaft gedient und nicht bedeutet, bis zum 31. März 2008 hätte die Wohnung nicht erworben werden können, beziehungsweise die Beschwerdeführerin hätte kein Interesse mehr am Erwerb der Stockwerkeinheit und am Verkauf der gesamten Liegenschaft gehabt. Das Problem sei nur das Geld gewesen. Der Verwaltungsratspräsident habe davon ausgehen können, er werde rechtzeitig die Zahlungsversprechen erhalten und könne gestützt darauf ein höheres Angebot für die Wohnung unterbreiten. Da er der Beschwerdegegnerin die weitere Bedingung des Vorvertrages, den Nachweis der Gewinnsteuern, angeboten habe, habe die Beschwerdegegnerin nicht davon ausgehen können, die Beschwerdeführerin sei nicht gewillt, alles zu unternehmen, um bis zum 31. März 2008 den Vorvertrag doch noch zu erfüllen. Insbesondere im Zusammenhang mit der Aussage des Verwaltungsratspräsidenten werde ersichtlich, dass dieser auch nach Versendung der E-Mail alles unternommen habe, um den Eigentümer der Stockwerkeinheit zum Verkauf zu bewegen. Somit hätte gemäss Art. 107 - 109 OR eine Nachfrist angesetzt werden müssen. Zudem sei die Leistungserbringung auf einen genauen Termin befristet gewesen, so dass ein Vertragsrücktritt vor diesem Zeitpunkt ohnehin nicht zulässig sei. Die Beschwerdegegnerin habe nie bewiesen, dass die Beschwerdeführerin die Wohnung nicht habe zurückkaufen wollen und hätte dies auch aus der E-Mail nicht schliessen dürfen. Der Eigentümer der Stockwerkeinheit hätte nur durch ein höheres Preisangebot zum Verkauf bewegt werden können. Dafür sei die Beschwerdeführerin auf die entsprechenden Zahlungsversprechen angewiesen gewesen. Die Beschwerdeführerin ist der Auffassung, die Parteien hätten klar geregelt, was bei Nichtzustandekommen der Hauptverträge zu gelten habe, weshalb die Beschwerdegegnerin, selbst wenn sie zum Rücktritt berechtigt gewesen sein sollte, höchstens die Rückzahlung der EUR 2'900'000.-- verlangen könne.
2.1 Soweit die Beschwerdeführerin ausführt, die Beschwerdegegnerin hätte ihr eine Nachfrist ansetzen müssen oder vor Ablauf des im Vorvertrag genannten Termins nicht zurücktreten können, ist ihre Beschwerde offensichtlich unbegründet. In der E-Mail des Veraltungsratspräsidenten der Beschwerdeführerin vom 19. März 2008 wird festgehalten, welche Möglichkeiten verbleiben, nämlich der Kauf ohne die Stockwerkeinheit oder der Verzicht auf den Kauf. Von der Möglichkeit, nach Eingang der Zahlungsversprechen durch ein höheres Angebot den geplanten Rückkauf doch noch zu bewirken, ist nicht die Rede. Vielmehr wird behauptet, es sei alles getan worden, um die Wohnung zurückkaufen zu können. Nach Treu und Glauben durfte die Beschwerdegegnerin daraus schliessen, es bestehe definitiv keine Möglichkeit, den Kauf wie geplant abzuwickeln. Daran vermag der Hinweis auf die Erledigung der Steuerprobleme nichts zu ändern, da die Beschwerdegegnerin diesen auf die vorgeschlagene Variante des Kaufs ohne Wohnung zu einem tieferen Kaufpreis beziehen konnte. Insoweit ist der angefochtene Entscheid nicht zu beanstanden und die Rückforderung der EUR 2'900'000.-- ohne Weiteres gerechtfertigt. Der Verwaltungsratspräsident selbst hält dies in seiner E-Mail auch fest.
2.2 Weniger klar präsentiert sich die Sachlage bezüglich der darüber hinausgehenden Forderungen der Beschwerdegegnerin. Aus der E-Mail vom 19. März 2008 konnte die Beschwerdegegnerin mit Sicherheit ableiten, dass die von den Parteien in Ziff. IV/2.2 ins Auge gefasste Situation eintreten werde. Allein die Tatsache, dass sich der Kaufpreis ohne Wohnung lediglich um EUR 2'500'000.-- verringern sollte, könnte darauf schliessen lassen, die Beschwerdeführerin habe für den Rückkauf nicht die gesamten dafür vorgesehenen EUR 2'900'000.-- aufgewendet (was die Vorinstanz in tatsächlicher Hinsicht offen gelassen hat) und halte sich nicht an die vertraglichen Vereinbarungen. Die Vorinstanz ging gestützt auf <ref-law> davon aus, die Beschwerdeführerin trage die Beweislast dafür, dass sie kein Verschulden am Scheitern des Zustandekommens der Kaufverträge traf. Es ist aber zweifelhaft, ob insoweit <ref-law> einschlägig ist. Die von den Parteien in Ziff. IV/2.1 getroffene Regelung erhellt, dass sie sich der Unsicherheit des Rückkaufs der Wohnung bewusst waren und die Beschwerdeführerin nicht garantierte, sie werde die Wohnung erhältlich machen können. Sie war demnach vertraglich lediglich verpflichtet, sich hinreichend um den Rückkauf der Wohnung zu bemühen. Es fragt sich, ob nicht eher die Beschwerdegegnerin ein Verschulden der Beschwerdeführerin nachweisen müsste, wenn sie über die in Ziff. IV/2.1 geregelten hinausgehende Schadenersatzansprüche geltend machen wollte. Die Frage braucht indessen nicht vertieft behandelt zu werden. Die Beschwerdeführerin selbst geht davon aus, der Rückkauf hätte bewerkstelligt werden können, falls die Beschwerdegegnerin rechtzeitig die Zahlungsversprechen abgegeben hätte. Wenn die Beschwerdeführerin, statt die Beschwerdegegnerin auf diese Tatsache hinzuweisen, ihr die notwendigen Informationen zukommen zu lassen und die Zahlungsversprechen einzufordern mit einer E-Mail nach Treu und Glauben zu verstehen gibt, es bestehe definitiv keine Möglichkeit, die Stockwerkeinheit zurückzukaufen, hat sie sich objektiv nicht hinreichend um den Rückkauf bemüht und ihre vertraglichen Pflichten verletzt. Sie ist mithin aufgrund ihrer eigenen Angaben für das Scheitern des Abschlusses der im Vorvertrag geplanten Verträge verantwortlich, so dass die Vorinstanz die Forderungen der Beschwerdegegnerin zumindest im Ergebnis zu Recht nicht auf das gemäss Ziff. IV/2.1 des Vorvertrages Geschuldete beschränkt hat.
3. Da die Beschwerdeführerin die Schadensberechnung mit Ausnahme der Beschränkung auf das nach Ziff. IV/2.1 des Vorvertrages Geschuldete masslich nicht beanstandet, erweist sich die Beschwerde insgesamt als unbegründet und ist abzuweisen. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 25'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 30'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 15. August 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak