Sachverhalt: A. B._ (Beschwerdegegnerin) erteilte am 10. März 1994 A._ (Beschwerdeführer) eine General-Vollmacht bezüglich der Liegenschaften an der X._-Strasse 2, 4, 6 und 17 in Pfäffikon/SZ, insbesondere zum Abschluss von Kaufverträgen sowie zur Errichtung von Hypotheken. Die Beschwerdegegnerin hat Wohnsitz in Brasilien und ist der deutschen Sprache nicht mächtig, weshalb die Kontakte über ihren Vater liefen. Am 31. März 1994 unterzeichnete der Beschwerdeführer einen Kaufvertrag, mit welchem die Beschwerdegegnerin die ihr zugedachten Mehrfamilienhäuser zum Preis von pauschal Fr. 14'300'000.-- erwarb. Die Ehefrau des Beschwerdeführers erwarb eine weitere Liegenschaft aus demselben Komplex zu einem Kaufpreis von Fr. 4'300'000.--. Die Beschwerdegegnerin nahm bei C._ (Darlehensgeber), der den Auftrag zum Verkauf der Liegenschaften erhalten, beziehungsweise (gemäss den Ausführungen des Beschwerdeführers) diese verwaltet hatte, am 31. März 1994 ein Darlehen über Fr. 3'300'000.-- auf und beglich den Kaufpreis im Übrigen, indem sie eine Hypothek bei der Bank D._ aufnahm. Am 2. Mai 1994 zahlte sie dem Darlehensgeber das Darlehen mit Zins durch Überweisung von Fr. 3'312'000.-- zurück. Im Zusammenhang mit dem Kaufvertrag überwies die Beschwerdegegnerin dem Beschwerdeführer am 31. März 1994 Fr. 800'000.--. B. Mehrere Jahre nach Abschluss der Verträge überprüfte die Schwester der Beschwerdegegnerin die Geschäfte mit dem Beschwerdeführer und forderte ihn auf, über die Fr. 800'000.-- Rechenschaft abzulegen. Am 25. Oktober 1999 erteilte die Beschwerdegegnerin ihrer Schwester schliesslich eine Generalvollmacht. Die Beschwerdegegnerin ist der Auffassung, der Betrag hätte an den Kaufpreis angerechnet werden müssen. Darüber hinaus beanstandete sie, die Aufteilung des Kaufpreises zwischen ihr und der Ehefrau des Beschwerdeführers sei abredewidrig nicht zu gleichen Konditionen erfolgt. Berechnet nach den erzielbaren Mietzinseinnahmen führe dies zu einer Benachteiligung von Fr. 20'780.--. Der Beschwerdeführer behauptet demgegenüber, die Fr. 800'000.-- in Absprache mit dem Vater der Beschwerdegegnerin als Vermittlungsprovision an einen deutschen Rechtsanwalt bezahlt zu haben. Aus Schreiben der Bank D._ hätte die Beschwerdegegnerin in der Tat erkennen können, dass keine Anrechnung erfolgt war. C. Mit Eingabe vom 6. Juni 2002 verlangte die Beschwerdegegnerin vor dem Bezirksgericht Höfe vom Beschwerdeführer Fr. 800'000.-- und Fr. 20'780.--, jeweils nebst Zins. Das Bezirksgericht wies die Klage ab. Der Betrag von Fr. 20'780.-- ergebe sich aus einer zulässigen Rundung der Kaufpreise. Das Bezirksgericht hielt auch für erstellt, dass die Zahlung einer Provision von Fr. 800'000.-- vereinbart und mit dem Vater der Beschwerdegegnerin abgesprochen gewesen sei. Auf kantonale Berufung der Beschwerdegegnerin schloss sich das Kantonsgericht des Kantons Schwyz bezüglich der Fr. 20'780.-- der Auffassung des Bezirksgerichts an. Dagegen hielt es für erwiesen, dass zwischen den Parteien tatsächlich keine Bezahlung einer Provision an einen Dritten vereinbart worden war, weshalb es den Beschwerdeführer zur Rückerstattung der Fr. 800'000.-- nebst Zins verpflichtete. D. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts aufzuheben und die Klage abzuweisen. Die Beschwerdegegnerin und das Kantonsgericht schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist.