Sachverhalt:
A. Am 24. Januar 2000 eröffnete X._ (nachfolgend: Beklagter, Beschwerdeführer) bei der Bank Y._ (nachfolgend: Klägerin, Beschwerdegegnerin) ein Konto/Depot. Grundlage der vertraglichen Beziehung der Parteien war ein "Contract for the opening of an account and/or safekeeping account". Gleichentags unterzeichnete der Beklagte im Zusammenhang damit verschiedene Dokumente, so namentlich die Bedingungen der Klägerin für die Vermittlung von Optionskontrakten ("Conditions for Handling Options Contracts") und eine allgemeine Faustpfandverschreibung. Am 10. März 2000 vereinbarten die Parteien zusätzlich eine Kreditlimite über Fr. 100 Mio. Gestützt darauf tätigte der Beklagte bei der Klägerin insbesondere Kauf, Halten und Verkauf von Aktien sowie Options- und Fremdwährungsgeschäften.
Nachdem in der Konto-/Depotbeziehung eine Unterdeckung eingetreten war, forderte die Klägerin den Beklagten zur Nachschusszahlung ("margin call") bis zum 21. Februar 2001, 12.00 Uhr, auf. Da dieser der Aufforderung nicht nachkam, liquidierte die Klägerin seine Positionen am 21. Februar 2001. Sie ermittelte einen Sollsaldo auf seinem Kontokorrent von USD 1'649'040.02, inkl. Zinsen und Gebühren per 30. November 2001.
B. Mit Klage vom 22. April 2004 forderte die Klägerin vom Beklagten vor dem Bezirksgericht Zürich USD 1'649'040.02 nebst Zins. Der Beklagte erhob Widerklage auf Zahlung eines USD 20 Millionen übersteigenden Betrages nach richterlichem Ermessen nebst Zins. Er bestritt den Schuldsaldo nach Grund und Höhe und bezüglich jeder Einzelposition. Er machte im Wesentlichen geltend, dieser beruhe auf schlecht fixierten Liquidationskursen. Diese seien von der Klägerin arbiträr festgelegt worden. Sein Portfolio sei am 21. Februar 2001 positiv gewesen. Am 30. April 2008 wies das Bezirksgericht nach Durchführung eines Beweisverfahrens sowohl die Haupt- als auch die Widerklage ab.
Gegen dieses Urteil führte die Klägerin Berufung. Mit Beschluss vom 25. Februar 2009 nahm das Obergericht des Kantons Zürich davon Vormerk, dass das Urteil des Bezirksgerichts betreffend Abweisung der Widerklage in Rechtskraft erwachsen sei, und wies die Sache im Übrigen zur Ergänzung des Verfahrens an das Bezirksgericht zurück.
Das Bezirksgericht führte in der Folge ein weiteres Beweisverfahren durch und holte insbesondere ein Gutachten ein, das am 15. April 2011 erstattet wurde. Mit Urteil vom 20. Januar 2012 hiess es die Klage gut und verpflichtete den Beklagten zur Zahlung von USD 1'649'040.02 nebst Zins unter Kostenfolge. Die dagegen erhobene Berufung wies das Obergericht am 13. August 2012 ab und entschied gleich wie das Bezirksgericht.
C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts vom 13. August 2012 aufzuheben und die Klage abzuweisen. Eventualiter sei die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten ist, während das Obergericht auf Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von Art. 75 Abs. 1 und 2 BGG. Sodann übersteigt der Streitwert die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinlänglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - grundsätzlich auf die Beschwerde einzutreten.
1.2 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4 S. 400 mit Hinweis).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen, und der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 400).
1.3 Beruht der angefochtene Entscheid auf mehreren selbstständig tragenden Begründungen, die je für sich den Ausgang des Rechtsstreits besiegeln, so hat der Beschwerdeführer darzulegen, dass jede von ihnen Recht verletzt, andernfalls kann mangels genügender Begründung auf die Beschwerde nicht eingetreten werden (<ref-ruling> E. 2.2 S. 535 f.; <ref-ruling> E. 6.3 S. 120 f.). Die Beschwerdegegnerin macht in diesem Sinn geltend, selbstständige Alternativbegründungen der Vorinstanz seien unangefochten geblieben. Dies ist vorweg zu prüfen.
1.3.1 Umstritten war bereits im vorinstanzlichen Verfahren einzig noch die Abrechnung der Beschwerdegegnerin über zwölf OTC-Transaktionen mit Optionen auf Aktien. Over-the-Counter (OTC) bedeutet, dass die betreffenden Optionen nicht an der Börse gehandelt werden. Für sechs Aktientitel wickelte die Beschwerdegegnerin bei der Liquidation am 21. Februar 2001 jeweils ein Transaktionspaar ab, nämlich: Einerseits Verkauf der ausstehenden Calloptionen (Kaufrechte) mit Gutschrift der Callprämien zugunsten des Beschwerdeführers; andererseits Rückkauf der Putoptionen (Verkaufsrechte), welche der Beschwerdeführer zuvor leer verkauft hatte, was zu einer Belastung in der Höhe der Putprämie führte. Dabei bezogen sich die Transaktionspaare jeweils auf die gleiche Anzahl Optionen, welche zudem den gleichen Ausübungspreis und ein identisches Verfallsdatum aufwiesen.
1.3.2 Da die OTC-Optionen nicht an der Börse gehandelt werden, existiert kein entsprechender Marktpreis. Der Preis wird vielmehr direkt zwischen den individuellen Vertragspartnern ausgehandelt. Mit finanzmathematischen Modellen, insbesondere dem Modell von Black, Scholes und Merton, kann aufgrund verschiedener Parameter der theoretische Wert einer Option und damit der theoretisch richtige (faire) Preis ermittelt werden (TOM HÄUSLER, Die vertraglichen Grundlagen im Bereich des Handels mit derivativen Finanzinstrumenten, 1996, S. 70 f.). Die massgeblichen Parameter sind: der aktuelle Preis des Basisobjekts (z.B. Aktienkurs), der Ausübungspreis der Option, deren Restlaufzeit, der Marktzinsfuss für sichere Geldanlagen, die Erträgnisse des Basisobjekts (z.B. Aktiendividenden) während der Laufzeit sowie die mutmassliche künftige Schwankungsbreite des Preises des Basisobjekts (sog. Volatilität). In Befolgung des Rückweisungsbeschlusses des Obergerichts holte das Bezirksgericht ein Gutachten über das von der Beschwerdegegnerin bezüglich der OTC-Transaktionen ausgewiesene Liquidationsergebnis ein. Die Gutachter hielten aufgrund ihrer statistischen Berechnungen mittels des Black-Scholes-Merton-Modells fest, der effektive Liquidationserlös liege klar innerhalb des Vertrauensintervalls einer objektiven Marktbewertung. Es gebe keinen Grund zur Annahme, dass die Liquidation zu marktfremden Konditionen durchgeführt worden sei. Gestützt auf diese Ausführungen kam das Obergericht zum Schluss, das effektive Liquidationsergebnis stelle ein in der Branche üblicherweise erzielbares Liquidationsergebnis dar, und wies die Berufung ab.
1.3.3 Weil der Beschwerdeführer im ersten Berufungsverfahren vor dem Obergericht selbst postuliert hatte, es wäre naheliegend gewesen, auf die Eröffnungskurse der Basiswerte am 21. Februar 2001 abzustellen, wurden die Gutachter auch mit einer Bewertung der Optionen anhand der Eröffnungskurse beauftragt. Auch diesbezüglich verneinte das Gutachten eine Benachteiligung des Beschwerdeführers. Entsprechend hielt die Vorinstanz fest, auch nach der vom Beschwerdeführer verlangten Rechnungsweise könne nicht von schlecht fixierten oder arbiträr festgelegten Liquidationskursen ausgegangen werden.
Entgegen der Beschwerdegegnerin handelte es sich bei dieser Begründung nicht um eine selbstständig tragende im Sinne der Rechtsprechung. Die Vorinstanz entschied damit nämlich nicht, eine Abrechnung auf Basis der Eröffnungskurse wäre korrekt und damit eine Klageabweisung allein aufgrund dieses Beweisergebnisses zulässig gewesen. Sie verwies in diesem Zusammenhang lediglich auf die entsprechende eigene Auffassung des Beschwerdeführers. Aber selbst wenn es sich um eine selbstständig tragende Begründung handeln würde, wäre auf die Beschwerde einzutreten. Zwar setzt sich der Beschwerdeführer tatsächlich nicht im Einzelnen mit dieser Begründung auseinander. Dies trifft auch zu auf den weiteren Einwand der Beschwerdegegnerin, der Beschwerdeführer sei auch auf eine dritte Alternativbegründung der Vorinstanz, wonach auch eine Verwertung zu Tagestiefstkursen vertragsgemäss gewesen wäre, nicht eingegangen. Der Beschwerdeführer legt insgesamt dar, der eingeklagte Schuldsaldo könne der Beschwerdegegnerin nur zugesprochen werden, wenn diese die effektiv verwendeten Parameter der Preisbestimmung, namentlich den tatsächlichen Liquidationszeitpunkt und damit den zugrundeliegenden Aktienkurs nachweise. Damit rügt er, jede dem nicht entsprechende Abrechnung, auch eine solche zu Eröffnungs- bzw. zu Tiefstpreiskursen, sei unzulässig.
Auf die Beschwerde ist daher einzutreten.
2. Strittig ist der Schuldsaldo auf dem Kontokorrent des Beschwerdeführers. Dieser macht insbesondere geltend, dass das Portfolio nicht zu marktgerechten Bedingungen liquidiert und die Beschwerdegegnerin anschliessend ihrer Abrechnungspflicht nicht gehörig nachgekommen sei. Sie habe sich stets geweigert, die zur Preisbestimmung verwendeten Aktienkurse bzw. die genauen Liquidationszeitpunkte (von denen der im Tagesverlauf schwankende Aktienkurs abhängt) bekannt zu geben. Vielmehr habe sie einzig die jeweiligen Eröffnungs-, Höchst-, Tiefst-, Schluss- und Mittelkurse vorgebracht. Zwischen einer Liquidation sämtlicher Werte zu Höchst- bzw. zu Tiefstwerten liege eine Spanne von USD 2.286 Mio. Selbst wenn man mit dem Gutachten das Intervall auf 95 % der errechneten Werte ansetze, ergebe sich eine Spanne von rund USD 1.2 bzw. 1.1 Mio. Diese Spannen lägen in der Grössenordnung des von der Beschwerdegegnerin eingeklagten Betrages. Gemäss <ref-law> sei der Beauftragte verpflichtet, über seine Geschäftsführung Rechenschaft abzulegen, was auch dann gelte, wenn die Liquidationshandlungen als Kommissionsgeschäft angesehen würden. Die Vorinstanz habe diese Bestimmung verletzt, indem sie mittels Gutachten einen theoretischen Wert ermittelte, statt von der Beschwerdegegnerin den Nachweis der tatsächlichen Parameter, insbesondere des Liquidationszeitpunktes zu verlangen. Mangels dieses Nachweises hätte die Klage abgewiesen werden müssen.
3. Der Anspruch auf Rechenschaftsablegung gemäss <ref-law> ist zwar selbständig klagbar (vgl. zur Publikation bestimmtes Urteil des Bundesgerichts 4A_13/2012 vom 19. November 2012). Streitgegenstand ist aber nur der vertragliche Anspruch der Beschwerdegegnerin auf Ausgleich des Negativsaldos aus dem Kontokorrent und nicht eine materiellrechtliche Auskunftspflicht. Eine Verletzung von <ref-law> ist nicht ersichtlich.
4. Die Beschwerdegegnerin macht geltend, Prozessthema sei, ob das Gutachten rechtsfehlerhaft gewürdigt worden sei. Dies trifft nicht zu. Entsprechend bemängelt der Beschwerdeführer auch nicht das Gutachten als solches. Seine Rüge, das Gutachten basiere betreffend der verwendeten Parameter auf Annahmen und Hypothesen und ermittle daher nur ein üblicherweise erzielbares Liquidationsergebnis, zielt vielmehr auf den Gutachterauftrag und damit die Rechtsfrage, welchen Preis die Beschwerdegegnerin dem Beschwerdeführer aufgrund ihrer vertraglichen Beziehung bzw. dem anwendbaren Recht abrechnen muss.
4.1 Aus den vertraglichen Vereinbarungen zwischen den Parteien ergibt sich nicht, wie der Abrechnungswert zu bestimmen ist. Zwar schlossen sie einen Rahmenvertrag betreffend OTC-Geschäfte, jedoch bezieht sich dieser nur auf OTC-Geschäfte betreffend Fremdwährungstransaktionen und Optionen auf Währungen und Edelmetallen.
Optionen beinhalten nicht in Wertpapieren verbriefte Rechte. Die Bestimmungen über den Kommissionsvertrag sind nicht ohne weiteres anwendbar, da Gegenstand von <ref-law> bewegliche Sachen und Wertpapiere sind. Indessen rechtfertigt es sich angesichts der parallelen Interessenlage, jedenfalls in Bezug auf die Pflichten der Bank betreffend Abrechnung der getätigten Käufe und Verkäufe die <ref-law> analog anzuwenden (MYRJAM EGGEN, Finanzprodukte - Auftrag oder Kauf? in: SZW 2011 S. 628 Fn. 30; ERIC SIBBERN/HANS CASPAR VON DER CRONE, Genehmigungsfiktion und Nebenpflichten der Bankkunden, in: SZW 2006 S. 71 Fn. 11; DIETER ZOBL/STEFAN KRAMER, Schweizerisches Kapitalmarktrecht, 2004, S. 456 Rz. 1222; vgl. auch zit. Urteil 4A_13/2012; a.A.: CHRISTIAN LENZ/ANDREAS VON PLANTA, in: Basler Kommentar, Obligationenrecht I, 5. Aufl. 2011, N. 2 zu <ref-law>; ANDREAS VON PLANTA, in: Commentaire romand, Code des obligations I, 1. Aufl. 2003 [Vorauflage], N. 2 zu <ref-law>; vgl. nun aber ANDREAS VON PLANTA/MARIE FLEGBO-BERNEY, in: Commentaire romand, Code des obligations I, 2. Aufl. 2012, N. 2 zu <ref-law>).
Die Beschwerdegegnerin wendet ein, der Handel mit Optionen unterliege nicht Auftragsrecht (bzw. Kommissionsrecht), sondern Kaufrecht. Die von ihr zitierte Lehre (EGGEN, a.a.O., S. 628; URS PHILIPP ROTH, Aufklärungspflichten im Vermögensanlagegeschäft der Banken, in: Banken und Bankrecht im Wandel, Festschrift für Beat Kleiner, 1993, S. 21) bezieht sich auf den Fall des Selbsteintritts (<ref-law>). Aus dem angefochtenen Urteil ergibt sich nicht, ob ein Selbsteintritt erfolgte. Die Frage kann jedoch offen bleiben. Auch wenn der Kommissionär bei Selbsteintritt kaufrechtliche Pflichten (z.B. Gewährleistung) übernimmt, bedeutet dies nicht, dass Kommissionsrecht überhaupt nicht mehr anwendbar ist. Vielmehr handelt es sich um einen gemischten Vertrag. Der Kommissionär unterliegt namentlich weiter den auftragsrechtlichen Treuepflichten. Für die hier zu prüfende Frage bedeutet das, dass die Bestimmung des Preises, das heisst des dem Kunden zu verrechnenden Kurses, von den kommissionsrechtlichen Regeln regiert wird (PETER NOBEL, Zur Problematik des sogenannten Kursschnittes beim Wertpapierhandel, in: Freiheit und Zwang, Festschrift zum 60. Geburtstag von Hans Giger, 1989, S. 533 f.; PIERRE ENGEL, Contrats de droit suisse, 2. Aufl. 2000, S. 560 f.). Soweit aus <ref-ruling> E. 6a S. 63 etwas anderes abgeleitet werden könnte, ist dies zu präzisieren.
4.2 Vor Bundesgericht ist nicht mehr streitig, dass die Beschwerdegegnerin zur Liquidierung berechtigt war. Mit seiner Rüge, mangels Konkretisierung der Parameter durch die Beschwerdegegnerin könne er die Korrektheit der ihm verrechneten Optionspreise nicht kontrollieren, macht der Beschwerdeführer sinngemäss geltend, die Beschwerdegegnerin habe die Parameter für die Bewertung der OTC-Optionen namentlich mit Bezug auf die Aktienkurse der Basisobjekte zu ihren Gunsten manipuliert.
Mit der im Gutachten vorgenommenen Bewertung wurde der (theoretisch) faire Preis ermittelt. Dies ist nicht der konkrete Preis, wie er in jedem Markt durch Angebot und Nachfrage zustande kommt. Auch bei Optionen können der theoretisch richtige Preis und der effektive Preis auseinanderliegen, da zwischen Anbieter und Nachfrager sowohl objektive wie auch subjektive (insbesondere die subjektiven Volatilitätserwartungen) Faktoren eine Rolle spielen (ERNST MÜLLER-MÖHL, Optionen und Futures, 5. Aufl. 2002, S. 77, 106 ff. und 117). Das Gutachten und damit auch die Beurteilung durch die Vorinstanz beruhen auf einer abstrakten (mathematisch-statistischen) Festlegung des Abrechnungspreises. Der Beschwerdeführer rügt nicht, stattdessen hätten seitens der Beschwerdegegnerin konkrete einzelne Vertragsabschlüsse nachgewiesen und abgerechnet werden müssen, wozu die Kommissärin bei Drittgeschäften, da sie auf Rechnung des Kunden handelt, grundsätzlich verpflichtet wäre. Darauf ist somit nicht weiter einzugehen. Vielmehr macht er geltend, bei OTC-Geschäften müsse die Bank die effektiven Parameter nachweisen, auf denen die Preisberechnung beruhte. Substanziiert rügt er in der Beschwerde sodann diesbezüglich nur noch den mangelnden Nachweis der konkreten Liquidationszeitpunkte und damit zusammenhängend der im betreffenden Zeitpunkt massgeblichen Intra-Day-Kurse der zugrunde liegenden Aktien; auf weitere Parameter geht er nicht mehr ein. Er geht somit ebenfalls davon aus, dass die Beschwerdegegnerin die Optionspreise aufgrund eines mathematischen Rechnungsmodells abrechnen durfte. Nur muss nach seiner Auffassung die Berechnung auf den tatsächlichen Aktienkursen im Zeitpunkt der tatsächlichen Liquidation beruhen.
Das Kommissionsrecht hat zum Ziel zu verhindern, dass der Kommissär, die Bank, Gewinne zulasten des Kommittenten, des Kunden, realisiert (NOBEL, a.a.O, S. 536). Ob die Beschwerdegegnerin mit ihrer Abrechnung unzulässige Gewinne erzielen konnte, hängt davon ab, zu welchem Zeitpunkt sie abrechnen musste bzw. durfte. Das Kommissionsrecht kennt Schutzbestimmungen für den Kommittenten im Fall des Selbsteintritts, weil der selbsteintretende Kommissionär in einem erhöhten Interessenkonflikt steht. Insbesondere im Börsengeschäft bestehen Manipulationsmöglichkeiten dadurch, dass er den Zeitpunkt des Selbsteintritts - im Nachhinein - abhängig von einer für ihn günstigen Kurssituation erklärt. Eine vergleichbare Interessenlage besteht bei OTC-Geschäften, unabhängig davon, ob die Bank selbst eintritt oder nicht, da in beiden Fällen kein Marktpreis besteht. Es rechtfertigt sich daher, die Bestimmung des für die Abrechnung massgeblichen Zeitpunkts nach vergleichbaren Grundsätzen zu ermitteln.
Nach Ablauf der Frist zur Nachschusszahlung am 21. Februar 2001, 12.00 Uhr, war die Beschwerdegegnerin zur sofortigen Liquidation berechtigt. Diese Berechtigung ist einer solchen aus einem vor diesem Zeitpunkt erteilten Auftrag vergleichbar. Die Basistitel waren nach der Feststellung der Vorinstanz in New York börsenkotiert. Somit bestand die Liquidationsberechtigung vor Eröffnung der Börse in New York. In der Literatur (LENZ/VON PLANTA, a.a.O., N. 6 zu <ref-law>; VON PLANTA/FLEGBO-BERNEY, a.a.O. N. 6 zu <ref-law>; vgl. auch NOBEL, a.a.O, S. 537 ff.) und der aufsichtsrechtlichen Praxis (vgl. Bull EBK Nr. 20, 1990, S. 23 ff., S. 27) wird die Auffassung vertreten, dass zu Eröffnungskursen abzurechnen ist, wenn Aufträge vor Eröffnung der Börsensitzung vorliegen. Dem ist zuzustimmen, denn damit entfällt eine Manipulationsmöglichkeit durch Wahl eines späteren, für die Bank günstigeren Zeitpunkts. Die Vorinstanz hat festgehalten, dass die Beschwerdegegnerin aufgrund der Eröffnungskurse der Basistitel sogar Fr. 189'313.-- mehr hätte belasten können. Das blieb unbestritten. Wenn die Vorinstanz vor diesem Hintergrund den Einwand des Beschwerdeführers, die Beschwerdegegnerin habe die Parameter zur Bewertung der Optionen zu ihren Gunsten manipuliert, verwarf, ist dies nicht zu beanstanden.
5. Damit ist die Beschwerde abzuweisen. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 15'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 17'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 5. Februar 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak