Sachverhalt:
A.
A.a. Die Bank X._ AG (Beauftragte, Beklagte, Beschwerdeführerin) und die Y._ Ltd (Auftraggeberin, Klägerin, Beschwerdegegnerin) nahmen am 31. August 2004 eine Geschäftsbeziehung auf. Grundlage der vertraglichen Beziehung der Parteien waren ein Rahmenvertrag für Over-The-Counter (OTC) -Devisengeschäfte sowie Call- und Put-Optionen auf Devisen und Edelmetallen vom 31. August 2004, die von der Y._ Ltd am 31. August 2004 unterschriftlich akzeptierten Bedingungen für die Vermittlung von Optionskontrakten, ein Rahmenvertrag für einen Lombardkredit vom 31. August 2004 und eine Allgemeine Faustpfandverschreibung vom 31. August 2004. Am 18. März 2005 kam ein Vertrag über die Errichtung eines Kontos und Depots hinzu.
A.b. Die Geschäftsbeziehung der Parteien gestaltete sich so, dass die Bank X._ AG in eigenem Namen, aber im Auftrag und für Rechnung der Y._ Ltd Optionskontrakte abschloss. Dabei hatte diese im Rahmen eines sog. Margin Trading einen prozentualen Anteil des Kaufpreises in Eigenmitteln aufzubringen, während der Restbetrag von der Bank X._ AG als Kredit zur Verfügung gestellt wurde. Für diesen Kredit hatte die Y._ Ltd eine bestimmte Marge als Sicherheit zu leisten. Wenn sich die Marge "auf Grund aktueller Berechnung nach Ermessen der Bank als ungenügend" erweisen sollte, war die Y._ Ltd gehalten, die Margennachforderung (Margin Call) der Bank X._ AG sofort zu begleichen. Der Deckung der Marge diente u.a. der Lombardkredit. Sowohl der Abschluss der Optionskontrakte als auch der Lombardkredit waren durch die mit der Faustpfandverschreibung verpfändeten Werte der Y._ Ltd (zusätzlich) gesichert.
A.c. Zwischen Dezember 2006 und Januar 2007 forderte die Bank X._ AG von der Y._ Ltd mittels vier Margin Calls einen Betrag von insgesamt Fr. 5'248'000.-- nach. Die Y._ Ltd opponierte gegen die Nachforderungen, kam ihnen aber vollumfänglich nach.
B.
B.a. Mit Klage vom 16. Oktober 2007 beim Zivilgericht Basel-Stadt stellte die Y._ Ltd die folgenden Anträge:
"1. Die Beklagte sei zu verpflichten, der Klägerin umfassend Rechenschaft über ihre Geschäftsbeziehung für die Klägerin abzugeben sowie eine umfassend dokumentierte Schlussabrechnung vorzulegen.
Hierbei sei die Beklagte weiter zu verpflichten, insbesondere folgende Bereiche ihrer Geschäftsbeziehung zur Klägerin für die Monate November 2006 bis Januar 2007 lückenlos, detailliert und dokumentiert nachzuweisen:
a) Aufstellung sämtlicher Vermögenspositionen, welche der Beklagten als Sicherheit für ihre Geschäftsbeziehung mit der Klägerin dienten;
b) Nachweis allenfalls bestehender Vernetzungen zwischen den Vermögenspositionen gemäss lit. a hiervor;
c) Bewertung der Vermögensposition gemäss lit. a hiervor durch die Beklagte;
d) Nachweis der für die Beklagte aus der Bewertung gemäss lit. c hiervor resultierenden Belehnungswerte und Kreditlimiten;
e) Nachweis des von Z._ ausgewiesenen Exposure;
f) Nachweis der von Z._ ausgewiesenen Net Present Values;
g) Nachweis der von Z._ errechneten Kreditlimitüberschreitungen;
h) Nachweis der von der Abteilung Direct Access Clients errechneten Net Present Values;
2. Die Beklagte sei zu verpflichten, die den Margennachforderungen vom 1., 13. und 19. Dezember 2006 sowie vom 3. Januar 2007 zugrunde gelegten Kennzahlen und Berechnungen zu edieren.
3. Die Beklagte sei zu verpflichten, der Klägerin sämtliche im Zusammenhang mit ihrer Geschäftsbeziehung erhaltenen bzw. erstellten Aufzeichnungen (Telefonaufzeichnungen, EDV-Aufzeichnungen usw.), Protokolle und Belege zu edieren.
Hierbei sei die Beklagte insbesondere zu verpflichten, die Aufzeichnungen und Protokolle sämtlicher Telefonate zwischen A._ und B._, Abteilung "Direct Access Clients" zu edieren, insbesondere betreffend die nachfolgend genannten Daten:
a) Telefonate zwischen A._ und B._ vom 18. Dezember 2006;
b) Telefonate zwischen A._ und B._ vom 20. Dezember 2006;
c) Telefonate zwischen A._ und B._ vom 3. Januar 2007;
d) Telefonate zwischen A._ und B._ vom 4. Januar 2007."
Mit Urteil vom 2. Dezember 2009 wies das Zivilgericht die Klage ab, soweit es darauf eintrat.
B.b. Dagegen erhob die Y._ Ltd Appellation beim Appellationsgericht des Kantons Basel-Stadt. Sie beantragte die Aufhebung des Urteils des Zivilgerichts und wiederholte ihre erstinstanzlich gestellten Anträge.
Am 4. November 2011 urteilte das Appellationsgericht wie folgt:
"In Gutheissung des Appellationsbegehrens Ziff. 1 wird das angefochtene Urteil aufgehoben.
In teilweiser Gutheissung des Klagbegehrens Ziff. 1 bzw. Appellationsbegehrens Ziff. 2 wird die Beklagte verpflichtet,
- der Klägerin eine umfassend dokumentierte Schlussabrechnung vorzulegen,
- der Klägerin für die Monate November 2006 bis Januar 2007 eine lückenlose und detaillierte Aufstellung sämtlicher Vermögenspositionen, welche der Beklagten als Sicherheit für ihre Geschäftsbeziehung mit der Klägerin dienten, nachzuweisen,
- der Klägerin die von Z._ ausgewiesenen Exposures und Net Present Values, auf die anlässlich der zwischen A._ und B._ geführten Telefonate vom 18. und 20. Dezember 2006 sowie 3. und 4. Januar 2007 explizit Bezug genommen worden ist, nachzuweisen.
Im Übrigen wird das Klagbegehren Ziff. 1 bzw. Appellationsbegehren Ziff. 2 abgewiesen.
In Gutheissung des Klagbegehrens Ziff. 2 bzw. Appellationsbegehrens Ziff. 3 wird die Beklagte verpflichtet, die den Margennachforderungen vom 1., 13. und 19. Dezember 2006 sowie vom 3. Januar 2007 zugrunde gelegten Kennzahlen und Berechnungen zu edieren.
In teilweiser Gutheissung des Klagbegehrens Ziff. 3 bzw. Appellationsbegehrens Ziff. 4 wird die Beklagte verpflichtet, der Klägerin die Aufzeichnungen und Protokolle der Telefonate zwischen A._ und B._ vom 18. und 20. Dezember 2006 sowie 3. und 4. Januar 2007 zu edieren. Im Übrigen wird das Klagbegehren Ziff. 3 bzw. Appellationsbegehren Ziff. 4 abgewiesen.
(Partei- und Gerichtskosten)."
C.
Mit Beschwerde in Zivilsachen vom 10. Januar 2012 beantragt die Bank X._ AG dem Bundesgericht, es sei das Urteil des Appellationsgerichts aufzuheben, soweit damit das Urteil des Zivilgerichts aufgehoben wurde und die Appellations- und Klagebegehren der Beschwerdegegnerin ganz oder teilweise gutgeheissen wurden, und es sei die Klage vollumfänglich abzuweisen. Die Beschwerdeführerin ersucht zudem um Erteilung der aufschiebenden Wirkung.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Die Parteien reichten unaufgefordert Replik und Duplik ein.
D.
Mit Präsidialverfügung vom 31. Januar 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1; <ref-ruling> E. 1, 470 E. 1; <ref-ruling> E. 1).
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren der Beschwerdeführerin sind im kantonalen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (Art. 100 Abs. 1 i.V.m. <ref-law>). Auf die Beschwerde ist somit unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 i.V.m. <ref-law>; vgl. E. 1.2) einzutreten.
1.2.
1.2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; <ref-ruling> E. 1.4.2; <ref-ruling> E. 6, 439 E. 3.2).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2a; <ref-ruling> E. 3 S. 749).
1.2.2. Diese Grundsätze verkennt die Beschwerdeführerin, wenn sie der Vorinstanz pauschal eine falsche Interessenabwägung und eine fehlende Berücksichtigung des Eigenbereichs vorwirft. Die Beschwerdeführerin macht dies insbesondere in Bezug auf die Edition der den Margennachforderungen zugrunde gelegten Kennzahlen und Berechnungen geltend, wobei die Vorinstanz übersehen habe, dass die Beschwerdeführerin sich für die Berechnung der Margeexplizit ein eigenes Ermessen ausbedungen habe. Die Ausführungen der Beschwerdeführerin dazu erschöpfen sich in appellatorischer und pauschaler Kritik. Auf die Erwägungen der Vorinstanz geht sie kaum ein. Dasselbe gilt für die Rüge, die Vorinstanz habe das fehlende Rechtsschutzinteresse der Beschwerdegegnerin und die fehlende Relevanz der zum Nachweis und zur Edition beantragten Informationen übersehen. Die Beschwerdeführerin beschränkt sich im Wesentlichen auf die Darlegung der eigenen Sichtweise. Darauf ist nicht einzutreten.
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.2.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4).
Wird Willkür in der Ermittlung des Sachverhalts geltend gemacht, ist zu beachten, dass dem Sachrichter in der Beweiswürdigung ein breiter Ermessensspielraum zusteht; die beschwerdeführende Partei hat daher darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich ausser Acht gelassen habe (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40; <ref-ruling> E. 1b S. 30). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, namentlich auf bloss appellatorische Vorbringen, ist nicht einzutreten (<ref-ruling> E. 1.4.3, 396 E. 3.1 S. 399).
2.2. Diese Grundsätze verkennt die Beschwerdeführerin teilweise. So rügt sie etwa, die Vorinstanz habe aktenwidrig und damit willkürlich festgestellt, es werde von keiner Partei bestritten, dass auf ihre Vertragsbeziehung Auftragsrecht anwendbar sei. Richtig sei, dass die Beschwerdeführerin in ihrer Appellationsantwort mehrfach ausgeführt habe, ihrer Auffassung nach sei Darlehens- und Kreditrecht anwendbar, welches keine Rechenschafts- und Herausgabepflichten kenne. Die Beschwerdeführerin verkennt, dass eine Behebung dieses angeblichen Mangels für den Ausgang des Verfahrens nicht entscheidend wäre, da es sich bei der Frage der Vertragsqualifikation um eine Rechtsfrage handelt. Das Gericht hat das Recht von Amtes wegen anzuwenden und ist dabei nicht an eine übereinstimmende Auffassung der Parteien gebunden. Die Vorinstanz hat denn auch begründet, weshalb sie Auftragsrecht angewendet hat, womit es für den Ausgang des Verfahrens nicht entscheidend war, ob auch die Beschwerdeführerin diese Auffassung teilt. Darauf ist nicht einzutreten. Dasselbe gilt für Sachverhaltsrügen, die sich auf das blosse Behaupten des Gegenteils beschränken.
3.
Die Beschwerdeführerin rügt, die Vorinstanz habe Bundesrecht verletzt, indem sie auf die Vertragsbeziehungen der Parteien Auftragsrecht angewendet und folglich gestützt auf <ref-law> Rechenschafts- und Herausgabepflichten bejaht habe.
3.1. Die Vorinstanz hat ausgeführt, die vertragliche Beziehung der Parteien sei durch eine auftrags- bzw. kommissionsrechtliche Komponente einerseits und durch ein Darlehensverhältnis andererseits geprägt gewesen. Kommission und Darlehen hätten dabei in einer notwendigen inneren Verbindung gestanden, sei das Darlehen doch gerade zum Zweck der Margendeckung für die bei der Bank abgeschlossenen OTC-Handelsgeschäfte oder Traded Options und Financial Futures Kontrakte gewährt worden. Das vertragliche Recht der Beschwerdeführerin, von der Beschwerdegegnerin mit einem Margin Call eine Erhöhung ihrer Sicherheit zu verlangen, habe dabei sowohl in Verbindung zum gewährten Darlehen gestanden als vor allem auch zum Auftrag, Optionen zu erwerben. Es sei der Beschwerdeführerin sowohl mit dem Rahmenvertrag für OTC-Devisengeschäfte wie auch mit der Faustpfandverschreibung das Recht eingeräumt worden, während der Laufzeit der Transaktionen zusätzliche Sicherheiten, für eine ohne Deckung abgeschlossene Transaktion nachträglich Sicherheiten oder im Falle einer Deckungsverminderung Nachdeckung zu verlangen. Schliesslich hätten die mit der Faustpfandverschreibung verpfändeten Werte sowohl als Sicherheit für das Darlehen (Lombardkredit) als auch für den Abschluss der OTC-Geschäfte gedient. Aufgrund dieser inneren Verbindung, die das Vertragskonglomerat zu einem einheitlichen Vertrag mit Mischung verschiedener Vertragstypen mache, liege ähnlich wie bei einem Vermögensverwaltungsvertrag oder einer sonstigen Wertschriftenhandels- und Depotbeziehung ein gemischtes Rechtsgeschäft bzw. ein gemischter Vertrag vor, auf den gerade auch mit Bezug auf die Rechenschafts- und Herausgabepflichten der beauftragten Partei Auftragsrecht anwendbar sei.
3.2. Die Beschwerdeführerin rügt, es handle sich vorliegend nicht um einen gemischten Vertrag, sondern - wenn überhaupt - um zusammengesetzte Verträge mit einem inneren Zusammenhang. Es müssten daher die Rechte und Pflichten in jedem Vertrag einzeln beurteilt werden und es könnten nur dann allenfalls einzelvertragliche Rechte und Pflichten auf das rechtsgeschäftliche Netzwerk ausgedehnt werden, wenn dadurch keine neuen Rechtspositionen kreiert würden. Zudem sei zwischen den Parteien gerade kein Vermögensverwaltungsauftrag abgeschlossen worden, weshalb die Vorinstanz einen falschen Analogieschluss ziehe. Die Parteien seien sich weiter nur über die Höhe der eingeforderten Nachdeckung bzw. über die Höhe des geforderten Abbaus der Ausstände uneinig, nicht aber über die Tatsache der Kreditgewährung als solche, womit ausschliesslich die Absicherung des gewährten Kredits in Frage stehe und nicht der auftragsgemässe Abschluss der Optionsgeschäfte. Es gehe daher nicht an, auf dem Weg der Vertragsauslegung oder -ergänzung auftragsrechtliche Nebenpflichten auf die Frage der Kreditsicherung auszudehnen. In diesem Punkt müsse Darlehensrecht angewendet werden, das keine Herausgabe- und Rechenschaftspflichten kenne.
3.3. Stehen verschiedene Parteivereinbarungen nicht als selbständige Verträge nebeneinander, sondern sind sie nach dem Willen der Parteien in der Art miteinander verknüpft und voneinander abhängig, dass ein gemischter oder zusammengesetzter Vertrag vorliegt, so wird dieser als Einheit aufgefasst (<ref-ruling> E. 7.1.1 S. 531; <ref-ruling> E. 3a S. 162). Ein zusammengesetzter Vertrag liegt vor, wenn die Parteien zwar mehrere Verträge schliessen, diese aber voneinander abhängig sind (<ref-ruling> E. 7.1.1 S. 531). Angesichts ihrer gegenseitigen Abhängigkeit geht es nicht an, die einzelnen Vertragsbestandteile einem unterschiedlichen rechtlichen Schicksal zu unterwerfen (BGE <ref-ruling> E. 3a S. 162). Es ist vielmehr für jede Rechtsfrage der vertragliche Regelungsschwerpunkt zu ermitteln (<ref-ruling> E. 7.1.1 S. 532).
3.4. Es trifft zu, dass die Parteien nicht einen einzigen Vertrag, sondern mehrere Verträge geschlossen haben, welche aber unbestrittenermassen in einem inneren Zusammenhang stehen und voneinander abhängig sind. Entgegen der Ansicht der Beschwerdeführerin ist aber auch in diesem Fall die Frage, ob Herausgabe- und Rechenschaftspflichten bestehen, für die einzelnen Vertragsbestandteile einheitlich zu beantworten. Vorliegend stehen sowohl der Lombardkredit, der u.a. zum Zweck der Margendeckung gewährt wurde, als auch der von der Beschwerdeführerin gewährte Kredit für den Anteil des Optionskaufpreises, der nicht durch das Eigenkapital der Beschwerdegegnerin gedeckt war, in direktem Zusammenhang mit den Optionsgeschäften. Durch das von der Beschwerdeführerin zur Verfügung gestellte Kapital wurde bei den Optionsgeschäften ein Hebeleffekt erzielt. Die Darlehen dienten damit der Durchführung der Optionsgeschäfte. Die Margin Calls erfolgten, weil sich die Beschwerdeführerin für die offenen Positionen nicht mehr genügend gedeckt sah bzw. ihr ihrer Ansicht nach nicht mehr genügend Sicherheiten zur Verfügung standen. Ohne von der Beschwerdeführerin getätigte Optionsgeschäfte gäbe es mithin keine offenen Positionen und würde die Beschwerdeführerin keine (zusätzliche) Deckung für diese benötigen, womit die Margin Calls in einem direkten Zusammenhang mit den abgeschlossenen Optionsverträgen stehen. Für die Frage der Herausgabe- und Rechenschaftspflicht in Bezug auf die Margin Calls stehen somit kommissionsrechtliche Elemente im Vordergrund. In den Vorschriften zur Kommission (<ref-law>) ist keine Regelung allfälliger Herausgabe- und Rechenschaftspflichten enthalten. Diesfalls kommen für das Kommissionsverhältnis die Vorschriften über den Auftrag zur Anwendung (<ref-law>). Die Vorinstanz hat damit kein Bundesrecht verletzt, wenn sie <ref-law> angewendet hat.
4.
Die Beschwerdeführerin wirft der Vorinstanz eine Verletzung der bundesrechtlichen Bestimmungen zum Auftragsrecht, des Rechts auf eine Auslegung der vertraglichen Pflichten nach Treu und Glauben sowie des Willkürverbots vor, indem diese den Nachweis bzw. die Edition interner Dokumente angeordnet habe.
4.1.
4.1.1. Die Beschwerdeführerin bringt vorab vor, interne Dokumente würden ganz grundsätzlich weder der Herausgabe- noch der Rechenschaftspflicht unterliegen. Die Edition bzw. der Nachweis interner Dokumente sei unter dem "Deckmantel" der Rechenschaftspflicht angeordnet worden, was den im Rahmen der Herausgabepflicht sorgsam abgegrenzten Schutz des Beauftragten unterlaufe. Die Beschränkung der Herausgabepflicht sei nur sinnvoll, wenn nicht unter dem Titel der Rechenschaftspflicht die gleichen internen Dokumente nachzuweisen, offenzulegen oder zu edieren seien. Die Beschwerdeführerin beruft sich auf ein Urteil des Bundesgerichts, worin dieses ausgeführt habe, rein bankinterne Dokumente würden weder der Herausgabe- noch der Rechenschaftspflicht unterliegen (Urteil C.59/1980 vom 17. Juni 1980, in: ZR 80/1981 S. 73 ff.). Der Informationsanspruch und spiegelbildlich dazu die Rechenschaftspflicht müssten dort enden, wo der Herausgabeanspruch ende.
4.1.2. Nach <ref-law> hat der Beauftragte auf Verlangen jederzeit über seine Geschäftsführung Rechenschaft abzulegen und alles, was ihm infolge derselben aus irgendeinem Grunde zugekommen ist, zu erstatten. Die Rechenschaftspflicht des Beauftragten soll dem Auftraggeber die Kontrolle über seine Tätigkeiten ermöglichen (<ref-ruling> E. 2 S. 182; Urteil 4A_144/2012 vom 11. September 2012 E. 3.2.2). Sie bildet Voraussetzung und Grundlage der Ablieferungs- oder Herausgabepflicht (<ref-ruling> E. 2 S. 182) und findet ihre Grenzen im Grundsatz von Treu und Glauben (Urteile 4A_144/2012 vom 11. September 2012 E. 3.2.2; 4C.206/2006 vom 12. Oktober 2006 E. 4.3.1). Wie die Rechenschaftspflicht ist auch die Pflicht zur Ablieferung ein zentrales Element der Fremdnützigkeit des Auftrags (<ref-ruling> E. 5.3 S. 762; <ref-ruling> E. 2.3 S. 397; <ref-ruling> E. 4.2 S. 465 f.). Die Herausgabepflicht nach <ref-law> lässt sich darüber hinaus als Konkretisierung der Treuepflicht nach <ref-law> verstehen. Sie garantiert die Einhaltung der Treuepflicht und stellt insofern eine präventive Massnahme zur Wahrung der Interessen des Auftraggebers dar (<ref-ruling> E. 5.3 S. 762; <ref-ruling> E. 2.3 S. 397).
4.1.3. Der Umfang der Rechenschaftspflicht ist beschränkt auf Belange des Auftragsverhältnisses, wobei der Beauftragte den Auftraggeber vollständig und wahrheitsgetreu zu informieren und ihm alle Dokumente vorzulegen hat, die sich auf die im Interesse des Auftraggebers besorgten Geschäfte beziehen (Urteil C.59/1980 vom 17. Juni 1980 E. 2 [nach ZR: E. 1], in: ZR 80/1981 S. 73). Die Herausgabepflicht umfasst alles, was dem Beauftragten in Ausführung des Mandats vom Auftraggeber ausgehändigt worden oder von Dritten zugekommen ist (<ref-ruling> E. 3c/aa S. 328). Ausgenommen sind rein interne Dokumente wie vorbereitende Studien, Notizen, Entwürfe, Materialsammlungen und eigene Buchhaltungen (<ref-ruling> E. 3c/aa S. 328). Die Beschwerdeführerin stützt sich auf eine Lehrmeinung, wonach die Rechenschaftspflicht als komplementäres Informationsrecht nicht weiter gehen könne als die Herausgabepflicht und insofern denselben Beschränkungen unterliege (Stefan Hafner, Die Rechenschaftspflicht des Beauftragten - Ein Beitrag zum Informationsrecht im Auftragsvertrag, 2007, S. 128, 307).
Dieser Auffassung ist nicht zuzustimmen. Das Bundesgericht hat zwar auch in Bezug auf die Rechenschaftspflicht entschieden, dass rein interne Dokumente wie etwa nie versandte Vertragsentwürfe dieser nicht unterliegen (Urteile 4P.34/1993 vom 30. April 1993 E. 4, in: ZR 93/1994 S. 32; C.59/1980 vom 17. Juni 1980 E. 4a [nach ZR: E. 3a], in: ZR 80/1981 S. 76; vgl. auch Urteil 5A_171/2009 vom 15. Oktober 2009 E. 3.5). Daraus kann indessen nicht geschlossen werden, dass Herausgabe- und Rechenschaftspflicht gleich weit reichen. So können etwa Aufzeichnungen über Kundenbesuche und -kontakte Gegenstand der Rechenschaftspflicht bilden, obwohl solche (internen) Aufzeichnungen grundsätzlich nicht der Herausgabepflicht unterliegen (vgl. Urteil 5A_171/2009 vom 15. Oktober 2009 E. 3.5). Dies ergibt sich aus dem Zweck der Rechenschaftspflicht. Anders als die Herausgabepflicht, welche die Einhaltung der Treuepflicht garantiert, soll die Rechenschaftspflicht die Kontrolle über die Tätigkeiten des Beauftragten ermöglichen (oben E. 4.1.3). Auch in der Lehre wird überzeugend darauf hingewiesen, dass etwa Ärzte die erstellten Krankengeschichten nicht herauszugeben, im Rahmen der Rechenschaftspflicht aber zur Einsicht vorzulegen bzw. dem Patienten Kopien auszuhändigen hätten (Fellmann, Berner Kommentar, 1992, N. 139 f. zu <ref-law>; Weber, in: Basler Kommentar, Obligationenrecht, 5. Aufl. 2011, N. 13 zu <ref-law>; Werro, in: Commentaire romand, Code des obligations, 2. Aufl. 2012, N. 15 zu <ref-law>; Hofstetter, Der Auftrag und die Geschäftsführung ohne Auftrag, in: Obligationenrecht - Besondere Vertragsverhältnisse, SPR Bd. VII/6, 2000, S. 120; vgl. auch Gehrer/Giger, in: Handkommentar zum Schweizer Privatrecht, 2. Aufl. 2012, N. 12a zu <ref-law>; Engel, Contrats de droit suisse, 2. Aufl. 2000, S. 501). Aus dem Umstand, dass bestimmte Dokumente nicht der Herausgabepflicht unterliegen, kann somit entgegen der Ansicht der Beschwerdeführerin nicht automatisch geschlossen werden, dass über diese auch keine Rechenschaft abzulegen sei (so auch Arter/Dahortsang, Besprechung des bundesgerichtlichen Urteils 4A_688/2011 vom 17. April 2012, AJP 2012 S. 1159 mit Hinweisen).
Es ist somit zu differenzieren zwischen (der Herausgabepflicht nicht unterliegenden) internen Dokumenten, deren Inhalt dem Auftraggeber in geeigneter Form zur Kenntnis gebracht werden muss, um diesem überhaupt die Kontrolle über die Tätigkeiten des Beauftragten zu ermöglichen, und rein internen Dokumenten wie z.B. nie versandten Vertragsentwürfen, welche für die Überprüfung der vertragsgemässen Ausführung des Auftrags durch den Beauftragten ohnehin nicht relevant sind. Unterliegt ein internes Dokument grundsätzlich der Rechenschaftspflicht, bedeutet dies indessen noch nicht, dass es dem Auftraggeber ohne weiteres vorzulegen ist. Vielmehr ist in diesem Fall eine Interessenabwägung mit den Geheimhaltungsinteressen des Beauftragten vorzunehmen (vgl. Urteil 4P.34/1993 vom 30. April 1993 E. 4, in: ZR 93/1994 S. 31 f.; Urteil C.59/1980 vom 17. Juni 1980 E. 4a [nach ZR: E. 3a], in: ZR 80/1981 S. 76). Den berechtigten Interessen des Beauftragten kann auch dadurch Rechnung getragen werden, dass ein Dokument im konkreten Fall etwa nur auszugsweise vorzulegen ist (vgl. auch Fellmann, Berner Kommentar, 1992, N. 79 zu <ref-law>). Die Vorinstanz hat somit kein Bundesrecht verletzt, wenn sie eine Rechenschaftspflicht in Bezug auf einzelne interne Dokumente bejaht hat, selbst wenn diese der Herausgabepflicht nicht unterliegen sollten.
4.2.
4.2.1. Die Beschwerdeführerin rügt weiter, die Vorinstanz habe sie zu Unrecht zur Edition der Aufzeichnungen und Protokolle der Telefonate vom 18. und 20. Dezember 2006 sowie 3. und 4. Januar 2007 zwischen zwei Angestellten der Parteien verpflichtet. Die Telefonaufzeichnungen seien intern erfolgt und daher nicht zu edieren. Entgegen der Ansicht der Vorinstanz seien sie nicht der Korrespondenz gleichzustellen. In der Literatur sei zudem nur von einer Vorlage von Dokumenten die Rede, nicht aber von Aufzeichnungen mündlicher Aussagen. Diese hätten bewusst nicht dieselbe Bedeutung wie formell geführte Korrespondenz.
4.2.2. Bei den Telefonaufzeichnungen und -protokollen handelt es sich entgegen der Ansicht der Beschwerdeführerin nicht um interne Dokumente wie Aktennotizen, die Meinungsäusserungen oder Gedanken zu einem Gespräch enthalten. Vielmehr geht es einzig um die exakte Niederschrift oder Aufnahme dessen, was die Angestellten der Parteien telefonisch besprochen haben und was damit beiden Parteien ohnehin bekannt sein sollte. Die Beschwerdeführerin bringt denn auch nichts gegen die vorinstanzlichen Ausführungen vor, wonach ein schutzwürdiges Interesse an der Geheimhaltung der Daten nicht ersichtlich sei. Es ist daher nicht zu beanstanden, dass die Vorinstanz die Aufzeichnungen und Protokolle der genau bezeichneten Telefongespräche der Rechenschaftspflicht unterstellt hat. Entgegen der Ansicht der Beschwerdeführerin kann es zudem keine Rolle spielen, ob die Aufzeichnungen elektronisch oder schriftlich erfolgen. Ob mündlichen Aussagen eine geringere Bedeutung zukommt als schriftlicher Korrespondenz, ist eine Frage der Beweiswürdigung.
4.3.
4.3.1. Die Beschwerdeführerin macht weiter geltend, die Vorinstanz habe sie zu Unrecht zum Nachweis bestimmter Kennzahlen verpflichtet, auf die anlässlich der Telefonate vom 18. und 20. Dezember 2006 sowie 3. und 4. Januar 2007 explizit Bezug genommen worden sei. Die Vorinstanz habe zur Begründung ausgeführt, sämtliche im Geschäftsverkehr offengelegten Kennzahlen würden in jedem Fall der Rechenschaftspflicht unterliegen, selbst wenn es sich um interne Dokumente handle, die der internen Entscheidbildung der Beschwerdeführerin gedient hätten. Diese Rechtsauffassung habe zur Konsequenz, dass bei jeder kurzen mündlichen Information zum Beispiel über - unter Umständen sogar geschütztes - Know-How die empfangende Partei Rechenschaftspflichten und unter Umständen sogar Herausgabepflichten geltend machen könnte, obwohl die Informationen lediglich der internen Entscheidfindung dienten. Eine solch weitgehende Auslegung der Rechenschaftspflicht verletze <ref-law>. Zudem sei das Urteil widersprüchlich. Seien nämlich die Telefonaufzeichnungen zu edieren, so könne sich die Beschwerdegegnerin direkt auf diese Aufzeichnungen stützen.
4.3.2. Ob sämtliche Dokumente, die der internen Entscheidfindung der Beauftragten dienen, offengelegt werden müssen, sobald diese sich im Verkehr mit der Auftraggeberin auf solche interne Quellen bezieht, kann offenbleiben. Denn die Verpflichtung zum Nachweis bestimmter Kennzahlen verletzt <ref-law> auch dann nicht, wenn diese als intern qualifiziert werden. Die Vorinstanz hat ausgeführt, die Beschwerdegegnerin habe ein Interesse an der Rechenschaftsablegung darüber, welche Werte wie berechnet worden seien. Dagegen bringt die Beschwerdeführerin nichts vor. Sie macht auch keine konkreten Geheimhaltungsinteressen geltend, sondern bringt im Gegenteil vor, eine Offenlegung dieser Kennzahlen sei unnötig, da sich die Beschwerdegegnerin auch direkt auf die Telefonaufzeichnungen stützen könne. Dieser Argumentation liegt sinngemäss die Annahme zugrunde, die Beschwerdeführerin müsse mit der Offenlegung der betreffenden Kennzahlen nicht wesentlich mehr Informationen preisgeben, als sie dies ohnehin bereits mit der Edition der Telefonaufzeichnungen und -protokolle tue. Die Abwägung der Interessen (vgl. oben E. 4.1.3) hat daher vorliegend zugunsten der Beschwerdegegnerin als Auftraggeberin auszufallen.
4.4.
4.4.1. Die Beschwerdeführerin rügt weiter, die Verpflichtung zum Nachweis einer lückenlosen und detaillierten Aufstellung sämtlicher ihr als Sicherheit dienender Vermögenspositionen für die Monate November 2006 bis Januar 2007 verstosse gegen <ref-law>. Zwischen den Parteien bestehe eine Vereinbarung über die der Beschwerdeführerin als Sicherheit verpfändeten Werte. Diese Vereinbarung sei massgebend. Auf zusätzliche Nachweise und eine detaillierte Zusammenstellung der sich laufend verändernden Vermögenspositionen, die als Sicherheit dienten, bestehe kein Rechtsanspruch. Es sei auch auf die Volatilität der Depotwerte und auf die sich laufend ändernden Fremdwährungskurse hinzuweisen. Eine lückenlose, laufende Aufstellung sei weder Vertragsgegenstand noch für die Ausführung der vertraglichen Pflichten notwendig.
4.4.2. Die Margennachforderungen (Margin Calls) der Beschwerdeführerin standen in einem direkten Zusammenhang mit den in eigenem Namen, aber im Auftrag und für Rechnung der Beschwerdegegnerin geschlossenen Optionsverträgen. Sie erfolgten, weil sich die Beschwerdeführerin für die offenen Positionen nicht mehr genügend gedeckt sah bzw. ihr ihrer Ansicht nach nicht mehr genügend Sicherheiten zur Verfügung standen. Vor diesem Hintergrund ist nicht zu beanstanden, dass die Vorinstanz die Beschwerdeführerin zum Nachweis einer Aufstellung sämtlicher ihr als Sicherheit dienender Vermögenspositionen verpflichtet hat. Eine solche Aufstellung ist notwendig für die Überprüfung, ob die Beschwerdeführerin zu Unrecht weitere Margin Calls erliess, obwohl sie möglicherweise bereits über ausreichend Sicherheiten verfügte. Da die Rechenschaftspflicht dem Auftraggeber gerade die Kontrolle über die Tätigkeiten des Beauftragten ermöglichen soll, hat die Vorinstanz nicht gegen <ref-law> verstossen. Daran ändern auch die Volatilität der Werte und sich ändernde Fremdwährungskurse nichts. Denn diese hatte die Beschwerdeführerin auch bereits bei ihrer Bewertung der Sicherheiten zu berücksichtigen, die dem Erlass der Margin Calls voranging.
4.5.
4.5.1. Die Beschwerdeführerin rügt schliesslich, die Vorinstanz habe sie zu Unrecht zur Vorlegung einer umfassend dokumentierten Schlussabrechnung verpflichtet. Die der Beschwerdegegnerin zugestellten Depot- und Kontoauszüge würden bereits Auskunft über angefallene Gebühren und Spesen und den aktuellen Bestand von Konto und Depot geben. Es sei daher nicht ersichtlich, in welcher Hinsicht oder welchen Inhalts dann noch eine Schlussabrechnung erstellt werden solle. Zudem habe die Vorinstanz gestützt auf die Ausführungen der Beschwerdegegnerin, die periodischen Konto- und Depotauszüge hätten keine Relevanz für die Überprüfung der Margennachforderungen, ein Interesse der Beschwerdegegnerin an der Vorlegung dieser Dokumente verneint. Mit dieser Begründung hätte die Vorinstanz auch die Vorlegung einer Schlussabrechnung ablehnen müssen.
4.5.2. Die Beschwerdeführerin bestreitet ihre Rechenschaftspflicht in diesem Punkt nicht grundsätzlich. Sie macht indessen geltend, sie habe der Beschwerdegegnerin bereits alle Auszüge zugestellt. Diese Behauptung findet keine Stütze im vorinstanzlichen Sachverhalt. Was das Interesse der Beschwerdegegnerin an der Vorlegung der Dokumente angeht, so hat sie ein solches nur in Bezug auf die Konto- und Depotauszüge, nicht aber in Bezug auf eine Schlussabrechnung verneint. Die Beschwerdegegnerin ist ohnehin nicht zum Nachweis eines schutzwürdigen Interesses an der Rechenschaftsablage verpflichtet (Urteil C.59/1980 vom 17. Juni 1980 E. 2 [nach ZR: E. 1], in: ZR 80/1981 S. 74). Die Rechenschaftspflicht des Beauftragten findet ihre Grenzen lediglich im Grundsatz von Treu und Glauben (vgl. E. 4.1.2). Eine Berufung auf die Rechenschaftspflicht würde etwa dann keinen Rechtsschutz verdienen, wenn der Auftraggeber die erforderlichen Informationen bereits besitzt oder sich leicht aus eigenen Unterlagen informieren könnte, während der Beauftragte dazu grössere Umtriebe auf sich nehmen müsste (Urteil 4C.206/2006 vom 12. Oktober 2006 E. 4.3.1 mit Hinweis). Die Beschwerdeführerin macht zu Recht nicht geltend, dass ihr die Erstellung einer Schlussabrechnung grosse Umtriebe verursachen würde. Dass die Beschwerdegegnerin ihre Forderung nach Rechenschaftsablegung auf andere Weise missbräuchlich geltend machen würde, macht die Beschwerdeführerin nicht geltend und ist auch nicht ersichtlich. Damit erweist sich auch diese Rüge als unbegründet.
5.
Die Beschwerdeführerin wirft der Vorinstanz schliesslich Willkür und eine Verletzung von Bundesrecht vor, da das Dispositiv der Begründung widerspreche. In ihren Erwägungen habe die Vorinstanz ausgeführt, die internen Dokumente müssten nicht herausgegeben werden, sondern es müsse im Rahmen der Rechenschaftspflicht darüber berichtet bzw. Auskunft erteilt werden. Im Dispositiv heisse es demgegenüber ohne weitere Begründung, gewisse Kennzahlen und Berechnungen sowie Telefonprotokolle und -aufzeichnungen seien zu edieren und andere Informationen seien nachzuweisen. Die Vorinstanz scheine jedenfalls im Ergebnis die Rechenschaftspflicht einer Editionspflicht bzw. einem Recht zur Einsichtnahme oder auf Herausgabe von Kopien gleichzusetzen. Dies entspreche nicht ihren Erwägungen. Zudem habe die Vorinstanz sie zum Nachweis von Exposures und Net Present Values verpflichtet, auf die anlässlich von Telefonaten vom 18. und 20. Dezember 2006 sowie 3. und 4. Januar 2007 explizit Bezug genommen worden sei, obwohl in den Erwägungen der 4. Januar 2007 nicht erwähnt worden sei.
Das Dispositiv eines Entscheids ist im Lichte der Entscheidbegründung auszulegen (<ref-ruling> E. 4a S. 478 mit Hinweisen; Urteil 4P.116/1999 vom 17. September 1999 E. 5c, nicht publ. in: <ref-ruling>). Die Vorinstanz hat zur Rechenschaftspflicht ausgeführt, die internen Dokumente seien zur Einsichtnahme und Anfertigung von Kopien vorzulegen oder es seien Kopien dieser Dokumente auszuhändigen. In gewissen Fällen sei zur Berücksichtigung schutzwürdiger Geheimhaltungsinteressen allenfalls auch eine andere Form der Rechenschaftsablegung wie etwa ein Bericht über den Inhalt der internen Dokumente denkbar. Entgegen der Ansicht der Beschwerdeführerin ist hier ein Widerspruch zwischen Dispositiv und Begründung nicht erkennbar. Dasselbe gilt für die Erwähnung des 4. Januar 2007. Dieses Datum fehlt lediglich in einem Satz, wird aber in derselben Erwägung weiter unten wiederum aufgeführt. Die Rüge der Verletzung von Bundesrecht ist damit unbegründet.
6.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 12'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 14'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 19. November 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier