Sachverhalt: A. A._ (Klägerin, Beschwerdeführerin) war Kundin bei der Bank B._ AG (Beklagte, Beschwerdegegnerin). Einen Teil ihres Vermögens überliess sie einer externen Vermögensverwalterin, der Z._ AG. An einer Sitzung vom 21. April 1997 soll vereinbart worden sein, dass die Beklagte der Klägerin einen Betrag von Fr. 8 Mio. (später zurückgeführt auf Fr. 5 Mio.) in Form eines Lombardkredits zur Verfügung stellt mit dem Zweck, dieses Kapital der externen Vermögensverwalterin zur Verwaltung zu überlassen. In der Folge warf die Klägerin der Beklagten vor, diese habe die Beschränkung der Vermögensverwaltungsvollmacht zugunsten der Vermögensverwalterin nicht eingehalten. So seien ohne Wissen der Klägerin viele, teilweise sehr spekulative Transaktionen auf Kredit abgewickelt worden. Diese hätten zudem entsprechende Transaktions- und Depotgebühren etc. generiert, an denen aufgrund einer zwischen der Beklagten und der Vermögensverwalterin bestehenden Retrozessionsvereinbarung diese beiden interessiert gewesen seien. B. B.a. Am 18. Oktober 2010 reichte die Klägerin beim Bezirksgericht Zürich Klage ein, mit der sie bezweckte, kontokorrentmässig den Zustand wieder herzustellen, wie wenn die ihrer Ansicht nach nicht autorisierten Transaktionen zwischen dem 19. Januar 1998 und dem 31. Oktober 2003 nicht erfolgt wären. Entsprechend beantragte sie, es seien die in dieser Zeitspanne vorgenommenen Gutschriften und Belastungen auf den wiederzueröffnenden Konten valutagerecht zu stornieren. Davon nahm sie die Gutschriften des Verkauferlöses der vor dem 19. Januar 1998 gehaltenen Wertschriften einschliesslich der Dividendengutschriften auf diesen Titeln sowie die Spesenbelastungen für die Kontoführung explizit aus. Sie verlangte, es seien die Saldi neu zu berechnen und die Wertschriftendepots nach Massgabe der Stornierung der Börsentransaktionen zu korrigieren. Dieses Begehren präzisierte die Klägerin im Laufe des Verfahrens, indem sie die Rückzahlung zweier Lombardkredite ebenfalls vom Begehren ausnahm und für verschiedene Daten die Mindest-Haben-Saldi angab, die auf den Konten auszuweisen seien. Mit Urteil und Beschluss vom 17. Mai 2013 wies das Bezirksgericht die Klage ab, soweit es darauf eintrat. B.b. Die Klägerin erhob Berufung beim Obergericht des Kantons Zürich. Im Hauptantrag verlangte sie, das Urteil und der Beschluss des Bezirksgerichts Zürich seien aufzuheben und die Sache sei zur Weiterführung des Verfahrens und zu neuem Entscheid in der Sache an das Bezirksgericht zurückzuweisen. Eventualiter trug sie auf Schutz des Rechtsbegehrens an, wie sie es bereits vor Bezirksgericht gestellt hatte. Das Obergericht trat im Gegensatz zum Bezirksgericht in allen Punkten auf die Klage ein und wies diese mit Urteil vom 29. Oktober 2013 ab. C. Mit Beschwerde in Zivilsachen beantragt die Klägerin dem Bundesgericht unter Aufrechterhaltung ihres vor Bezirks- und (als Eventualbegehren) vor Obergericht gestellten Rechtsbegehrens, das Urteil des Obergerichts sei aufzuheben und die Klage sei zu schützen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Sache zu neuer Entscheidung an dieses zurückzuweisen. Die Beschwerdegegnerin beantragt Abweisung der Beschwerde im Hauptantrag unter Kosten- und Entschädigungsfolgen zulasten der Beschwerdeführerin. Sie enthält sich eines Antrags zum Eventualantrag der Beschwerdeführerin; entsprechend seien weder bei einer Gutheissung noch bei einer Abweisung des Eventualantrags Kosten- und Entschädigungsfolgen zu Lasten oder zu Gunsten der Beschwerdegegnerin zu sprechen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.