Sachverhalt:
A. A.a K._ (Klägerin, Beschwerdeführerin) war mit A._ verheiratet, der 1947 eine Druckmaschine für Banknoten erfunden und entworfen hatte. Im Jahr 1952 schloss er mit dem deutschen Unternehmen Y._ AG einen langfristigen Lizenzvertrag betreffend die Herstellung von Druckmaschinen für Banknoten ab.
Im Jahr 1965 gründete A._ zusammen mit der englischen Gesellschaft Z._ Ltd das Unternehmen Z.A._ S.A. mit Sitz in Q._ / Schweiz. Die Aktien der Z.A._ wurden zu je 50 % von A._ und von einer Gesellschaft der Z._-Gruppe gehalten. Die Z.A._ war Patentinhaberin für Gelddruckmaschinen, die von der deutschen Lizenznehmerin Y._ hergestellt wurden.
Im Jahr 1974 übertrug A._ seinen Aktienanteil an der Z.A._ an seinen Sohn (und Stiefsohn der Klägerin) B._. Dieser hielt die Aktien über seine luxemburgische Gesellschaft R._ Holding Cie., wobei vereinbart wurde, dass A._ das Stimmrecht und alle Dividendenansprüche behalte.
Am 3. Januar 1966 schloss die Z.A._ eine Kooperationsvereinbarung mit der T._ Ltd. ab, einer Gesellschaft nach dem Recht der Bahamas, an der A._ und die Z._ zu je 50 % beteiligt waren. Die T._ Ltd. war fortan als Zwischenhändlerin zwischen der Z.A._ und der Y._ tätig. Die T._ Ltd. kaufte somit die Banknotendruckmaschinen von der Y._ und verkaufte sie mit einem Gewinn an die Z.A._, bevor diese dieselben Maschinen an ihre Kunden weiterverkaufte. Dies führte dazu, dass der ursprünglich bei der Z.A._ angefallene Gewinn nun grossteils bei der T._ Ltd. anfiel und nur noch untergeordnet bei der Z.A._. Dadurch wurde der von der Z.A._ zur T._ Ltd. abgeführte Gewinn der Besteuerung in der Schweiz entzogen.
Am 1. Mai 1991 gründete A._ den U._ Trust nach dem Recht der Bahamas. Der U._ Trust war über drei Offshore-Gesellschaften zu 50 % an der V._ Ltd. beteiligt, einer Gesellschaft nach dem Recht der Britischen Jungferninseln. Die anderen 50 % hielt die Z._. Die V._ Ltd. erhielt von A._ und der Z._ sämtliche Aktien der T._ Ltd. übertragen. Im Ergebnis hielten nun der U._ Trust und die Z._ zu gleichen Teilen die Aktien der T._ Ltd. Das Trusteinkommen bestand ausschliesslich aus den Gewinnen, die von der Z.A._ abgeführt wurden.
A.b Nach dem Ableben von A._ am 21. April 1992 wurden seine Ehefrau K._ sowie sein Sohn B._ zu gleichen Teilen Begünstigte des U._ Trust. Zwischen diesen beiden entstand ein Konflikt, weshalb B._ die Klägerin auskaufen und ihre Trust-Beteiligung übernehmen wollte. Nach langen Verhandlungen schlossen B._ und K._ am 24. September 1999 eine als "Principal Agreement" bezeichnete Vereinbarung ab, wonach die Klägerin gegen eine Entschädigung von Fr. 36.5 Mio. auf ihre Stellung als Begünstigte und Protektorin am U._ Trust verzichtete. Nach Abschluss des Principal Agreement veranlasste B._ per 31. März 2000 die Beendigung der Offshore-Struktur, insbesondere die Auflösung des Gewinnabführungsvertrags zwischen der Z.A._ und der T._ Ltd.
A.c Am 25. Juli 2000 eröffnete die Eidgenössische Steuerverwaltung (EStV), Abteilung Verrechnungssteuer, ein Verfahren gegen die Z.A._ betreffend deren vertragliche Vereinbarung mit der T._ Ltd. für den Zeitraum der Geschäftsjahre 1994/1995 bis 1998/1999. Mit Schreiben vom 18. Mai 2001 erliess die EStV einen Steuer-Einschätzungsentscheid, nach dem sie den Betrag von Fr. 70'041'000.-- als ungerechtfertigt erzielte Gewinne durch die T._ Ltd. über die Z.A._ mittels Offshore-Vereinbarungen (ungenügende Marge) für die fünf erwähnten Geschäftsjahre festlegte und die Nachzahlung von Verrechnungssteuern in der Höhe von Fr. 24'514'000.-- und Verzugszinsen von Fr. 3'838'383.-- forderte. Weiter verpflichtete die EStV die Z.A._ in diesem Schreiben, die Verrechnungssteuer gemäss Art. 14 des Bundesgesetzes über die Verrechnungssteuer (VStG) auf die T._ Ltd. zu überwälzen. Den Betrag von Fr. 3'838'383.-- für die Verzugszinsen bezahlte die Z.A._, während die R._ Holding Cie. und die Z._ je die Hälfte (d.h. Fr. 12'257'000.--) der Steuerforderung bezahlten.
A.d In der Folge forderte B._ von der Klägerin die Hälfte des von ihm bezahlen Betrags mit der Begründung, sie habe in gleicher Weise wie er von der Offshore-Struktur profitiert. Die Klägerin lehnte jede Haftung ab.
Am 16. Mai 2002 machte B._ ein Schiedsverfahren gegen die Klägerin anhängig. Das Schiedsgericht verpflichtete sie in der Folge mit Urteil vom 23. April 2007 zur Zahlung von Fr. 5'679'887.50 zuzüglich Zinsen von 5 % seit 17. Mai 2002 sowie Verfahrenskosten von Fr. 432'000.--. Zur Begründung führte das Schiedsgericht aus, dass die Beziehungen zwischen dem U._ Trust und der Z._ als einfache Gesellschaft zu qualifizieren seien mit dem Zweck, eine Offshore-Struktur zu unterhalten und zu kontrollieren, um Gewinne einer Schweizer Gesellschaft (Z.A._) den schweizerischen Steuern zu entziehen, womit der Schwerpunkt der einfachen Gesellschaft in der Schweiz liege und schweizerisches Recht anwendbar sei. Weiter gelangte das Schiedsgericht zum Schluss, dass die nachträglich zur Bezahlung von Verrechnungssteuern verpflichtete Z.A._ einen (öffentlich-rechtlichen) Regressanspruch gegen die T._ Ltd. als Begünstigte der verdeckten Gewinnausschüttung erworben habe. Die gesamte Steuerschuld der Z.A._ (und damit in gleichem Mass auch die Regressschuld der T._ Ltd.) sei tatsächlich und unbestrittenermassen je zur Hälfte von der R._ Holding Cie. (namens B._) und von der Z._ bezahlt worden. Sodann erwog das Schiedsgericht, dass auch die T._ Ltd. ihrerseits - im gleichen Augenblick, in dem die Z.A._ einen gesetzlichen Regressanspruch gegen die T._ Ltd. erworben habe - einen Regressanspruch gegen diejenigen Personen erworben habe, die am Ende die verdeckte Gewinnausschüttung erhalten hätten. Dieser sei Teil des Offshore-Arrangements zwischen der einfachen Gesellschaft (bestehend aus der Z._ und dem U._ Trust als Treuhänder der Begünstigten) und der T._ Ltd. Dieser Regressanspruch sei vertraglicher Natur und die drei letztlich Begünstigten der verdeckten Gewinnausschüttung (Z._ sowie die Klägerin und B._ aus dem U._ Trust) hafteten in Anwendung von Art. 544 Abs. 3 OR für diesen Regressanspruch, und zwar gemäss Art. 551 OR auch nach Beendigung und Auflösung der einfachen Gesellschaft, wobei im internen Verhältnis B._ in die von ihm für die Klägerin bezahlte Forderung in der Höhe von Fr. 5.6 Mio. subrogiert sei.
Am 5. Oktober 2007 bezahlte die Klägerin den Betrag von Fr. 7'366'894.34 an B._.
A.e Die Klägerin wurde im Hinblick auf den Abschluss der Vereinbarung mit B._ vom 24. September 1999 von der Anwaltskanzlei und Kollektivgesellschaft von X._ (Beklagte, Beschwerdegegnerin) beraten.
Die Klägerin warf der Beklagten in der Folge vor, sie habe entgegen entsprechenden Vorgaben ihrerseits nicht sichergestellt, dass sie mit dem vollständigen Auskauf auch aus jeder Haftung entlassen sei. Aus diesem Grund sei sie mit Schiedsurteil vom 23. April 2007 zur Bezahlung des hälftigen Anteils der von B._ geleisteten Steuernachzahlung für eine Periode verpflichtet worden, als sie noch Mitberechtigte am Trust gewesen sei; zudem seien ihr infolge der Pflichtverletzungen Verfahrenskosten auferlegt und Anwaltskosten verursacht worden.
Die Beklagte widersetzte sich dem geltend gemachten Ersatzanspruch.
B. Am 3. Dezember 2009 stellte die Klägerin beim Handelsgericht des Kantons Zürich das Rechtsbegehren, es sei die Beklagte zu verpflichten, ihr den Betrag von Fr. 7'139'216.15 zuzüglich Zins zu 5 % seit 17. Mai 2002 von Fr. 5'895'887.50 sowie zuzüglich Zins zu 5 % seit 2. Februar 2004 von Fr. 513'664.35 zu bezahlen.
Mit Urteil vom 16. August 2011 wies das Handelsgericht die Klage ab. Es bejahte zwar eine Sorgfaltspflichtverletzung der Beklagten, hielt der Klägerin jedoch vor, sie habe weder den Kausalzusammenhang noch den Schaden genügend substantiiert.
C. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin dem Bundesgericht, es sei das Urteil des Handelsgerichts des Kantons Zürich vom 16. August 2011 aufzuheben und ihre Klage gutzuheissen. Eventualiter sei die Sache zur Durchführung eines Beweisverfahrens und zu neuer Entscheidung an die Vorinstanz zurückzuweisen, und es sei die Vorinstanz insbesondere anzuweisen, den Parteien Gelegenheit zu geben, vor der Beweisabnahme Beweismittel zu nennen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Die Beschwerdeführerin reichte dem Bundesgericht eine Replik, die Beschwerdegegnerin eine Duplik ein.
D. Mit Verfügung vom 27. Oktober 2011 wies das Bundesgericht das Gesuch der Beschwerdeführerin um Gewährung der aufschiebenden Wirkung ab.

Erwägungen:
1. Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 75 Abs. 1 und Abs. 2 lit. b sowie Art. 90 BGG). Dagegen steht die Beschwerde in Zivilsachen offen. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
2. Die Beschwerdeführerin rügt, die Vorinstanz habe überhöhte Anforderungen an die Substantiierung des (hypothetischen) Kausalzusammenhangs sowie des Schadens gestellt.
2.1 Die Vorinstanz erwog, die Ausführungen in der Klageschrift beschränkten sich auf einen pauschalen Hinweis hinsichtlich der Kausalität. Angesichts dieser zu allgemein gehaltenen Ausführungen seien anlässlich der Referentenaudienz und mit Instruktionsverfügung vom 7. Juni 2010 detaillierte Substantiierungshinweise an die Beschwerdeführerin ergangen. Die Beschwerdeführerin habe sodann in ihrer Replikschrift insgesamt fünf verschiedene denkbare Kausalverläufe dargelegt, nämlich die Möglichkeit, dass a) das Principal Agreement mit unverändertem Inhalt und mit einer Saldo- oder Enthaftungsklausel im ausdrücklichen Einverständnis mit B._ zustande gekommen wäre, dass b) das Principal Agreement mit unverändertem Inhalt und mit einer Saldo- oder Enthaftungsklausel zufolge richterlicher Vertragsergänzung zustande gekommen wäre oder das Principal Agreement mit einer Saldo- oder Enthaftungsklausel und unverändertem Inhalt, d.h. einem reduzierten Kaufpreis von c) Fr. 35 Mio. bzw. d) Fr. 33.65 Mio. bzw. e) Fr. 31 Mio. zustande gekommen wäre. Im Rahmen der Schadensberechnung führe die Beschwerdeführerin noch zwei weitere mögliche Kausalverläufe auf, nämlich dass gar kein Principal Agreement abgeschlossen worden wäre und f) die Offshore-Struktur auf unbestimmte Zeit weitergeführt worden bzw. g) die Struktur ohne Principal Agreement beendet worden wäre.
Die Vorinstanz hält der Beschwerdeführerin vor, sie stelle mit ihren Ausführungen in der Replikschrift eine ganze Auswahlsendung möglicher Kausalverläufe zur Diskussion. Um den hypothetischen Kausalzusammenhang zwischen der Vertragsverletzung durch Unterlassung und dem Schaden nachzuweisen, hätte sie jedoch darlegen müssen, welcher dieser möglichen Kausalverläufe der überwiegend wahrscheinliche sei. Zudem hätte sie darlegen müssen, weshalb der von ihr behauptete Kausalverlauf der überwiegend wahrscheinliche sei, wie dies mit der Instruktionsverfügung vom 7. Juni 2010 angeordnet worden sei.
Im Weiteren führe die Beschwerdeführerin in ihrer Replikschrift beiläufig auch noch die Variante ins Feld, dass bei gehöriger Aufklärung gar kein Principal Agreement abgeschlossen worden wäre, was in diametralem Widerspruch zur Behauptung stehe, wonach die Parteien ein Principal Agreement mit einer Saldo- bzw. Enthaftungsklausel abgeschlossen hätten. Die Tatsachenbehauptung sei demnach widersprüchlich und unstatthaft. Die Beschwerdeführerin habe es zudem etwa unterlassen, bezüglich der fraglichen Saldo- bzw. Enthaftungsklausel im Einzelnen und konkret darzutun, wie diese sie vor der im Schiedsverfahren auferlegten Verpflichtung geschützt hätte.
Auch in Bezug auf den Schaden stelle die Beschwerdeführerin eine Auswahl möglicher Berechnungen zur Diskussion, ohne sich für eine derselben zu entscheiden. Ebenso wenig erläutere sie, wie ihre Schadensberechnungen zum Rechtsbegehren stünden. Die Beschwerdeführerin habe somit weder den (hypothetischen) Kausalzusammenhang zwischen der geltend gemachten Vertragsverletzung und dem geltend gemachten Schaden noch den Schaden selbst genügend dargetan, weshalb die Klage abzuweisen sei.
Auch in Bezug auf den Schaden stelle die Beschwerdeführerin eine Auswahl möglicher Berechnungen zur Diskussion, ohne sich für eine derselben zu entscheiden. Ebenso wenig erläutere sie, wie ihre Schadensberechnungen zum Rechtsbegehren stünden. Die Beschwerdeführerin habe somit weder den (hypothetischen) Kausalzusammenhang zwischen der geltend gemachten Vertragsverletzung und dem geltend gemachten Schaden noch den Schaden selbst genügend dargetan, weshalb die Klage abzuweisen sei.
2.2 2.2.1 Die Pflicht einer Prozesspartei, ihre Sachdarstellungen zu substantiieren, bedeutet, dass die Partei die Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar dazulegen hat, dass darüber Beweis abgenommen werden kann. Dabei bestimmt das Bundesrecht, wie weit ein Sachverhalt zu substantiieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann. Wie weit die anspruchsbegründenden Tatsachen im Hinblick darauf inhaltlich zu substantiieren sind, ergibt sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei. Tatsachenbehauptungen müssen dabei so konkret formuliert sein, dass ein substantiiertes Bestreiten möglich ist oder der Gegenbeweis angetreten werden kann (<ref-ruling> E. 2b S. 339; seither <ref-ruling> E. 3.3 S. 162; <ref-ruling> E. 2b S. 368; <ref-ruling> E. 3e S. 187 f.). Bestreitet der Prozessgegner das an sich schlüssige Vorbringen der behauptungsbelasteten Partei, kann diese gezwungen sein, die rechtserheblichen Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar darzulegen, dass darüber Beweis abgenommen werden kann (BGE <ref-ruling> E. 2c S. 369; <ref-ruling> E. 3 S. 341). Stellt das kantonale Gericht jedoch überhöhte Anforderungen an die Substantiierungslast, indem es detailliertere Tatsachenbehauptungen verlangt als für die rechtliche Beurteilung des anspruchsbegründenden Sachverhalts nötig, verletzt es Bundesrecht und namentlich Art. 8 ZGB (<ref-ruling> E. 2a S. 291; <ref-ruling> E. I.2c S. 181).
2.2.2 Die Parteien gingen bereits im vorinstanzlichen Verfahren übereinstimmend davon aus und stellen auch im Beschwerdeverfahren nicht in Frage, dass zwischen ihnen ein Auftragsverhältnis bestand. Wie die Vorinstanz zutreffend festhält, obliegt der Beschwerdeführerin, die wegen mangelhafter Erfüllung des Auftrags Schadenersatz beansprucht (Art. 97 Abs. 1 i.V.m. Art. 398 OR), die Behauptungs- und Beweislast hinsichtlich des Schadens, der Vertragsverletzung und des Kausalzusammenhangs zwischen der Vertragsverletzung und dem geltend gemachten Schaden (vgl. Art. 8 ZGB).
Bei einer Unterlassung bestimmt sich der Kausalzusammenhang danach, ob der Schaden auch bei Vornahme der unterlassenen Handlung eingetreten wäre. Es geht um einen hypothetischen Kausalverlauf, für den nach den Erfahrungen des Lebens und dem gewöhnlichen Lauf der Dinge eine überwiegende Wahrscheinlichkeit sprechen muss (<ref-ruling> E. 3d S. 165 f.). Grundsätzlich unterscheidet die Rechtsprechung auch bei Unterlassungen zwischen natürlichem und adäquatem Kausalzusammenhang. Während bei Handlungen die wertenden Gesichtspunkte erst bei der Beurteilung der Adäquanz zum Tragen kommen, spielen diese Gesichtspunkte bei Unterlassungen in der Regel schon bei der Feststellung des hypothetischen Kausalverlaufs eine Rolle. Es ist daher bei Unterlassungen in der Regel nicht sinnvoll, den festgestellten oder angenommenen hypothetischen Geschehensablauf auch noch auf seine Adäquanz zu prüfen. Die Feststellungen des Sachrichters im Zusammenhang mit Unterlassungen sind daher entsprechend der allgemeinen Regel über die Verbindlichkeit der Feststellungen zum natürlichen Kausalzusammenhang für das Bundesgericht bindend; nur wenn die hypothetische Kausalität ausschliesslich gestützt auf die allgemeine Lebenserfahrung - und nicht gestützt auf Beweismittel - festgestellt wird, unterliegt sie der freien Überprüfung durch das Bundesgericht (<ref-ruling> E. 3.5 S. 311, 715 E. 2.3 S. 718 f.; <ref-ruling> E. 5a S. 447 f.; je mit Hinweisen).
2.2.3 Die Beschwerdeführerin hat in ihrer Klageschrift behauptet, bei einer Aufnahme einer Saldo- und/oder einer Enthaftungsklausel ins Principal Agreement vom 24. September 1999 wäre die Klage von B._ abgewiesen worden und hätte entsprechend keine Zahlung der Beschwerdeführerin erfolgen müssen. Die Schiedsklage von B._ sei - was sich aus dem Schiedsurteil ergebe - gutgeheissen worden, weil eine Saldo- bzw. Enthaftungsklausel im Principal Agreement vom 24. September 1999 gefehlt und so zur Lückenfüllung des Schiedsgerichts mit den Bestimmungen über die einfache Gesellschaft geführt habe, was den für sie negativen Entscheid bewirkt habe. Damit waren die Tatsachenbehauptungen hinsichtlich des hypothetischen Kausalverlaufs zumindest so konkret formuliert, dass der Beschwerdegegnerin ein substantiiertes Bestreiten möglich war. Dies tat die Beschwerdegegnerin denn auch, indem sie vorbrachte, B._ hätte niemals eine Saldo- oder Enthaftungsklausel wie von der Beschwerdeführerin vorgeschlagen akzeptiert und unterzeichnet; er habe allfällige Probleme nicht übernehmen wollen, wie er selbst verlautbart habe.
In ihrer Replikschrift hat die Beschwerdeführerin unter Hinweis auf die vorinstanzlichen Substantiierungshinweise vom 7. Juni 2010 ausgeführt, welche konkrete Saldo- bzw. Enthaftungsklausel sie vor einer Inanspruchnahme durch B._ für angefallene Verrechnungssteuern geschützt hätte. Sie hat weiter dargelegt, weshalb B._ das Principal Agreement vom 24. September 1999 ihrer Ansicht nach auch dann unterzeichnet hätte, wenn auf der Aufnahme einer Enthaftungs- bzw. Saldoklausel in die Vereinbarung beharrt worden wäre. Sie hat unter anderem ausgeführt, dass es B._ darum ging, seine Beteiligung an der Z.A._ zu verkaufen, wobei die potentielle Erwerberin zu einem Kauf dieser Beteiligung nur unter der Voraussetzung bereit gewesen sei, dass B._ die Beschwerdeführerin vorgängig auskauft. Sie hat zudem dargelegt, die Aussagen von B._ sowie seines Rechtsanwalts im Rahmen des Schiedsverfahrens liessen auf seine damalige Bereitschaft schliessen, das Principal Agreement auch mit einer Saldo- bzw. Enthaftungsklausel zu ansonsten unveränderten Bedingungen abzuschliessen. Indem die Beschwerdeführerin behauptet, sie hätte im Falle der Aufnahme einer Saldo- bzw. Enthaftungsklausel im Schiedsverfahren obsiegt bzw. B._ hätte gar nie geklagt, weshalb es nicht zum für sie negativen Schiedsentscheid mit Fr. 5'679'887.50 Schadenersatz und Fr. 432'000.-- auferlegten Verfahrenskosten sowie eigenen Anwaltskosten von Fr. 1'027'328.65 gekommen wäre, genügen ihre Ausführungen für die gerichtliche Beurteilung der gestützt auf Art. 97 Abs. 1 i.V.m. Art. 398 Abs. 1 und 2 OR geltend gemachten Anspruchsvoraussetzungen des Kausalzusammenhangs sowie des Schadens. Die Behauptungen der Beschwerdeführerin sind genügend konkret, dass der Beschwerdegegnerin ein substantiiertes Bestreiten ermöglicht worden ist und diese den Gegenbeweis antreten kann. Sie sind auch genügend umfassend und klar, dass darüber Beweis abgenommen werden kann.
2.2.4 Die Vorinstanz wirft der Beschwerdeführerin zu Unrecht vor, sie habe mit ihren Ausführungen in der Replikschrift eine ganze Auswahlsendung möglicher Kausalverläufe zur Diskussion gestellt und sie hätte sich für die wahrscheinlichste Möglichkeit entscheiden und überdies darlegen müssen, inwiefern dieser der "überwiegend wahrscheinliche" sei. Sie stellt damit überhöhte Substantiierungsanforderungen an die Haftungsvoraussetzung des (hypothetischen) Kausalzusammenhangs. Wie die Vorinstanz in ihren rechtlichen Erwägungen zutreffend festhält, ist ein direkter Beweis eines Kausalzusammenhangs zwischen dem entstandenen Schaden und einer vorangehenden Unterlassung nicht möglich. Das Gericht bewegt sich somit notgedrungen in Spekulationen, da es die möglichen Folgen einer nicht vorgenommenen Handlung zu beurteilen hat (vgl. ROLAND BREHM, Berner Kommentar, 2006, N. 119 zu Art. 41 OR). Angesichts der Unmöglichkeit eines direkten Beweises sind - analog der Schadensschätzung nach Art. 42 Abs. 2 OR - tiefere Anforderungen an die Substantiierung zu stellen; entsprechend sind Sachvorbringen ausnahmsweise auch dann als ausreichend substantiiert gelten zu lassen, wenn die bestehenden Lücken erst noch durch das Beweisverfahren geschlossen werden müssen (vgl. <ref-ruling> E. 3 S. 341; MAX GULDENER, Zivilprozessrecht, 3. Aufl. 1979, S. 167). Es muss der Beschwerdeführerin angesichts der hypothetischen Natur des Geschehensablaufs bei pflichtgemässem Handeln der Beschwerdegegnerin zudem möglich sein, verschiedene Szenarien des hypothetischen Geschehensablaufs hinsichtlich der Vertragsverhandlungen mit B._ zu behaupten, die nach ihrer Ansicht zur Vermeidung des behaupteten Schadens geführt hätten (vgl. etwa Urteil 4A_144/2009 vom 6. Oktober 2009 E. 3.3). Dass von der Beschwerdeführerin hinsichtlich der (hypothetischen) Vertragsverhandlungen bei pflichtgemässer Mandatsführung keine allzu hohen Anforderungen verlangt werden können, ergibt sich im Übrigen daraus, dass der Ausgang der Verhandlungen nicht nur von ihren eigenen Entscheidungen abhing, sondern auch denjenigen der Vertragspartei B._, mithin von Umständen beeinflusst war, die sich ausserhalb ihres Einflussbereichs abspielten.
Der Vorwurf, die Beschwerdeführerin habe ihre Substantiierungsobliegenheit verletzt, indem sie eine ganze Auswahlsendung möglicher Kausalverläufe zur Diskussion gestellt habe, erscheint unter Berücksichtigung des Grundsatzes von Treu und Glauben (Art. 9 BV) auch insoweit ungerechtfertigt, als die Vorinstanz der Beschwerdeführerin mit Verfügung vom 7. Juni 2010 ausdrücklich auftrug, "sich im Hinblick auf den geltend gemachten Schaden mit den verschiedenen möglichen Ergebnissen der Vertragsverhandlung auseinanderzusetzen". Es kann daher nicht angehen, die Klage der Beschwerdeführerin in der Folge mit der Begründung abzuweisen, sie habe verschiedene mögliche Kausalverläufe zur Diskussion gestellt. Ebenso wenig kann der Beschwerdeführerin Widersprüchlichkeit vorgeworfen werden, wenn sie sich in ihrer Replik auch mit der Variante auseinandersetzte, dass bei pflichtgemässer Mandatsführung gar kein Principal Agreement abgeschlossen worden wäre, wurde dies doch von der Beschwerdegegnerin in der Klageantwort eingewendet und kann es der Beschwerdeführerin daher nicht verwehrt sein, sich mit dem Argument der Gegenpartei auseinanderzusetzen und aufzuzeigen, dass der Schaden - ganz oder teilweise - auch dann eingetreten wäre, wenn vom hypothetischen Geschehensablauf der Gegenseite ausgegangen wird. Zudem erging mit Verfügung vom 7. Juni 2010 der Substantiierungshinweis an die Beschwerdeführerin, sie habe "im Einzelnen darzulegen, welche Auswirkungen das Scheitern des Abschlusses einer Vereinbarung zwischen ihr und B._ vom 23./24. September 1999 auf ihr Vermögen gehabt hätte".
2.2.5 Mit ihrer Erwägung, die von der Beschwerdeführerin vorgenommene Darstellung mehrerer möglicher Kausalverläufe mache klar, dass keiner von diesen der überwiegend wahrscheinliche sein könne, da neben den behaupteten Ursachenfolgen weitere Möglichkeiten bestünden, die ebenso sehr in Frage kommen oder sogar näher liegen, verkennt die Vorinstanz die Eigenheit hypothetischer Kausalverläufe, die sich nie unmittelbar beweisen und feststellen lassen. Die Schwierigkeiten bei der Beurteilung hypothetischer Vorgänge bzw. der Folgen von Unterlassungen rechtfertigen eine Klageabweisung nicht. Vielmehr hat sich das Gericht auch in dieser Konstellation gestützt auf Beweismittel, die Lebenserfahrung und Annahmen über den gewöhnlichen Lauf der Dinge eine Überzeugung darüber zu bilden, ob der behauptete Schaden bei Vornahme der unterlassenen Handlung ebenfalls eingetreten wäre. Dazu gehört unter anderem die Frage, ob die Behauptung der Beschwerdeführerin zutrifft, die von ihr in der Replik vorgelegten ausformulierten Klauseln hätten eine Schiedsklage verhindert bzw. zu einem anderen Ausgang des Schiedsverfahrens geführt.
Die Vorinstanz kann auf eine Prüfung der Klage nicht mit dem Hinweis darauf verzichten, es sei gänzlich offen, wie der Entscheid des Schiedsgerichts bei Vorliegen einer Saldo- bzw. Enthaftungsklausel ausgegangen wäre. Inwiefern die Behauptung der Beschwerdeführerin zum Ausgang des Schiedsverfahrens zutrifft, beschlägt die materielle Begründetheit der Schadenersatzforderung, ist aber für die Frage, ob die Sachbehauptungen den bundesrechtlichen Substantiierungsanforderungen genügen, nicht erheblich; ebenso wenig ist mit Bezug auf die hinreichende Substantiierung massgebend, dass "die Klausel vom Schiedsgericht [hätte] ausgelegt und auf ihre Gültigkeit und Tragweite hin überprüft werden müssen" bzw. "dass eine Saldoklausel einschränkend auszulegen ist und zudem wegen Willensmängeln angefochten werden kann" (vgl. <ref-ruling> E. 3.4.4 S. 328).
Indem die Vorinstanz die Beschwerdeführerin wegen mangelnder Substanziierung des hypothetischen Kausalzusammenhangs zwischen der Vertragsverletzung und dem geltend gemachten Schaden daran hindert, den Beweis anzutreten, verletzt sie Bundesrecht.
2.3 Entsprechendes gilt für die Erwägung der Vorinstanz, die Klage sei abzuweisen, weil die Beschwerdeführerin den Schaden nicht genügend substantiiert habe. Nachdem die Beschwerdeführerin in ihren Rechtsschriften zulässigerweise verschiedene mögliche Ergebnisse der Vertragsverhandlungen vorgebracht hatte, stellte sie folgerichtig auch die vermögensrechtlichen Folgen je nach dem hypothetischen Ausgang der Verhandlungen dar. Mit Verfügung vom 7. Juni 2010 wurde sie von der Vorinstanz auch ausdrücklich aufgefordert, sich im Hinblick auf den geltend gemachten Schaden mit den verschiedenen möglichen Ergebnissen der Vertragsverhandlungen auseinanderzusetzen und insbesondere im Einzelnen darzulegen, welche Auswirkungen der Abschluss einer anderslautenden Vereinbarung sowie das Scheitern der Verhandlungen auf ihr Vermögen gehabt hätten.
Die Beschwerdeführerin machte bereits in ihrer Klageschrift geltend, der Schaden (bei Abschluss des Principal Agreement vom 24. September 1999 mit Saldo- bzw. Enthaftungsklausel und ansonsten unverändertem Inhalt) bestehe in der mit dem Schiedsurteil auferlegten Entschädigungszahlung von Fr. 5'679'887.50 an B._, Verfahrenskosten von Fr. 432'000.-- und eigenen Anwaltskosten für das Schiedsverfahren von Fr. 1'027'328.65, also insgesamt Fr. 7'139'216.15, zuzüglich Verzugszinsen. Dieser Betrag stimmt mit dem Rechtsbegehren überein.
Wie die Beschwerdeführerin mit Hinweis auf ihre Replikschrift ohne weiteres nachvollziehbar aufzeigt, machte sie auch in dieser Rechtsschrift unter dem Titel "PA mit Enthaftungsklausel und ansonsten unverändertem Inhalt" eine Zahlung gemäss Schiedsspruch von Fr. 5'679'887.50, Verfahrenskosten von Fr. 432'000.-- und Anwaltskosten von Fr. 1'027'323.65, jeweils zuzüglich Verzugszinsen, geltend. Dass der in der Replik aufgeführte Gesamtbetrag über dem im Rechtsbegehren genannten Betrag liegt, wie die Vorinstanz beanstandet, lässt sich unzweideutig und sofort erkennbar darauf zurückführen, dass die Verzugszinsen auf der geleisteten Zahlung in der Aufstellung - im Gegensatz zum Rechtsbegehren - in absoluten Zahlen ausgedrückt werden und die Beschwerdeführerin in der Replik einen zusätzlichen Schadensposten für entgangenen Gewinn im Betrag von Fr. 995'382.06 aufführt.
Eine Abweisung der Klage lässt sich nicht mit dem Vorwurf rechtfertigen, die Beschwerdeführerin erläutere nicht, wie ihre Schadensberechnungen zum Rechtsbegehren stünden. Entgegen der Ansicht der Vorinstanz hat die Beschwerdeführerin ihren Schaden genügend substantiiert.
3. Die Beschwerdegegnerin bringt vor, die Klage wäre ohnehin abzuweisen, weil die Vorinstanz ihr zu Unrecht eine Pflichtverletzung vorgeworfen und damit Art. 398 Abs. 1 und Abs. 2 OR verletzt habe.
Ihr Einwand verfängt nicht, der damals für sie tätige Rechtsanwalt I._ habe im Rahmen seiner Beratungstätigkeit für die Beschwerdeführerin nicht voraussehen können, dass die Beschwerdeführerin auch nach ihrem Ausscheiden aus der Offshore-Struktur für allfällige Verrechnungssteuerfolgen einer Drittgesellschaft aus der Zeit vor ihrem Ausscheiden haften könnte. Sie verkennt mit ihren Ausführungen, dass die Vorinstanz Rechtsanwalt I._ nicht vorgeworfen hat, er hätte ein bestimmtes Steuerrisiko bzw. eine daraus entstehende Schadenersatzforderung gegen die Beschwerdeführerin aufgrund nachträglich verhängter Verrechnungssteuern bei einer bestimmten Gesellschaft der Offshore-Struktur voraussehen und die Beschwerdeführerin darüber aufklären müssen. Vielmehr hat sie die Missachtung der Sorgfaltspflicht ohne Verletzung von Bundesrecht darin erblickt, dass die Vorbereitung und Abfassung des Principal Agreement vom 24. September 1999 insoweit unzureichend war, als aufgrund der Offshore-Struktur ein gewisses Steuerrisiko im Raum stand und es sich daher aufdrängte, die Aufnahme einer Saldo- bzw. Enthaftungsklausel zu thematisieren. Die anwaltliche Pflichtwidrigkeit bestand somit darin, im konkreten Fall die Problematik allfälliger weiterer Ansprüche zwischen den Parteien, die insbesondere aufgrund der komplexen Offshore-Struktur und der damit verbundenen - wenn auch aus damaliger Sicht möglicherweise geringen - Steuerrisiken nicht auszuschliessen waren, weder erkannt noch vertraglich geregelt zu haben, obwohl sich ein Ausschluss allfälliger weiterer Forderungen der Gegenseite angesichts des Zwecks des Auskaufs aufgedrängt hätte.
Die Ausführungen der Beschwerdegegnerin zur Vorhersehbarkeit der konkret verfügten Verrechnungssteuern sowie der daraus folgenden Regressforderung gegen die Beschwerdeführerin stossen daher ins Leere. Der Vorinstanz ist keine Verletzung von Art. 398 Abs. 1 und 2 OR vorzuwerfen, wenn sie im konkreten Fall eine Sorgfaltspflichtverletzung der Beschwerdegegnerin bejahte.
4. Die Vorinstanz hat demnach die Beschwerdeführerin zu Unrecht wegen mangelnder Substantiierung daran gehindert, das Vorliegen eines Schadens sowie eines Kausalzusammenhangs zwischen der Vertragsverletzung durch Unterlassung und dem Schaden nachzuweisen. Entsprechend fehlen die tatsächlichen Feststellungen, um über die Klage im Rahmen des Beschwerdeverfahrens materiell zu entscheiden, weshalb der angefochtene Entscheid in teilweiser Gutheissung der Beschwerde aufzuheben und die Sache nach Art. 107 Abs. 2 BGG zu neuer Beurteilung an die Vorinstanz zurückzuweisen ist. Entgegen der in der Beschwerde vertretenen Ansicht rechtfertigen sich demgegenüber keine weitergehenden (vorsorglichen) Anweisungen an die Vorinstanz hinsichtlich der Durchführung eines Beweisverfahrens; gegen einen neuen Entscheid in der Sache wird wiederum das Rechtsmittel der Beschwerde offenstehen.
Dem Ausgang des Verfahrens entsprechend wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, das Urteil des Handelsgerichts des Kantons Zürich vom 16. August 2011 wird aufgehoben und die Sache zu neuer Beurteilung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 30'000.-- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 35'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 3. Mai 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann