Sachverhalt:
A. A.a X._, Zug, (Klägerin, Beschwerdeführerin) war Aktionärin der Z._ SA mit Sitz in Neuenburg. Sie hielt 50 % der Aktien; die anderen 50 % gehörten ihrem Bruder. Im November 1988 beauftragten die Geschwister den damaligen Schweizerischen Bankverein (nunmehr UBS AG) damit, einen Käufer für die Aktien zu suchen und es konnte mit der W._-Gruppe eine Interessentin gefunden werden.
Die Z._ SA verfügte mit rund Fr. 28 Mio. über sehr viel Liquidität. Die W._ Holding AG schlug zunächst vor, die Gesellschaft ohne diese Liquidität zu kaufen. Diesen Vorschlag lehnten die Verkäufer ab. Im August 1989 kam ein Vorvertrag zustande, in dem ein Preis von Fr. 40 Mio. für alle Aktien vereinbart wurde. Dieser Preis wurde im Oktober 1989 auf Fr. 37 Mio. reduziert.
Mit Schreiben vom 22. November 1989 beauftragte der Schweizerische Bankverein die Schweizerische Treuhandgesellschaft (STG), deren Verbindlichkeiten später durch die Y._ AG, Zürich, (Beklagte, Beschwerdegegnerin) übernommen wurden, zur Frage der Besteuerung des Verkaufs Stellung zu nehmen. Die STG bestätigte mit Schreiben vom 27. November 1989, die geplante Transaktion habe "aucune conséquence fiscale pour nos clients".
Am 18. Dezember 1989 wurde der Kaufvertrag abgeschlossen. Für die W._-Gruppe trat als Käuferin die (damals noch in Gründung befindliche) V._ SA, Neuenburg, auf. Der Preis für die von der Klägerin gehaltenen 50 % der Aktien wurde auf Fr. 18.62 Mio. festgelegt. Die Finanzierung des Kaufpreises erfolgte in der Weise, dass die Käuferin V._ SA ein Darlehen von Fr. 25 Mio. vom damaligen Bankverein erhielt, das durch die Verpfändung einer Festgeldanlage der übernommenen Z._ SA sichergestellt wurde.
A.b Im Jahre 1992 wurde die Transaktion von der Steuerverwaltung von Neuenburg als indirekte Teilliquidation besteuert. Die Klägerin wehrte sich zunächst gegen diese Besteuerung, musste aber mit der Zeit einsehen, dass dies erfolglos war und bezahlte schliesslich Steuern von rund Fr. 1.75 Mio. Sie vertrat in der Folge die Meinung, dass diese Steuerpflicht, erhöht um Zinsen und Kosten, einen Schaden darstelle, für den die Beklagte hafte.
B. B.a Mit Klage vom 24. Januar 2005 beim Zivilgericht Basel-Stadt verlangte die Klägerin, es sei die Beklagte zur Zahlung von Fr. 1 Mio. zuzüglich Zins zu 5 % ab Klageeinreichung zu verurteilen.
Mit Zwischenurteil vom 23. August 2006 stellte das Zivilgericht fest, dass die Beklagte passivlegitimiert sei. Dieser Zwischenentscheid wurde - nach einem ersten, vom Bundesgericht aufgehobenen Entscheid des Appellationsgerichts (Urteil 4A_256/2008 vom 29. Oktober 2008) - vom Appellationsgericht des Kantons Basel-Stadt mit Urteil vom 23. Januar 2009 bestätigt.
Mit Urteil vom 1. September 2010 hiess das Zivilgericht Basel-Stadt die Klage gut und verurteilte die Beklagte, der Klägerin Fr. 1 Mio., zuzüglich Zins zu 5 % ab dem 24. Januar 2005, zu bezahlen.
B.b Mit Entscheid vom 10. Februar 2012 hiess das Appellationsgericht des Kantons Basel-Stadt eine von der Beklagten gegen dieses Urteil des Zivilgerichts erhobene Berufung gut und wies die Klage ab.
Das Appellationsgericht erwog zunächst, es handle sich beim Beizug der Beklagten durch die beauftragte Bank um eine erlaubte Substitution, weshalb die Beklagte der Klägerin grundsätzlich für einen vertragswidrig verursachten Schaden hafte. Mit ihrer sorgfaltswidrigen Falschauskunft hinsichtlich der Steuerfolgen der fraglichen Transaktion sei der Beklagten zudem eine Vertragsverletzung vorzuwerfen. Das Appellationsgericht verneinte hingegen, dass der Klägerin aus der sorgfaltswidrigen Auskunft ein Schaden entstanden sei; das Gericht hielt nach Prüfung der verschiedenen von der Klägerin vorgebrachten Handlungsalternativen fest, es sei ihr der Nachweis nicht gelungen, dass bei Kenntnis der Besteuerungsgefahr eine entschädigungslose Steuerbefreiung hätte bewirkt werden können.
C. Mit Beschwerde in Zivilsachen beantragt die Klägerin dem Bundesgericht, es sei der Entscheid des Appellationsgerichts des Kantons Basel-Stadt vom 10. Februar 2012 aufzuheben und die Klage gutzuheissen. Eventualiter sei der angefochtene Entscheid aufzuheben und die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz beantragt in ihrer Vernehmlassung sinngemäss ebenfalls die Abweisung der Beschwerde.
Die Beschwerdeführerin hat dem Bundesgericht am 28. August 2012 eine Replik, die Beschwerdegegnerin am 13. September 2012 eine Duplik eingereicht.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
1.1 Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art 75 Abs. 1 und Art. 90 BGG). Dagegen steht die Beschwerde in Zivilsachen offen. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
1.2 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht (einschliesslich Bundesverfassungsrecht) gerügt werden (Art. 95 lit. a BGG; BGE 134 III 379 E. 1.2). Nicht zu den in Art. 95 BGG vorgesehenen Rügegründen gehört hingegen die Verletzung kantonaler Verfahrensvorschriften, deren Anwendung und Auslegung vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht beurteilt werden kann (BGE 136 I 241 E. 2.4; 135 III 513 E. 4.3 S. 521; 134 III 379 E. 1.2 S. 382 f.). Das kantonale Verfahren richtete sich noch nach der nunmehr aufgehobenen Zivilprozessordnung des Kantons Basel-Stadt vom 8. Februar 1875 (aZPO/BS; vgl. Art. 404 Abs. 1 und Art. 405 Abs. 1 der Schweizerischen Zivilprozessordnung [ZPO; SR 272]).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1; 133 II 249 E. 1.4.1; je mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5; 133 II 439 E. 3.2 S. 444).
Willkür im Sinne von Art. 9 BV liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 138 IV 13 E. 5.1 S. 22; 137 I 1 E. 2.4 S. 5; 136 I 316 E. 2.2.2. S. 318 f.; je mit Hinweisen).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (Urteile 4A_341/2011 vom 21. März 2012 E. 1.5.1; 4A_614/2011 vom 20. März 2012 E. 1.2; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
1.5 Die Ausführungen der Beschwerdeführerin sind über weite Strecken appellatorisch, indem sie unter Hinweis auf verschiedene Aktenstücke des kantonalen Verfahrens die vorinstanzlichen Feststellungen kritisiert und dem Bundesgericht einen Sachverhalt unterbreitet, der sich dem angefochtenen Entscheid nicht entnehmen lässt. Dabei verkennt sie mehrheitlich die gesetzlichen Begründungsanforderungen an eine hinreichende Sachverhaltsrüge.
So behauptet sie etwa, die nicht betriebsnotwendige Liquidität der Z._ SA habe Fr. 25 Mio. betragen und stützt ihren Standpunkt auf die nach ihrer Ansicht zutreffenden Fortführungs- und Liquidationswerte der Gesellschaft. Sie wirft der Vorinstanz zwar eine Verletzung des rechtlichen Gehörs und eine offensichtlich unvollständige bzw. willkürliche Würdigung des Sachverhalts vor, ohne dies jedoch hinreichend zu begründen. Unbeachtlich sind auch ihre Ausführungen zu den Zielen des erfolgten Verkaufs, zum vereinbarten Abschlag auf der nicht betriebsnotwendigen Liquidität, zum Hintergrund der Vertragsverhandlungen und Steuerabklärungen, zur Fremdfinanzierung und Verpfändung sowie zur Besteuerung der Transaktion, denen sich keine hinreichend substantiierte Sachverhaltsrügen im Sinne von Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG entnehmen lassen.
Neu und damit unbeachtlich (vgl. Art. 99 Abs. 1 BGG) ist die Behauptung der Beschwerdeführerin hinsichtlich der Möglichkeiten der W._-Gruppe zur Finanzierung des Kaufs der Aktien der Z._ SA, wonach der ihrem Bruder geschuldete Kaufpreis "erst viel später bezahlt werden musste, allenfalls auch nicht mit Barmitteln, sondern mit Aktien oder einer anderen Form des Entgelts".
2. Die Beschwerdeführerin bringt vor, entgegen dem angefochtenen Entscheid sei ihr ein Schaden von mindestens Fr. 1 Mio. entstanden und rügt damit zusammenhängend, die Vorinstanz habe mit verschiedenen Feststellungen ihr rechtliches Gehör (Art. 29 Abs. 2 BV) und Art. 8 ZGB verletzt sowie den massgebenden Sachverhalt willkürlich (Art. 9 BV) bzw. offensichtlich unrichtig (Art. 97 Abs. 1 BGG) festgestellt.
2. Die Beschwerdeführerin bringt vor, entgegen dem angefochtenen Entscheid sei ihr ein Schaden von mindestens Fr. 1 Mio. entstanden und rügt damit zusammenhängend, die Vorinstanz habe mit verschiedenen Feststellungen ihr rechtliches Gehör (Art. 29 Abs. 2 BV) und Art. 8 ZGB verletzt sowie den massgebenden Sachverhalt willkürlich (Art. 9 BV) bzw. offensichtlich unrichtig (Art. 97 Abs. 1 BGG) festgestellt.
2.1 2.1.1 Sie bringt vor, der angefochtene Entscheid gehe davon aus, dass sie bei einer Neuverhandlung des Kaufpreises eine Konventionalstrafe in der Höhe von Fr. 500'000.-- riskiert hätte; dass eine solche Konventionalstrafe hätte bezahlt werden müssen, sei jedoch im kantonalen Verfahren von keiner Partei jemals vorgetragen worden. Indem die Vorinstanz diesen Aspekt aus eigener Initiative in das Verfahren eingebracht habe, sei die basel-städtische ZPO, die eine strenge Verhandlungs- und Eventualmaxime kenne, und ihr verfassungsmässiger Anspruch auf Gleichbehandlung und auf ein faires Verfahren (Art. 29 f. BV) verletzt worden. Gleichzeitig liege eine Verletzung von Art. 8 ZGB vor.
2.1.2 Da die Schweizerische Zivilprozessordnung im kantonalen Verfahren noch nicht zur Anwendung gekommen ist, bestimmt grundsätzlich das kantonale Prozessrecht, wie der Sachverhalt zu ermitteln ist. Danach beurteilt sich auch, ob und wie weit die Verhandlungsmaxime greift, soweit nicht das Bundesrecht abweichendes normiert (BGE 116 II 196 E. 3a S. 201, 594 E. 3a S. 595). Zwar bestimmt Bundesrecht, wie weit ein Sachverhalt zu substantiieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann (BGE 133 III 153 E. 3.3 S. 162; 108 II 337 E. 2b S. 339). Es verletzt aber Art. 8 ZGB nicht, wenn das einschlägige Prozessrecht die Berücksichtigung von Tatsachen nicht von einer entsprechend substantiierten Behauptung abhängig macht. Gemäss Art. 8 ZGB sind die das behauptete Recht erzeugenden Tatsachen zu beweisen. Ob diese von den Parteien zu behaupten sind, regelt die Bestimmung hingegen nicht (BGE 78 II 97 f.; Urteile 4A_623/2011 vom 10. Februar 2012 E. 2.3; 4A_144/2012 vom 11. September 2012 E. 3.1.2).
Die Rüge, die Vorinstanz habe Art. 8 ZGB verletzt, geht demnach fehl; inwiefern die Berücksichtigung der vereinbarten Konventionalstrafe durch die Vorinstanz die Beweislastverteilung betreffen soll, ist nicht ersichtlich. Die Beschwerdeführerin verkennt sodann die beschränkten Beschwerdegründe im Rahmen des Beschwerdeverfahrens (Art. 95 f. BGG), wenn sie lediglich in allgemeiner Weise vorbringt, die Verhandlungs- und Eventualmaxime nach dem Verfahrensrecht des Kantons Basel-Stadt habe eine Ergänzung des Sachverhalts durch das Gericht ausgeschlossen. Die Anwendung und Auslegung kantonaler Verfahrensvorschriften kann vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht beurteilt werden (BGE 136 I 241 E. 2.4; 135 III 513 E. 4.3 S. 521; 134 III 379 E. 1.2 S. 382 f.). Die Beschwerdeführerin erhebt jedoch keine substantiierte Verfassungsrüge (vgl. Art. 106 Abs. 2 BGG), wenn sie ohne weitere Begründung behauptet, im Vorgehen der Vorinstanz liege "offensichtlich ein Verstoss gegen die basel-städtische ZPO und ein Verstoss gegen den verfassungsmässigen Anspruch auf Gleichbehandlung und auf ein faires Verfahren". Ihre Vorbringen hinsichtlich der Berücksichtigung der mit der Käuferschaft vereinbarten Konventionalstrafe, die in dem von ihr als Klagebeilage eingereichten Vorvertrag vom 25. August 1989 für den Fall des Rücktritts vom Vorvertrag vorgesehen war, stossen ins Leere. Dies gilt auch für ihre entsprechenden Vorbringen zur vorinstanzlichen Feststellung, die W._-Gruppe habe die Aktien des Bruders der Beschwerdeführerin ebenfalls gekauft und habe daher auch den Kaufpreis für dessen Aktien aufbringen müssen.
Die weiteren Ausführungen zur vereinbarten Konventionalstrafe und zur angeblichen Abänderung des Vorvertrags sind rein appellatorisch. Insbesondere zeigt die Beschwerdeführerin nicht auf, inwiefern der angefochtene Entscheid im Ergebnis willkürlich sein soll.
2.2 Die Beschwerdeführerin rügt weiter, die Vorinstanz habe das Willkürverbot verletzt mit ihrer Feststellung, es sei weder behauptet noch bewiesen, dass die W._-Gruppe den Kaufpreis ohne jede Inanspruchnahme von Darlehen hätte finanzieren können.
Sie zeigt keine Willkür auf, indem sie auf einen Satz am Anfang der vorinstanzlichen Erwägung zur Finanzierung des Aktienkaufs durch die W._-Gruppe verweist, wonach die Beschwerdeführerin in den Ziffern 4.5 und 4.26 der Klage behauptet habe, die Käuferin sei in der Lage gewesen, den Kaufpreis aus eigenen Mitteln zu finanzieren, und darin einen Widerspruch zur nachfolgenden Feststellung erblickt, die Beschwerdeführerin habe nicht behauptet, dass die Käuferin genügend Eigenmittel gehabt habe, um den Kauf ohne Inanspruchnahme eines Darlehens zu finanzieren. Zwar erweckt eine isolierte Gegenüberstellung der beiden in der Beschwerde zitierten Sätze den Eindruck einer widersprüchlichen Feststellung. Aus dem Zusammenhang der Erwägung ergibt sich jedoch, dass die Vorinstanz im Hinblick auf die Steuerfolgen zwei Arten der Eigenfinanzierung auseinanderhält, nämlich eine solche mit und eine ohne Inanspruchnahme von Darlehen, für die bereits vorhandene eigene Mittel zur Sicherstellung ausreichen. Wie die Vorinstanz zutreffend ausführt, hat die Beschwerdeführerin in Ziffern 4.5 und 4.26 ihrer Klageschrift lediglich behauptet, der Kauf hätte ohne Verpfändung von Aktiven der Z._ SA bzw. "ohne Beanspruchung der Mittel des Kaufobjekts" finanziert werden können. Entgegen der Ansicht der Beschwerdeführerin lässt sich ihren Ausführungen zum Gerichtsgutachten keine Behauptung hinsichtlich der konkreten finanziellen Verhältnisse der Käuferin entnehmen. Die vorinstanzliche Feststellung, sie habe nicht behauptet, dass die Käuferin über genügend eigene Mittel verfügt habe, um den Kaufpreis ohne Inanspruchnahme eines Darlehens zu finanzieren, erscheint daher nicht als offensichtlich unhaltbar.
Dass die vorinstanzliche Unterscheidung zwischen den verschiedenen Finanzierungsarten Bundesrecht verletzen würde, zeigt die Beschwerdeführerin nicht auf. Ihre weiteren Ausführungen zu den finanziellen Verhältnissen der Käuferin bzw. der W._-Gruppe sind im Übrigen appellatorisch und eine Verletzung von Art. 8 ZGB ist nicht ersichtlich. Eine Missachtung des Gehörsanspruchs zeigt sie mit der allgemeinen Behauptung, die Vorinstanz hätte neben den berücksichtigten Urkunden weitere beantragte Beweismittel abnehmen müssen, nicht auf.
2.3 Die Beschwerdeführerin wirft der Vorinstanz weiter vor, sie habe aus dem Gerichtsgutachten vom 9. Januar 2002 zu den Steuerfolgen der Transaktion willkürliche Schlüsse gezogen.
Die Beschwerdeführerin führt grundsätzlich zutreffend aus, aus dem Gerichtsgutachten gehe hervor, dass auch eine Fremdfinanzierung des Kaufs möglich sei, sofern die übernommene Beteiligung in keiner Weise dafür verwendet werde; das Gutachten weist zudem darauf hin, es könne "wohl" davon ausgegangen werden, dass nach fünf Jahren eine Substanzverminderung der übernommenen Gesellschaft nicht mehr dem Verkäufer zugerechnet werde. Angesichts der zurückhaltenden Aussage hinsichtlich der zu beachtenden Sperrfrist kann der Vorinstanz jedoch keine Willkür vorgeworfen werden, wenn sie festhält, bei einer Finanzierung mit einem durch eigene Mittel gesicherten Darlehen wäre die Steuer gemäss dem Gutachten selbst unter Einhaltung einer fünfjährigen Ausschüttungsbeschränkung "nicht mit Sicherheit zu vermeiden gewesen". Ohnehin zeigt die Beschwerdeführerin nicht auf, inwiefern der angefochtene Entscheid auch im Ergebnis unhaltbar sein soll, hat die Vorinstanz doch auch diese Finanzierungsvariante geprüft, jedoch entgegen der Erstinstanz dafür gehalten, die Käuferin hätte der Übernahme einer vertraglichen Verpflichtung zu einer entsprechenden Kaufpreisfinanzierung nicht ohne weitere Reduktion des Kaufpreises zugestimmt. Die Vorbringen stossen ins Leere.
3. Die Beschwerdeführerin legt unter der Überschrift "Auswirkungen einer korrekten Steuerauskunft" ihre Sicht bezüglich ihrer Vermögensverhältnisse für den Fall dar, dass sie von der Beschwerdegegnerin korrekt über die Steuerfolgen der Transaktion aufgeklärt worden wäre.
3.1 Sie beginnt diesen Teil ihrer Beschwerdeschrift mit allgemeinen rechtlichen Ausführungen zum hypothetischen Kausalverlauf, zur Beweislastverteilung und zum Beweismass, ohne jedoch eine Rüge zu erheben. Es folgen allgemeine Ausführungen zur Theorie der "perte d'une chance" (vgl. dazu 133 III 642 E. 3 f.). Dabei wird nicht klar, was die Beschwerdeführerin aus dieser Theorie konkret zu ihren Gunsten ableiten will. Wenn sie der Vorinstanz in diesem Zusammenhang vorwirft, es sei realitätsfremd zu behaupten, die Kenntnis um die Steuerfolgen hätte nicht zu erneuten Verhandlungen und einer Anpassung der Transaktion geführt, so kann darin keine hinreichend begründete Rüge erblickt werden. Sie verkennt ausserdem, dass die Vorinstanz die Handlungsalternative von Vertragsverhandlungen unter Berücksichtigung der Steuerfolgen geprüft hat, jedoch aufgrund einer Würdigung der konkreten Verhältnisse zum Schluss gekommen ist, dass eine abweichende Vereinbarung mit zusätzlichen Verpflichtungen der Käuferin hinsichtlich der Finanzierung zu einer Kaufpreisreduktion (im Mindestumfang der effektiv angefallenen Steuer) geführt hätte.
3.2 Soweit die Beschwerdeführerin dem Bundesgericht daran anschliessend ihre eigene Sicht zur Schadensberechnung unterbreitet und dabei ihre im erstinstanzlichen Verfahren vorgetragenen Behauptungen wiederholt, zeigt sie keine Bundesrechtsverletzung auf. Sie weist zwar zutreffend darauf hin, dass ihr der Nachweis obliegt, dass sie im Falle einer richtigen Auskunft der Beschwerdegegnerin über die Steuerfolgen des Verkaufs eine Handlungsalternative gewählt hätte, die zu einer Vermeidung oder Kompensation der Steuer geführt hätte. Sie verkennt jedoch allgemein, dass die Feststellungen des Sachgerichts zum tatsächlichen Bestand und zum Umfang des Schadens den Sachverhalt betreffen, der vom Bundesgericht - auch bei der ermessensweisen Schadensschätzung nach Art. 42 Abs. 2 OR - nur nach Massgabe von Art. 97 und Art. 105 Abs. 2 BGG überprüft werden kann (vgl. BGE 131 III 360 E. 5.1 S. 364; 128 III 22 E. 2d und E. 2e S. 25 f., 271 E. 2b/aa S. 277; je mit Hinweisen). Die Vorinstanz hat die verschiedenen von der Beschwerdeführerin behaupteten alternativen Geschehensabläufe bei Kenntnis der Besteuerungsgefahr unter Berücksichtigung der konkreten Verhältnisse geprüft, es jedoch nicht als erwiesen erachtet, dass eine dieser Handlungsalternativen (Anpassung des Kaufvertrags, Erhöhung des Kaufpreises, Einholen eines Steuerruling, Suche nach anderem Käufer, Verzicht auf den Verkauf, Kauf der Aktien des Bruders, Liquidation der Gesellschaft) zum Erfolg bzw. zu einem höheren Vermögensstand bei der Beschwerdeführerin geführt hätte als die konkret vollzogene Transaktion mit den tatsächlich eingetretenen Steuerfolgen.
Die Beschwerdeführerin beschränkt sich mehrheitlich darauf, dem Bundesgericht ihre eigene Ansicht zu den verschiedenen von der Vorinstanz geprüften Handlungsalternativen zu unterbreiten und diese den Feststellungen im angefochtenen Entscheid gegenüberzustellen. Dass den vorinstanzlichen Erwägungen zur Haftungsvoraussetzung der Vermögenseinbusse eine bundesrechtswidrige Auslegung von Bestimmungen der Steuergesetzgebung zugrunde liegen würde, macht die Beschwerdeführerin nicht geltend. Soweit ihre Vorbringen appellatorisch sind und keine hinreichend begründeten Sachverhaltsrügen erkennen lassen, ist darauf nicht einzutreten.
3.3 Im Zusammenhang mit den vorinstanzlichen Feststellungen zu den Auswirkungen einer zusätzlichen vertraglichen Verpflichtung der Käuferin zu einer bestimmten Finanzierung (mit Ausschüttungsbeschränkung) auf die Kaufpreisverhandlungen zwischen den Parteien beruft sich die Beschwerdeführerin einmal mehr zu Unrecht auf Art. 8 ZGB. Die Vorinstanz hat es angesichts der konkreten Verhältnisse als erwiesen erachtet, dass die erforderliche zusätzliche Vereinbarung zu einer Kaufpreisreduktion geführt hätte, die nicht niedriger als die effektiv angefallene Steuer ausgefallen wäre. Entgegen dem, was die Beschwerdeführerin anzunehmen scheint, regelt Art. 8 ZGB weder, ob die rechtserzeugenden Tatsachen von den Parteien zu behaupten sind (siehe vorn E. 2.1), noch schreibt die Bestimmung dem Richter vor, mit welchen Mitteln der Sachverhalt abzuklären und wie das Ergebnis zu würdigen ist; sie schliesst selbst eine vorweggenommene Beweiswürdigung und Indizienbeweise nicht aus (BGE 128 III 22 E. 2d S. 25; 127 III 248 E. 3a S. 253; 122 III 219 E. 3c S. 223; je mit Hinweisen).
Die Beschwerdeführerin bringt ausserdem zu Unrecht vor, die Vorinstanz sei in tatsächlicher Hinsicht davon ausgegangen, dass die Käuferin das aufgenommene Darlehen unmittelbar nach dem Vollzug der Transaktion wieder zurückbezahlt habe. Vielmehr hat sie die von der Beschwerdeführerin behauptete Handlungsalternative geprüft, nämlich dass mit der Käuferin über die Vereinbarung einer vertraglichen Beschränkung hinsichtlich der Kaufpreisfinanzierung verhandelt worden wäre, und hat dabei nachvollziehbar das finanzielle Interesse der Käuferschaft bezüglich einer solchen zusätzlichen Vertragspflicht bewertet. Darin ist keine Verletzung von Art. 8 ZGB zu erkennen; die Beschwerdeführerin zeigt auch keine Missachtung der Beweislastvorschrift auf, indem sie die vorinstanzlichen Feststellungen zu den Finanzierungskosten bestreitet und entgegen dem angefochtenen Entscheid behauptet, die Käuferschaft hätte nicht auf einer Kaufpreisreduktion bestanden bzw. die entsprechenden Kosten seien längst in die Kaufpreisverhandlungen eingeflossen.
Ihre Ausführungen sind im Übrigen rein appellatorisch, wenn sie den vorinstanzlichen Feststellungen zum Umfang einer Kaufpreisreduktion bei Übernahme einer zusätzlichen Vertragspflicht ihre Ansicht zur Bewertung des Kaufobjekts und zu ihrer angeblichen starken Verhandlungsposition entgegenhält. Mit ihrer blossen Behauptungen, die Vorinstanz habe einseitig ausschliesslich auf die Interessenlage der Käuferschaft abgestellt bzw. das vorinstanzliche Ergebnis widerspreche jeder Lebenserfahrung, zeigt die Beschwerdeführerin keine Willkür auf. Sie zeigt auch nicht auf, inwiefern sie für eines ihrer rechtserheblichen Sachvorbringen nicht zum Beweis zugelassen worden wäre, geschweige denn, dass sie form- und fristgerecht einen bestimmten Beweisantrag gestellt hätte (vgl. BGE 133 III 189 E. 5.2.2 S. 195, 295 E. 7.1 S. 299; je mit Hinweisen). Ihr Vorwurf, die Vorinstanz habe das rechtliche Gehör missachtet und Art. 8 ZGB verletzt, stösst ins Leere.
3.4 Die Beschwerdeführerin stellt den Feststellungen im angefochtenen Entscheid zu den Auswirkungen ihrer (hypothetischen) Vertragsverhandlungen auf den Kaufpreis im Falle einer korrekten Steuerauskunft auch in ihren weiteren Ausführungen bloss ihre eigene Ansicht entgegen. Sie zeigt keine Willkür auf, indem sie dem Bundesgericht - unter anderem unter Hinweis auf einen bereits gewährten Preisabschlag von Fr. 2.5 Mio. - ihre eigenen Berechnungen unterbreitet, um ihre Darlegungen damit zu schliessen, es sei zumindest überwiegend wahrscheinlich, dass sie bei einer korrekten Steuerauskunft die Änderung der Finanzierung durch die Käuferschaft bewirkt und damit die Steuer hätte vermeiden können.
Abgesehen davon verkennt die Beschwerdeführerin mit ihren Vorbringen zur vorinstanzlichen Berechnung eines weiteren Preisabschlags, dass die Vorinstanz von einer Reduktion von 10 % des vereinbarten Kaufpreises ausgegangen ist, was unter Berücksichtigung des hälftigen Anteils der Beschwerdeführerin den Betrag der bezahlten Steuer übersteigt. Der in der Beschwerde erhobene Einwand, die erhobene Steuer betrage Fr. 502'167.-- mehr als die nach den vorinstanzlichen Erwägungen notwendige Preisreduktion, weshalb die Klage in diesem Umfang hätte gutgeheissen werden müssen, verfängt daher nicht. Ob die Berechnung der Vorinstanz zutreffend ist, kann im Beschwerdeverfahren nicht frei überprüft werden. Die Beschwerdeführerin zeigt auch nicht auf, inwiefern der angefochtene Entscheid im Ergebnis willkürlich sein soll, indem sie die vorinstanzliche Erwägung, wonach nicht gesagt werden könne, dass eine der beiden Varianten (Abschluss desselben Vertrags in Kenntnis des Steuerrisikos bzw. Verhandlung mit der Käuferin über eine Änderung der Finanzierungsstruktur) wesentlich wahrscheinlicher als die andere sei, als "vollkommen realitätsfremd" bezeichnet, zumal die Vorinstanz auch die nach Ansicht der Beschwerdeführerin wahrscheinlichere Verhandlungsvariante geprüft hat.
Ins Leere stösst auch ihr Vorwurf, die Vorinstanz habe verschiedene ihrer Vorbringen, so insbesondere einen bereits gewährten Preisabschlag im Umfang von rund Fr. 2.5 Mio. auf dem Liquidationswert, unberücksichtigt gelassen und damit den Gehörsanspruch verletzt. Die aus dem verfassungsmässigen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) fliessende Verpflichtung der Behörde, ihren Entscheid zu begründen, verlangt nicht, dass diese sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Es genügt, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (BGE 136 V 351 E. 4.2 S. 355; 134 I 83 E. 4.1 S. 88; 133 III 439 E. 3.3 S. 445; je mit Hinweisen). Diesen Anforderungen genügt der angefochtene Entscheid. Die Vorinstanz hat das Argument des gewährten Preisnachlasses nicht etwa übersehen, sondern in ihrem Entscheid ausdrücklich erwähnt.
Unbehelflich sind auch die Ausführungen, mit denen die Beschwerdeführerin behauptet, der Kaufpreis wäre bei korrekter Steuerauskunft nochmals verhandelt und um mindestens Fr. 1 Mio. erhöht worden, welche sie mit entsprechenden Argumenten begründet. Soweit sie sinngemäss rügt, der angefochtene Entscheid gehe von zu hohen Beweisanforderungen aus, kann ihr im Übrigen nicht gefolgt werden; die Vorinstanz hat ausdrücklich darauf hingewiesen, dass ein hypothetischer Kausalverlauf zu beurteilen sei, weshalb sie es zutreffend als genügend erachtet hat, wenn eine überwiegende Wahrscheinlichkeit für einen bestimmten Kausalverlauf spreche (vgl. BGE 124 III 155 E. 3d S. 165 f.).
3.5 Die Beschwerdeführerin kritisiert die Erwägung der Vorinstanz, wonach ein vorteilhafteres Steuerruling, mit der die später veranlagte Steuer hätte vermieden werden können, nicht als wahrscheinliche Handlungsvariante anzusehen sei. Sie bringt vor, ein Steuerruling mit den Steuerbehörden zu treffen, hätte keine vier Monate in Anspruch genommen; im Gegenteil hätte im Zeitpunkt der Transaktion, in dem sich die Besteuerung nach der Theorie der indirekten Teilliquidation in der Praxis der Behörden zwar bereits ausgewirkt, aber noch nicht überall durchgesetzt habe, die grosse Chance bestanden, im Rahmen eines Steuerrulings die Steuerfreiheit der beabsichtigten Transaktion festzuschreiben. Zudem hätte sie vor Abwicklung des Verkaufs eine viel bessere Verhandlungsposition gehabt als danach, weshalb bei entsprechenden Verhandlungen mit Sicherheit ein besseres Resultat erzielt worden wäre als im späteren Rechtsmittelverfahren.
Abgesehen davon, dass sich die Beschwerde nicht hinreichend mit den massgebenden Erwägungen der Vorinstanz auseinandersetzt (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG), die unter anderem unter Hinweis auf die konkrete Berechnung im Rahmen des tatsächlich abgeschlossenen Vergleichs mit der Steuerverwaltung berücksichtigt hat, dass dieser für die Beschwerdeführerin vorteilhaft ausgefallen ist, wird keine Verletzung von Grundrechten dargetan. Die Beschwerdeführerin verkennt mit ihren Ausführungen insbesondere, dass ein Entscheid nach konstanter Praxis nicht schon dann willkürlich ist, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 138 IV 13 E. 5.1 S. 22; 137 I 1 E. 2.4 S. 5; 136 I 316 E. 2.2.2. S. 318 f.). Zudem wirft sie der Vorinstanz eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) vor, verfehlt jedoch die gesetzlichen Begründungsanforderungen an eine entsprechende Rüge (Art. 106 Abs. 2 BGG).
3.6 Keine Verletzung verfassungsmässiger Rechte zeigt die Beschwerdeführerin mit ihren Darlegungen zur vorinstanzlichen Feststellung auf, wonach davon auszugehen sei, dass weitere Interessenten nicht vorhanden waren und/oder keinen höheren Preis geboten hätten. Sie legt dem Bundesgericht einmal mehr lediglich ihre eigene Sicht der Dinge dar, um damit zu schliessen, es sei überwiegend wahrscheinlich, dass "ein anderer Käufer hätte gefunden werden können, der entweder einen höheren Preis bezahlt oder aber bei gleichem Preis eine Finanzierungsstruktur gewählt hätte, welche keine Steuerfolgen bei der Beschwerdeführerin nach sich gezogen hätte".
Entgegen dem, was die Beschwerdeführerin anzunehmen scheint, ist auch in diesem Zusammenhang nicht zu erkennen, dass die Vorinstanz von einem unzutreffenden Beweismass ausgegangen wäre. Zudem hat die Vorinstanz begründet, weshalb auf das von der Beschwerdeführerin beantragte Gutachten verzichtet werden könne; darauf geht die Beschwerde jedoch nicht ein, womit sie die gesetzlichen Begründungsanforderungen verfehlt. Die Beschwerdeführerin verkennt im Übrigen einmal mehr, dass Art. 8 ZGB nicht regelt, ob die rechtserzeugenden Tatsachen von den Parteien zu behaupten sind (siehe vorn E. 2.1), und dem Gericht auch nicht vorschreibt, mit welchen Mitteln der Sachverhalt abzuklären und wie das Ergebnis zu würdigen ist. Mit dem nicht weiter begründeten Vorwurf, die Vorinstanz habe die Verhandlungsmaxime verletzt, zeigt sie keine Bundesrechtsverletzung auf. Der Vorwurf der Gehörsverletzung geht auch in diesem Zusammenhang fehl.
3.7 Entsprechendes gilt für ihre Ausführungen zu der im angefochtenen Entscheid geprüften Handlungsalternative eines Verzichts auf den Verkauf, mit denen die Beschwerdeführerin dem Bundesgericht im Übrigen lediglich die nach ihrer Sicht zutreffende Berechnung unterbreitet.
Unbegründet ist sodann die Gehörsrüge hinsichtlich der Handlungsalternative eines Kaufs der Aktien des Bruders. Die Vorinstanz hat dieses von der Beschwerdeführerin behauptete Vorgehen bei Kenntnis der Steuerfolgen geprüft, jedoch in tatsächlicher Hinsicht darauf abgestellt, dass die Beschwerdeführerin nicht in der Lage war, den Kaufpreis für die Aktien des Bruders aus eigenen Mitteln zu finanzieren. Von einer Verletzung des rechtlichen Gehörs kann nicht die Rede sein.
Die Beschwerdeführerin zeigt schliesslich auch bezüglich des vorinstanzlichen Hinweises darauf, dass alle geprüften Handlungsalternativen zudem nicht nur von ihrer Zustimmung, sondern auch von derjenigen ihres Bruders abhängig gewesen seien, keine Verletzung von Bundesrecht auf. Abgesehen davon, dass der erwähnte Umstand angesichts der festgestellten Beteiligungsverhältnisse an der verkauften Gesellschaft auf der Hand liegt, hat die Vorinstanz ihre Beurteilung der verschiedenen Handlungsalternativen jeweils nicht darauf gestützt, weshalb die in der Beschwerde erhobenen Einwände unerheblich sind. Auch kann in der Erwägung, die Beschwerdeführerin habe nachzuweisen, dass "eine entschädigungslose Steuerbefreiung mit grosser Wahrscheinlichkeit hätte bewirkt werden können", keine Anwendung eines unzutreffenden Beweismasses erblickt werden. Der Hinweis in der Beschwerde, dass auch der Nachweis ausgereicht hätte, dass "mit grosser Wahrscheinlichkeit ... ein besseres als das erzielte Ergebnis hätte erreicht werden können", ist zwar grundsätzlich zutreffend; es ist jedoch nicht ersichtlich, dass die Vorinstanz dies verkannt und damit zusammenhängend eine bloss teilweise Klagegutheissung von vornherein ausser Betracht gelassen hätte.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 15'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 17'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 31. Oktober 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann