Sachverhalt:
A. A.a Die X._ AG (Beauftragte; Beschwerdeführerin) hat die Y._ AG (Auftraggeberin; Beschwerdegegnerin), ein im Immobilienbereich tätiges Unternehmen, seit Jahren namentlich in Steuerfragen beraten.
Mit Vertrag vom 21. Dezember 2001 verkaufte die Auftraggeberin fünf Stockwerkeigentumseinheiten und einen Miteigentumsanteil am Einkaufszentrum "Z._" in Q._ zum Preis von Fr. 22'500'000.-- an ihre zu 100 % beherrschte Tochtergesellschaft "R._ AG", welche sie im selben Jahr erworben hatte.
Aufgrund dieses Verkaufs resultierte in der Erfolgsrechnung der Auftraggeberin für das Jahr 2001 ein Reingewinn von Fr. 11'927'915.--. In der Meinung, dass die im System der zweijährigen Vergangenheitsbemessung geltenden Verrechnungsmöglichkeiten Anwendung fänden, verrechnete die Auftraggeberin in der Steuererklärung für das Jahr 2001 den Reingewinn mit einem Verlustvortrag von Fr. 12'169'671.-- aus den acht vorangegangenen Geschäftsjahren 1993 bis 2000. Damit wäre nach Auffassung der Auftraggeberin für das Steuerjahr 2001 keine direkte Bundessteuer auf dem Gewinn abzurechnen gewesen.
A.b Mit dem am 1. Januar 1995 in Kraft getretenen Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) erfolgte indessen ein Wechsel zur Gegenwartsbesteuerung. Die Verlustverrechnungsregeln wurden dabei insofern geändert, als nur noch die Verluste aus den sieben der Steuerperiode vorangegangenen Geschäftsjahren abgezogen werden konnten.
Da das DBG keine Übergangsbestimmungen zur Verlustverrechnung enthält, blieb bis Mai 2001 unklar, von welcher Verlustvortragsperiode nach dem Systemwechsel auszugehen war. Die Eidgenössische Steuerverwaltung hielt in ihrem Kreisschreiben Nr. 4 vom 26. November 1992 auf S. 4 zwar fest, dass für die neurechtliche Berechnung die Verluste aus sieben Vorjahren nach den Grundsätzen des neuen Berechnungssystems zu berücksichtigen seien. Nachdem das Kreisschreiben in der Lehre aber kritisiert wurde, gelangte die Eidgenössische Steuerverwaltung schliesslich zur Auffassung, dass das neue Recht die Verlustergebnisse der vor dem 1. Januar 1995 abgeschlossenen Geschäftsjahre "erbe": Die Verluste aus acht Vorjahren sollten bei der Berechnung nach altem Recht berücksichtigt werden können. Sofern dabei ein Verlust verbleibe, der noch nicht verrechnet werden konnte, könne dieser auch im System der Gegenwartsbesteuerung berücksichtigt werden. Mit Urteil 2A.532/1998 vom 17. Mai 2001 stellte sich das Bundesgericht jedoch gegen diese Praxis und schloss sich der ursprünglich von der Eidgenössischen Steuerverwaltung im Kreisschreiben Nr. 4 vertretenen Rechtsauffassung an. Es entschied u.a., dass das neue Recht so zur Anwendung gelange, wie wenn es schon vor 1995 gegolten hätte. Dies hatte zur Folge, dass der Reingewinn nach neurechtlicher Veranlagung ab 1995 nur noch mit Verlusten aus den sieben vorangegangenen Geschäftsjahren verrechnet werden konnte.
A.c Mit Schreiben vom 13. August 2001 nahm die Beauftragte mit Blick auf die geplante Veräusserung der genannten Grundstücke an die Tochtergesellschaft "R._ AG" Stellung zu diesem Urteil. Sie hielt dafür, dass die Rechtsprechung des Bundesgerichts keinen Einfluss auf die Möglichkeit habe, die Verluste aus den acht Vorjahren zu verrechnen. Dabei handelte es sich - wie die Beauftragte im Nachhinein eingesteht - um eine Fehleinschätzung.
Entsprechend der bundesgerichtlichen Rechtsprechung liess die Steuerverwaltung bei der Auftraggeberin in der Folge nur die Verrechnung mit den Verlustvorträgen aus den Jahren 1994 bis 2000 in der Höhe von Fr. 6'273'741.-- zu und unterbreitete einen Einschätzungsvorschlag, der für das Jahr 2001 von einem Reingewinn von Fr. 5'741'926.-- ausging. Die Beauftragte riet der Auftraggeberin, diese Veranlagung zu akzeptieren. Gemäss provisorischer Steuerrechnung 2001 vom 31. Januar 2003 hatte die Auftraggeberin somit bei einem steuerbaren Reingewinn von Fr. 5'654'174.-- einen Steuerbetrag von Fr. 480'604.80 zu bezahlen. Der aufgrund bewilligter Ratenzahlung geschuldete Verzugszins belief sich nach ihren Angaben auf Fr. 21'483.98, womit ihr insgesamt eine unerwartete Steuerlast von Fr. 502'088.80 entstanden sei. Diese stelle einen Schaden dar.
A.d Die Auftraggeberin wurde auch an ihrem Nebensteuerdomizil in Bern zum Satz von Fr. 5'741'900.-- besteuert. Für den im Steuerjahr 2001 erzielten Ertrag von Fr. 481'600.-- wurde ein Steuerbetrag von Fr. 83'741.85 rechtskräftig veranlagt. Hätte der Verlustvortrag aus dem Jahr 1993 verrechnet werden können, so hätte der satzbestimmende Gewinn auch im Kanton Bern Fr. 0.-- betragen, womit nur die Kapitalsteuer von insgesamt Fr. 1'576.55 zu entrichten gewesen wäre. Durch die Besteuerung zum höheren Satz resultierte somit eine steuerliche Mehrbelastung von Fr. 82'165.30.
A.e Schliesslich musste eine Tochtergesellschaft der Auftraggeberin im Kanton Genf einen um Fr. 21'244.-- zu hoch ausgefallenen Betrag als Liegenschaftssteuer entrichten, weil die Beauftragte nicht bemerkt hatte, dass der besteuerte Liegenschaftsertrag aus einem verlängerten Geschäftsjahr von 15 Monaten resultierte und nicht auf 12 Monate umgerechnet worden war. Die Steuerrechnung wurde erst an die Auftraggeberin weitergeleitet, als kein Rechtsmittel mehr erhoben werden konnte. Ihren Schadenersatzanspruch trat die Tochtergesellschaft in der Folge an die Auftraggeberin ab.
B. B.a Am 7. September 2004 reichte die Auftraggeberin beim Handelsgericht des Kantons Zürich Klage ein mit dem Begehren, die Beauftragte sei zur Zahlung von Fr. 605'498.10 zu verpflichten. Mit Urteil vom 4. April 2008 hiess das Handelsgericht die Klage teilweise gut und verurteilte die Beauftragte zur Zahlung des bei der Genfer Liegenschaftssteuer angefallenen Mehrbetrags von Fr. 21'244.-- (Ziff. 1 Absatz 1), zur Tragung von 19/20 der Verfahrenskosten (Ziff. 3) und zur Zahlung einer Parteientschädigung (Ziff. 4). Im Mehrbetrag wies es die Klage ab (Ziff. 1 Absatz 2).
B.b Dagegen erhob die Auftraggeberin beim Kassationsgericht des Kantons Zürich Nichtigkeitsbeschwerde und beantragte, es seien die Dispositiv-Ziff. 1 Absatz 2, Ziff. 3 und 4 aufzuheben und die Sache zur Neubeurteilung an das Handelsgericht zurückzuweisen. Mit Zirkulationsbeschluss vom 13. Februar 2009 wies das Kassationsgericht die Beschwerde ab, soweit es auf sie eintrat, und verurteilte die Auftraggeberin zur Tragung der Verfahrenskosten (Ziff. 3) und zur Zahlung einer Parteientschädigung (Ziff. 4).
B.c Mit Beschwerde in Zivilsachen vom 23. März 2009 gegen den Zirkulationsbeschluss des Kassationsgerichts sowie gegen das Urteil des Handelsgerichts beantragte die Auftraggeberin dem Bundesgericht, es sei die Beauftragte zu verpflichten, ihr einen Betrag von Fr. 584'254.10 zu bezahlen, eventualiter sei die Sache zu neuer Beurteilung an das Handelsgericht des Kantons Zürich zurückzuweisen (Verfahren 4A_144/2009). Insoweit das Handelsgericht die Klage guthiess, focht die Auftraggeberin das Urteil nicht an. Sinngemäss verlangte sie damit die Aufhebung der Dispositiv-Ziff. 1 Absatz 2, Ziff. 3 und 4 des Urteils des Handelsgerichts und der Dispositiv-Ziff. 3 und 4 des Zirkulationsbeschlusses des Kassationsgerichts.
Mit Urteil 4A_144/2009 vom 6. Oktober 2009 wies das Bundesgericht die Beschwerde gegen das Urteil des Kassationsgerichts ab, hiess die Beschwerde gegen das Urteil des Handelsgerichts aber teilweise gut. Es hob Dispositiv-Ziff. 1 Absatz 2, Ziff. 3 und 4 dieses Urteils auf und wies die Sache zur Ergänzung des Sachverhalts und neuer Entscheidung an das Handelsgericht zurück.
C. C.a Mit Beschluss und Urteil vom 16. August 2010 hiess das Handelsgericht des Kantons Zürich die (Rest-)Klage gut und verpflichtete die Beauftragte zur Zahlung von Fr. 584'254.10 an die Auftraggeberin.
C.b Gegen dieses Urteil erhob die Beauftragte beim Kassationsgericht des Kantons Zürich Nichtigkeitsbeschwerde und beantragte die Aufhebung des angefochtenen Urteils und die Rückweisung der Sache an das Handelsgericht zur Neubeurteilung. Mit Zirkulationsbeschluss vom 14. Dezember 2011 hiess das Kassationsgericht die Beschwerde teilweise gut und strich die Erwägungen II.4.b und II.4.c, die eine Eventualbegründung enthielten, aus dem Urteil des Handelsgerichts. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
D. Mit Beschwerde in Zivilsachen vom 31. Januar 2012 beantragt die Beauftragte dem Bundesgericht, es seien das Urteil des Handelsgerichts vom 16. August 2010 und der Beschluss des Kassationsgerichts vom 14. Dezember 2011, soweit dieser das Dispositiv des Urteils des Handelsgerichts schütze, aufzuheben und es sei die Klage abzuweisen. Eventualiter sei das Urteil des Handelsgerichts aufzuheben und die Sache zur Durchführung des Beweisverfahrens und zur Neubeurteilung an das Handelsgericht zurückzuweisen. Die Beschwerdeführerin beantragt zudem die Gewährung der aufschiebenden Wirkung.
Die Beschwerdegegnerin schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde. Eventuell seien das Urteil des Handelsgerichts und, soweit damit das Urteil des Handelsgerichts nicht geschützt wurde, das Urteil des Kassationsgerichts aufzuheben und die Sache zur Neubeurteilung an das Handelsgericht zurückzuweisen.
Sowohl das Handelsgericht als auch das Kassationsgericht haben auf eine Vernehmlassung verzichtet. Die Parteien reichten unaufgefordert Replik und Duplik ein.
E. Mit Präsidialverfügung vom 8. März 2012 wurde das Gesuch um Gewährung der aufschiebenden Wirkung abgewiesen.
Erwägungen:
1. 1.1 Gegenstand des Verfahrens bildet eine Zivilsache (Art. 72 Abs. 1 BGG), die Rechtsbegehren der Beschwerdeführerin sind im kantonalen Verfahren nicht geschützt worden (Art. 76 Abs. 1 BGG) und der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG).
1.2 Die Beschwerdeführerin ficht sowohl das Urteil des Handelsgerichts des Kantons Zürich vom 16. August 2010 als auch den Zirkulationsbeschluss des Kassationsgerichts des Kantons Zürich vom 14. Dezember 2011 an. Dies ist zulässig (vgl. BGE 134 III 267 E. 1.1). Die Beschwerde wurde - unter Berücksichtigung des Fristenstillstands gemäss Art. 46 Abs. 1 lit. c BGG - innert 30 Tagen seit Eröffnung des Zirkulationsbeschlusses des Kassationsgerichts beim Bundesgericht eingereicht (Art. 100 Abs. 1 BGG). Da das mitangefochtene Urteil des Handelsgerichts vor der Aufhebung von aArt. 100 Abs. 6 BGG per 1. Januar 2011 eröffnet wurde, findet diese Bestimmung noch Anwendung auf das vorliegende Verfahren (Art. 405 Abs. 1 ZPO; Urteil 4A_266/2012 vom 10. September 2012 E. 2). Die Frist für die Beschwerde gegen das Urteil des Handelsgerichts begann somit erst mit Eröffnung des Zirkulationsbeschlusses des Kassationsgerichts, und die Beschwerde an das Bundesgericht wurde auch insoweit rechtzeitig erhoben.
1.3 Das Urteil des Handelsgerichts ist allerdings nur insofern der Beschwerde zugänglich, als es das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen dieses erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (Art. 75 Abs. 1 BGG; BGE 134 III 524 E. 1.3 S. 527). Mit kantonaler Nichtigkeitsbeschwerde an das Kassationsgericht konnte gemäss § 281 des Gesetzes des Kantons Zürich über den Zivilprozess vom 13. Juni 1976 (aZPO/ZH) geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf der Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen war die Nichtigkeitsbeschwerde, wenn der Entscheid dem Weiterzug an das Bundesgericht unterlag und dieses den geltend gemachten Mangel frei überprüfen konnte, wobei sie stets zulässig war, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wurde (§ 285 Abs. 1 und 2 aZPO/ZH).
Das angefochtene Urteil des Handelsgerichts stellt demnach insoweit keinen kantonal letztinstanzlichen Entscheid dar, als geltend gemacht wird, das Handelsgericht habe den Anspruch der Beschwerdeführerin auf rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt, die Beweise willkürlich (teils antizipiert) gewürdigt und kantonales Verfahrensrecht willkürlich angewendet. Entsprechende Rügen waren zwecks Ausschöpfung des kantonalen Instanzenzugs dem Kassationsgericht zu unterbreiten (vgl. BGE 133 III 638 E. 2 S. 640); soweit solche Rügen in diesem Verfahren direkt gegen das Urteil des Handelsgerichts gerichtet werden, kann darauf nicht eingetreten werden.
Wenn die dem Kassationsgericht unterbreiteten Rügen von diesem - nach Auffassung der Beschwerdeführerin - nicht richtig beurteilt wurden, hat sich die Beschwerde gegen den kassationsgerichtlichen Zirkulationsbeschluss zu richten. Obwohl die Beschwerdeführerin diesen auch angefochten hat, bringt sie keine Rügen dagegen vor. Auf die Beschwerde gegen den Zirkulationsbeschluss des Kassationsgerichts kann daher mangels Begründung (Art. 42 Abs. 2 BGG) nicht eingetreten werden.
2. Die Beschwerdeführerin wirft dem Handelsgericht eine Verletzung von Art. 8 ZGB und von Art. 107 Abs. 2 BGG vor. Entgegen der Anordnung des Bundesgerichts habe es kein Beweisverfahren durchgeführt und so auch Art. 8 ZGB verletzt. Die Beschwerdeführerin habe insbesondere die Edition der Verwaltungsratsprotokolle und der Protokolle der Geschäftsleitung betreffend Verlustvortrag und Steuerplanung sowie Erwerb der R._ AG aus den Jahren 1999-2001 beantragt. Dadurch hätte sie bewiesen, dass sie nicht in die Überlegungen der Beschwerdegegnerin bezüglich der Frage des Verlustvortrages einbezogen und dass im Mai 2001 bereits darüber entschieden worden sei, die Grundstücke an die R._ AG zu verkaufen. Das Bundesgericht habe das Handelsgericht zudem in E. 4.3 angewiesen, den Sachverhalt zu ergänzen und Feststellungen darüber zu treffen, ob die Beschwerdegegnerin, obwohl sie die beschriebene Konzernstruktur im Auge hatte, bei korrekter Beratung durch die Beschwerdegegnerin die Liegenschaft während der massgebenden Steuerperiode behalten hätte und welche Steuerlast diesfalls angefallen wäre. Das Handelsgericht habe sich diesen Aufgaben entledigt, indem es eine hypothetische Annahme getroffen habe, die zudem falsch sei.
2.1 Art. 8 ZGB regelt für das Bundeszivilrecht einerseits die Beweislastverteilung und gibt anderseits der beweispflichtigen Partei einen Anspruch darauf, für rechtserhebliche Vorbringen zum Beweis zugelassen zu werden (BGE 129 III 18 E. 2.6; BGE 126 III 315 E. 4a S. 317). Eine beschränkte Beweisabnahme verletzt Art. 8 ZGB aber nicht, wenn der Richter schon nach deren Ergebnis von der Sachdarstellung einer Partei überzeugt ist, gegenteilige Behauptungen also für unbewiesen hält (BGE 130 III 591 E. 5.4; 128 III 271 E. 2b/aa S. 277; BGE 114 II 289 E. 2a).
Nach einem Rückweisungsentscheid des Bundesgerichts sind sowohl dieses selbst als auch die kantonalen Instanzen an die rechtliche Beurteilung, mit der die Rückweisung begründet wurde, gebunden (Urteil 4A_278/2012 vom 26. September 2012 E. 1.2, zur Publikation vorgesehen; BGE 135 III 334 E. 2). Der Umfang der Bindung ergibt sich aus der Begründung der Rückweisung, die sowohl den Rahmen für die neuen Tatsachenfeststellungen als jenen für die neue rechtliche Begründung vorgibt (BGE 135 III 334 E. 2).
2.2 Das Handelsgericht hat zur Rolle der Beschwerdeführerin ausgeführt, diese habe sich im Jahr 2001 mit den steuerlichen Aspekten der geplanten Veräusserung befasst. Sie habe die Steuerfolgen nach verschiedenen Hypothesen berechnet, stets unter Berücksichtigung der Verrechnung der resultierenden Kapitalgewinne mit Verlustvorträgen. Das Handelsgericht verwies dazu auf ein Telefax und eine Rechnung der Beschwerdeführerin sowie auf eine durch diese angefertigte Zusammenstellung. Schon in den Vorjahren habe sie Zusammenstellungen über die verrechenbaren Verlustvorträge erstellt, was ebenfalls durch eine Zusammenstellung und zusätzlich durch ein weiteres Schreiben belegt sei. Damit habe die Beschwerdeführerin Leistungen im Rahmen eines Auftragsverhältnisses erbracht und dabei bezüglich des Verfalles des Verlustvortrages eine objektiv falsche Auffassung vertreten. Aus diesen Ausführungen ergibt sich, dass das Handelsgericht gerade zur Beurteilung der Rolle der Beschwerdeführerin durchaus auf Beweismittel abgestellt hat. Die Rüge der Beschwerdeführerin läuft daher auf eine unzulässige Kritik willkürlicher antizipierter Beweiswürdigung hinaus (vgl. E. 1.3). Soweit darauf überhaupt einzutreten ist, erweist sich die Rüge der Verletzung von Art. 8 ZGB als unbegründet.
2.3 Das Handelsgericht hat weiter festgestellt, bei Verzicht auf den Verkauf der Grundstücke hätte der steuerbare Reingewinn der Beschwerdegegnerin Fr. 0.-- betragen und die Steuern und Verzugszinsen in der Höhe von Fr. 584'254.-- wären daher nicht angefallen. Zudem kam das Handelsgericht zum Schluss, die Beschwerdegegnerin hätte en connaissance de cause mit hoher Wahrscheinlichkeit auf die Übertragung verzichtet, weil der sorgfältige Kaufmann nach allgemeiner Lebenserfahrung keine Geschäfte tätige, die zu einer vermeidbaren Steuerbelastung führen würden. Entgegen der Ansicht der Beschwerdeführerin genügt das Urteil des Handelsgerichts damit den bundesgerichtlichen Vorgaben. Ob das Handelsgericht bei der Feststellung des Sachverhalts oder bei der Rechtsanwendung Bundesrecht verletzt hat, ist nicht an dieser Stelle, sondern im Rahmen der Behandlung der einzelnen diesbezüglichen Rügen zu prüfen.
3. Die Beschwerdeführerin rügt, das Handelsgericht sei zu Unrecht davon ausgegangen, die Beschwerdegegnerin hätte bei Kenntnis der fehlenden Verrechnungsmöglichkeiten mit hoher Wahrscheinlichkeit auf die Übertragung der Grundstücke im Jahr 2001 verzichtet. Das Handelsgericht sei offenbar der Ansicht, ein sorgfältiger Kaufmann wähle immer die Lösung, mit der Steuern gespart werden könnten. Dabei vernachlässige es die Tatsachen, dass die Beschwerdegegnerin eine Konzernstruktur habe aufbauen wollen und dass mit der Übertragung der Grundstücke bei der Tochtergesellschaft neues Abschreibungssubstrat habe geschaffen werden können. Die Steuerfolgen eines Geschäfts seien mithin nur ein Aspekt und die Möglichkeit der Verminderung einer Steuerbelastung müsse stets mit dem Nutzen des Geschäfts abgewogen werden. Eine Holdingstruktur mache auch nur dann Sinn, wenn alle Liegenschaften auf eine Tochtergesellschaft übertragen würden. Werde nur ein Teil übertragen, würden sich nicht nur keine Vorteile ergeben, sondern im Gegenteil nur administrative und wirtschaftliche Nachteile, weil der Aufwand doppelt anfalle. Das Handelsgericht rechtfertige seine unrichtige hypothetische Annahme in beweisrechtlicher Hinsicht damit, dass ein hypothetischer Kausalverlauf schwierig zu beweisen sei, weshalb sein Vorgehen rechtens sei.
3.1 Das Handelsgericht hat ausgeführt, einen hypothetischen Kausalverlauf zu beweisen sei von der Natur der Sache her schwierig, weshalb der beweisbelasteten Partei eine Beweiserleichterung zugestanden werde, indem sie lediglich das Beweismass der überwiegenden oder hohen Wahrscheinlichkeit erreichen müsse. Der Beschwerdegegnerin sei es darum gegangen, alle Liegenschaften eines Kantons in einer kantonalen Gesellschaft zu bündeln und damit neben den steuerlichen Vorteilen auch administrative Vorteile und Kosteneinsparungen zu erzielen. Beim Grundstückverkauf habe es sich um einen Beitrag zum Aufbau der angestrebten Holdingstruktur gehandelt, wobei sich der Erwerb der R._ AG und der Verkauf der Grundstücke an diese als besonders geeignet erwiesen habe, weil letztere gemäss dem Kaufvertrag wie die Beschwerdegegnerin bereits Stockwerk- bzw. Miteigentümerin im Z._ gewesen sei. Betriebswirtschaftlich würde sich auch der Verzicht auf den Grundstückverkauf trotz Kauf der R._ AG als sinnvoll erweisen, da die Beschwerdegegnerin über ihre Tochtergesellschaft R._ AG ihre Stellung als Stockwerk- und Miteigentümerin im Z._ genau gleich hätte stärken können wie bei einer Übertragung ihrer Grundstücke auf die R._ AG. Auch die administrativen Vorteile und Kostenersparnisse wären zu erreichen gewesen, weil nicht ersichtlich sei, was einer gemeinsamen Verwaltung aller Z._-Liegenschaften oder auch weiterer Liegenschaften im Kanton M._ hätte entgegenstehen können. Eine spätere Übertragung wäre möglich geblieben. In steuerlicher Hinsicht wären die Steuern und Verzugszinsen in der Höhe von Fr. 584'254.-- nicht angefallen. Andererseits wäre aber auch der Verlustvortrag für das Jahr 1994 in der Höhe von Fr. 714'931.-- ungenutzt verfallen. Der Verlust der Verrechnungsmöglichkeit hätte aber nur zu einer (hypothetischen) Einbusse von rund Fr. 60'000.-- geführt. Bei einem Verzicht auf die Veräusserung der Grundstücke hätten somit wesentliche Teile der Holdingstruktur verwirklicht werden können bei einer "Steuerersparnis" von rund Fr. 500'000.--. Diese Ausgangslage begründe eine tatsächliche Vermutung dahin gehend, dass die Beschwerdegegnerin en connaissance de cause mit hoher Wahrscheinlichkeit auf die Übertragung verzichtet hätte, weil der sorgfältige Kaufmann nach allgemeiner Lebenserfahrung keine Geschäfte tätige, die zu einer vermeidbaren Steuerbelastung führen würden.
3.2 Soweit die Beschwerdeführerin sinngemäss rügt, der angefochtene Entscheid gehe von zu hohen Beweisanforderungen aus, kann ihr nicht gefolgt werden. Das Handelsgericht hat ausdrücklich darauf hingewiesen, dass ein hypothetischer Kausalverlauf zu beurteilen sei, weshalb zutreffend lediglich vorauszusetzen ist, dass nach den Erfahrungen des Lebens und dem gewöhnlichen Lauf der Dinge eine überwiegende Wahrscheinlichkeit für einen bestimmten Kausalverlauf spricht (BGE 132 III 305 E. 3.5 S. 311; 124 III 155 E. 3d S. 165 f.). Die Feststellungen des Handelsgerichts zum hypothetischen Kausalzusammenhang sind entsprechend der allgemeinen Regel über die Verbindlichkeit der Feststellungen zum natürlichen Kausalzusammenhang für das Bundesgericht bindend; nur wenn die hypothetische Kausalität ausschliesslich gestützt auf die allgemeine Lebenserfahrung - und nicht gestützt auf Beweismittel - festgestellt wird, unterliegt sie der freien Überprüfung durch das Bundesgericht (vgl. BGE 132 III 305 E. 3.5 S. 311; 115 II 440 E. 5a S. 447 f.; je mit Hinweisen).
3.3 Das Handelsgericht hat sich in seinen Erwägungen u.a. auf den Kaufvertrag zwischen der Beschwerdegegnerin und der R._ AG gestützt, wonach letztere bereits Stockwerk- bzw. Miteigentümerin im Z._ gewesen sei. Ob das Handelsgericht die hypothetische Kausalität damit gestützt auf Beweismittel festgestellt hat, womit die Feststellungen für das Bundesgericht bindend wären, kann offen bleiben, da diese ohnehin nicht zu beanstanden sind. Entgegen der Ansicht der Beschwerdeführerin hat das Handelsgericht nicht lediglich auf die Steuerfolgen des Verkaufs abgestellt, sondern hat auch betriebswirtschaftliche Aspekte sowie administrative Vorteile und Kostenersparnisse einbezogen. So wies es auf die Möglichkeit einer gemeinsamen Verwaltung aller Z._-Liegenschaften oder auch weiterer Liegenschaften im Kanton M._ hin. Bei gemeinsamer Verwaltung kann keine Rede davon sein, dass der Aufwand doppelt anfalle. Die Möglichkeit der Schaffung von neuem Abschreibungssubstrat wäre durch den Verzicht auf den Verkauf nicht weggefallen, sondern hätte auch bei einem späteren Verkauf realisiert werden können. Es trifft zwar zu, dass bei Verzicht auf den Verkauf eine volle Verwirklichung der Holdingstruktur ausgeschlossen gewesen wäre. Wie die Beschwerdeführerin selbst ausführt, müssen jedoch die Kosten und der Nutzen eines Geschäfts stets abgewogen werden. Die Kosten betrugen in diesem Fall beinahe Fr. 600'000.--, der Nutzen bestand in Vorteilen, die teilweise auch auf andere Weise hätten verwirklicht werden können bzw. deren Verwirklichung möglicherweise lediglich zeitlich aufgeschoben worden wäre. Unter diesen Voraussetzungen durfte das Handelsgericht ohne Verletzung von Bundesrecht davon ausgehen, die Beschwerdegegnerin hätte bei Kenntnis der fehlenden Verrechnungsmöglichkeiten mit hoher Wahrscheinlichkeit auf die Übertragung der Grundstücke im Jahr 2001 verzichtet.
4. Die Beschwerdeführerin wirft dem Handelsgericht zudem eine falsche Schadensberechnung dadurch vor, dass es der Beschwerdegegnerin den Vorteil des Geschäfts nicht angerechnet habe. Bei der Tochtergesellschaft sei durch den Verkauf ein Abschreibungssubstrat in der Höhe von Fr. 5'800'000.-- entstanden. Es sei von der Konzernbetrachtungsweise auszugehen, wonach der bei der Tochtergesellschaft entstandene Vorteil der Muttergesellschaft anzurechnen sei. Es gehe nicht an, dass die Beschwerdegegnerin einen Steuervorteil auf eine andere Konzerngesellschaft übertrage, dieser somit einen Nutzen zukommen lasse, den ihr selbst entstandenen Nachteil aber als Schaden darstelle. Die Beschwerdegegnerin habe aber ohnehin direkt einen wirtschaftlichen Vorteil, da das Abschreibungssubstrat eine entsprechende Wertsteigerung der Aktien der Tochtergesellschaft bewirke, die zu 100 Prozent von der Beschwerdegegnerin gehalten würden.
4.1 Das Handelsgericht hat ausgeführt, der endgültige Schaden sei erst festgestellt, wenn sowohl die Nachteile als auch die Vorteile des Geschädigten berücksichtigt würden. Dem Vorbringen der Beschwerdeführerin liege die Betrachtung der Holding bzw. des Konzerns als juristische Einheit zugrunde. Entgegen dieser Ansicht sei bei Holdinggesellschaften bzw. Konzernen davon auszugehen, dass deren Gesellschaften eigene Rechtspersönlichkeit zukomme. Bei der Schadensberechnung seien aber Vorteile, die ein Dritter und nicht der Geschädigte erhalten hätten, nicht zu berücksichtigen. Zu ergänzen bleibe, dass auch im Steuerrecht innerhalb der Schweiz eine einheitliche Konzernbesteuerung unbekannt sei.
4.2 Geschäftsmässig begründete Abschreibungen vermindern den steuerbaren Reingewinn (vgl. Art. 58 Abs. 1 lit. a und b sowie Art. 62 Abs. 1 und 2 DBG). Wie sich aus dem mit dem Verkauf der Grundstücke erzielten Reingewinn der Beschwerdegegnerin ergibt, hatte diese auf den Grundstücken bereits Abschreibungen vorgenommen bzw. die Grundstücke zumindest unter dem Verkehrswert bilanziert, von dem vorliegend anzunehmen ist, er entspreche dem Verkaufspreis (vgl. das erste Urteil des Bundesgerichts in dieser Sache: 4A_144/2009 vom 6. Oktober 2009 E. 4.2). Durch den Verkauf an die Tochtergesellschaft hat diese die Möglichkeit, die Grundstücke zum Kaufpreis zu bilanzieren und darauf künftig Abschreibungen vorzunehmen. Unabhängig davon, ob ein Vorteil der Tochtergesellschaft der Muttergesellschaft direkt oder mit der Begründung einer Wertsteigerung der Beteiligung anzurechnen wäre, stellt sich die Frage, ob überhaupt ein anrechenbarer Vorteil vorliegt. Abschreibungen haben planmässig zu erfolgen. Sofern dabei stille Reserven entstehen, ist die Gewinnbesteuerung nur aufgeschoben, da bei einer Veräusserung der Grundstücke die geschaffenen stillen Reserven realisiert werden und als Ertrag aus dem Verkauf wiederum der Gewinnsteuer unterliegen. Aus diesem Grund ist auch nicht ersichtlich, inwiefern der Wert der von der Beschwerdegegnerin gehaltenen Aktien ihrer Tochtergesellschaft durch den Kauf der Grundstücke gestiegen wäre. Da davon auszugehen ist, dass der Kaufpreis dem Verkehrswert der Grundstücke entsprach, führte der Kauf bei der Tochtergesellschaft lediglich zu einer Umschichtung von Aktiven, indem flüssige Mittel durch Grundstücke ersetzt wurden. Die Möglichkeit der Vornahme künftiger Abschreibungen auf den Grundstücken stellt somit keine durch das schädigende Ereignis erfolgte Vermehrung von Aktiven der Muttergesellschaft dar, die bei der Berechnung des Schadens einzubeziehen wäre. Das Handelsgericht hat bei der Schadensberechnung kein Bundesrecht verletzt.
5. Die Beschwerdeführerin rügt weiter, das Handelsgericht habe zu Unrecht eine Sorgfaltspflichtverletzung bejaht. Die Erwägungen des Handelsgerichts seien widersprüchlich und würden verschiedene Elemente vermischen. Das Gericht sei offensichtlich der Ansicht, die Beschwerdeführerin habe aufgrund einer falschen Auskunft im Jahr 2001 eine Sorgfaltspflichtverletzung im Jahr 2000 begangen. Dies lasse sich schon aufgrund der zeitlichen Abfolge so jedenfalls sicher nicht begründen. Zudem habe im Jahr 2000 gar kein Risiko bestanden, da sie sich auf die herrschende Lehre und auf die von der Eidgenössischen Steuerverwaltung vertretene Auffassung gestützt habe. Es habe von der Beschwerdeführerin auch gar nicht erwartet werden dürfen, dass sie von sich aus auf ein Risiko hinweise, seien ihr die Planungsprozesse doch gar nicht bekannt und sie für die Steuerplanung auch gar nicht zuständig gewesen.
5.1 Das Handelsgericht hat ausgeführt, von einem Steuerberater werde verlangt, dass er einen Sachverhalt richtig erfasse und steuerrechtlich korrekt beurteile, dass er die massgebenden Gesetze, die Standardwerke und die höchstrichterliche Rechtsprechung kenne und beachte. Würden mehrere Möglichkeiten zu Verfügung stehen, habe er den sichersten Weg zu wählen oder mindestens auf bestehende Risiken hinzuweisen. Die vorliegend zentrale Frage, wie die vor 1995 erwirtschafteten Verlustvorträge nach Einführung des DBG per 1. Januar 1995 steuerrechtlich zu behandeln seien, sei in der Lehre und von den Steuerbehörden unterschiedlich beantwortet worden. Die Beschwerdeführerin habe sich zwar der optimistischeren Berechnungsmethode, wonach mit dem Reingewinn des Jahres 2001 auch der Verlustvortrag aus dem Jahr 1993 verrechnet werden konnte, anschliessen können. Die Sorgfaltspflicht hätte es aber verlangt, dass sie die Beschwerdegegnerin auf die unterschiedlichen Berechnungsmöglichkeiten und die sich daraus ergebenden Risiken hingewiesen hätte. Mangels Hinweises auf das bestehende Risiko eines Verfalles des Verlustvortrages 1993 habe sie ihre vertragliche Sorgfaltspflicht daher schon im Jahr 2000 verletzt. Vor dem Erwerb der R._ AG und dem Verkauf der Grundstücke an diese habe die Beschwerdeführerin nochmals ein steuerliches Verlustverrechnungspotential bestätigt. Zudem habe sie ausgeführt, das Urteil des Bundesgerichts 2A.532/1998 vom 17. Mai 2001 habe auf die Beurteilung der vorhandenen steuerlich nutzbaren Verlustvorträge keinen Einfluss und diesbezüglich seien keine Vorkehrungen zu treffen. Die Beschwerdeführerin anerkenne, dass sie dieses Urteil falsch interpretiert habe. Auch damit habe es die Beschwerdeführerin an der objektiv gebotenen Sorgfalt mangeln lassen, welche von einer Steuerberaterin gemäss berufsspezifischem Durchschnittsverhalten anzuwenden wäre.
5.2 Diese Ausführungen sind nicht zu beanstanden. Entgegen der Ansicht der Beschwerdeführerin ist die zeitliche Abfolge in den Erwägungen des Handelsgerichts stimmig. Es hat dargelegt, dass die Beschwerdeführerin bereits im Jahr 2000 ihre Sorgfaltspflicht verletzt habe, indem sie nicht auf das Risiko des Verfalls des Verlustvortrags von 1993 hingewiesen habe. Zudem habe sie im Jahr 2001 ihre Sorgfaltspflicht (ein weiteres Mal) verletzt, indem sie ein Urteil des Bundesgerichts - anerkanntermassen - falsch ausgelegt habe. Damit kann auch offen bleiben, ob im Jahr 2000 ein Risiko bestanden habe, da der Beschwerdeführerin jedenfalls im Jahr 2001 noch vor Verkauf der Grundstücke eine Sorgfaltspflichtverletzung vorzuwerfen ist. Die Behauptung, sie sei für die Steuerplanung gar nicht zuständig gewesen, findet keine Stütze im festgestellten Sachverhalt (vgl. E. 2.2). Inwiefern das Handelsgericht sonst gegen Bundesrecht verstossen hätte, indem es eine Sorgfaltspflichtverletzung bejaht hat, zeigt die Beschwerdeführerin nicht auf und ist auch nicht ersichtlich. Die Rüge erweist sich somit als unbegründet.
6. Die Beschwerdeführerin macht weiter geltend, das Handelsgericht habe "Art. 101 resp. 398 OR resp. 41 ff. OR" verletzt, indem sie eine Verantwortung der Kanzlei S._ verneint habe. Die Kanzlei des heutigen Rechtsvertreters sei für die Steuerplanung der Beschwerdegegnerin und insbesondere für die Übertragung der Grundstücke an deren Tochtergesellschaft zuständig gewesen. Die Beschwerdegegnerin müsse sich das Wissen bzw. Nichtwissen ihres Steuerberaters anrechnen lassen. Es sei schleierhaft, wie das Handelsgericht habe beurteilen können, welche Funktion die Anwaltskanzlei gegenüber der Beschwerdegegnerin und im Verhältnis zur Beschwerdeführerin eingenommen habe. Die entsprechenden Beweise wie Verwaltungsratsprotokolle, Honorarnoten und Tätigkeitsliste hätten gerade nicht vorgelegen, obwohl die Beschwerdeführerin deren Edition ausdrücklich verlangt habe.
6.1 Das Handelsgericht hat ausgeführt, eine die Beklagte entlastende Mitverantwortung der Anwaltskanzlei S._, welche die Beschwerdegegnerin auch in Steuerfragen beraten und die Fehlbeurteilung bezüglich der Verrechenbarkeit des Verlustvortrages 1993 auch nicht bemerkt habe, sei zu verneinen. Vergebe ein Auftraggeber denselben Auftrag an zwei Beauftragte, so könne sich der eine nicht dadurch von seiner Sorgfaltspflicht befreien, dass er auf die Sorgfaltspflicht des anderen verweise. Eine Zurechnung des Fachwissens eines weiteren Beauftragten des Auftraggebers komme nur dann als Entlastung für den vertragsverletzenden Beauftragten in Frage, wenn ersterer gegenüber dem Vertragsverletzer als Hilfsperson des Auftraggebers in Erscheinung getreten sei. Der Auftraggeber müsse ausserdem diesem Beauftragten eine Vorrangstellung gegenüber dem vertragsverletzenden Beauftragten eingeräumt haben, insbesondere indem er ihn mit der Erteilung von Anweisungen an den anderen betraue. Diese Voraussetzungen seien vorliegend nicht erfüllt. Die Anwälte der Kanzlei S._ seien gegenüber der Beschwerdeführerin nicht als Hilfspersonen der Beschwerdegegnerin im genannten Sinne aufgetreten, weshalb eine allfällige Fehlbeurteilung der Situation auf Seiten der Anwaltskanzlei der Beschwerdegegnerin nicht im Sinne eines Selbstverschuldens angerechnet werden könne.
6.2 Soweit die Beschwerdeführerin eine Verletzung des rechtlichen Gehörs geltend machen will, ist darauf mangels Letztinstanzlichkeit nicht einzutreten (vgl. E. 1.3). Gegen die handelsgerichtlichen Erwägungen, wonach sich ein Beauftragter nicht dadurch von seiner Sorgfaltspflicht befreien könne, dass er auf die Sorgfaltspflicht eines anderen verweise, bringt die Beschwerdeführerin nichts vor. Für das Bundesgericht steht verbindlich fest, dass die Anwälte der Kanzlei S._ gegenüber der Beschwerdeführerin nicht als Hilfspersonen der Beschwerdegegnerin aufgetreten sind. Ausgehend von diesem Sachverhalt hat das Handelsgericht kein Bundesrecht verletzt, indem es ein Selbstverschulden der Beschwerdegegnerin verneint hat. Die Rüge ist somit unbegründet.
7. Die Beschwerdeführerin rügt weiter, das Handelsgericht habe sich über bundesgerichtliche Vorgaben hinweggesetzt. Das Bundesgericht habe in seinem Urteil vom 6. Oktober 2009 verbindlich festgehalten, die Behauptungen der Beschwerdegegnerin, wonach sie den Erwerb der R._ AG vorgezogen hätte, seien ungenügend substanziiert gewesen. Trotzdem greife das Handelsgericht diesen Punkt wieder auf, indem es Folgendes ausführe: "Wäre sie (die Klägerin) darüber informiert gewesen, dass das Risiko des Verfalles des Verlustvortrages schon im Jahre 2000 bestand, so hätte sie entweder den Kauf der R._ AG vorgezogen oder eine neue Tochtergesellschaft gegründet (...)."
Die Beschwerdeführerin verkennt, dass das Handelsgericht in der genannten Passage lediglich die Vorbringen der Beschwerdegegnerin zitiert. Wie die Beschwerdeführerin selbst ausführt, hat das Handelsgericht bei der Darlegung der Prozessgeschichte erkannt, dass auf die Variante des vorgezogenen Erwerbs der R._ AG nicht mehr einzugehen sei, da die Auffassung des Handelsgerichts, wonach diese Behauptung ungenügend substanziiert sei, vom Bundesgericht geschützt worden sei. Das Handelsgericht nimmt denn diese Variante abgesehen von der zitierten Passage in seinen Erwägungen auch nicht mehr auf. Die Rüge, das Handelsgericht habe sich über bundesgerichtliche Vorgaben hinweggesetzt, erweist sich damit als unbegründet.
8. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'500.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 9'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Handelsgericht des Kantons Zürich und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 6. Dezember 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier