Sachverhalt:
A. A.a Die X._ AG (Beschwerdegegnerin, Klägerin) ist eine in O._ (Kanton Zug) domizilierte Aktiengesellschaft mit einem Aktienkapital von Fr. 40'500'000.-- (4'050'000 vinkulierte Namenaktien zu Fr. 10.--). Ihr Verwaltungsratspräsident ist D._.
Die Y._ Beteiligungen AG mit Sitz in P._ hat ein Aktienkapital von Fr. 2'500'000.00, aufgeteilt in 5'000 Inhaberaktien und 5'000 Namenaktien zu je Fr. 250.--. Die Y._ Beteiligungen AG verfolgt insbesondere den Zweck, sich an der ebenfalls in P._ domizilierten Y._ AG, die sich mit der Herstellung und dem Verkauf von Werkzeugen und Werkzeugmaschinen beschäftigt, dauernd zu beteiligen.
A._, B._ und C._ (Beschwerdeführer, Beklagte 1-3) sowie die verstorbenen E.A._ und F.A._ sind bzw. waren Verwaltungsräte der Y._ Beteiligungen AG. E.B._ und F.B._(Beklagte 4 und 5) sind die einzigen Erbinnen von E.A._ bzw. F.A._; sie traten in dieser Eigenschaft an deren Stelle in den Prozess ein.
A.b Der vorliegenden Verantwortlichkeitsklage liegt eine prozessuale Auseinandersetzung zwischen der Beschwerdegegnerin und der Y._ Beteiligungen AG zugrunde:
Die Familienholding Z._ AG in O._ besass seit den 1980-er Jahren einen erheblichen Anteil am Aktienpaket der Y._ Beteiligungen AG. Nach Darstellung der Beschwerdegegnerin standen sich seit 1989 in der Y._ Beteiligungen AG im Wesentlichen eine Mehrheitsgruppe mit einem Aktienkapital von rund 52 % und eine Minderheitsgruppe mit einem solchen von rund 47 % gegenüber, wobei die Beschwerdegegnerin mit 2'093 Inhaberaktien sowie die Z._ AG, die mit ihren 2'530 Namenaktien im Aktienbuch der Gesellschaft eingetragen war, zur Minderheitsgruppe gehört hätten. Im Jahr 1998 fusionierte die Beschwerdegegnerin mit ihrer Tochtergesellschaft, der Z._ AG, indem sie deren Aktiven und Passiven übernahm. Die Beschwerdegegnerin ersuchte hierauf den Verwaltungsrat der Y._ Beteiligungen AG um Übertragung der Y._-Aktien von der Z._ AG auf die Beschwerdegegnerin. Die Y._ Beteiligungen AG bzw. ihr Verwaltungsrat verwehrte der Beschwerdegegnerin die Eintragung.
Im Juli 1999 erhob die Beschwerdegegnerin beim Handelsgericht des Kantons Zürich gegen die Y._ Beteiligungen AG Klage auf Anordnung der Eintragung ihrer 2'530 Namenaktien im Aktienbuch der Gesellschaft. Das Handelsgericht hiess die Klage am 21. Mai 2001 vollumfänglich gut. Es entschied, dass die Verweigerung der Eintragung rechtsmissbräuchlich gewesen sei und verpflichtete die Y._ Beteiligungen AG zur Eintragung des Transfers der Aktien von der Z._ AG auf die Beschwerdegegnerin im Aktienbuch. Die Y._ Beteiligungen AG zog das Urteil des Handelsgerichts zunächst an das Kassationsgericht des Kantons Zürich weiter, das die Nichtigkeitsbeschwerde mit Beschluss vom 19. März 2002 abwies. Eine gegen den Entscheid des Kassationsgerichts erhobene staatsrechtliche Beschwerde wies das Bundesgericht am 5. März 2003 ab (Verfahren 4P.118/2002). Die Y._ Beteiligungen AG erhob gegen das handelsgerichtliche Urteil auch Berufung an das Bundesgericht. Dieses wies die Berufung mit Urteil vom 5. März 2003 ab. Es erkannte, dass der Verwaltungsrat durch die Weigerung, die Namenaktien in das Aktienbuch einzutragen, gegen das Gleichbehandlungsgebot im Sinne von Art. 717 Abs. 2 OR verstossen und nicht im Interesse der Gesellschaft gehandelt habe. Überdies schloss es sich der Beurteilung des Handelsgerichts an, dass die Eintragungsverweigerung rechtsmissbräuchlich gewesen sei (Verfahren 4C.242/2001).
B. Am 22. Oktober 2003 erhob die Beschwerdegegnerin beim Bezirksgericht Zürich Verantwortlichkeitsklage mit dem Begehren, die Beklagten seien solidarisch zu verpflichten, der Y._ Beteiligungen AG einen Betrag von mindestens Fr. 1.2 Mio. zu bezahlen, wobei die Ersatzpflicht jedes Beklagten festzustellen sei. Die Beschwerdegegnerin machte als Schaden die Kosten geltend, die der Y._ Beteiligungen AG infolge der vom Verwaltungsrat geführten gerichtlichen Auseinandersetzung um die Eintragung der besagten 2'530 Namenaktien in Form von Gerichtsgebühren, Parteientschädigungen sowie weiteren Kosten (Anwalts- und Expertenhonoraren) entstanden waren.
Am 27. Februar 2006 wies das Bezirksgericht die Klage ab. Auf Berufung der Beschwerdegegnerin hin hob das Obergericht des Kantons Zürich das Urteil des Bezirksgerichts mit Rückweisungsbeschluss vom 4. April 2007 auf und wies den Prozess zur Ergänzung des Verfahrens und zu neuem Entscheid an das Bezirksgericht zurück. Das Kassationsgericht des Kantons Zürich wies die dagegen erhobene Nichtigkeitsbeschwerde der Beklagten am 25. März 2008 ab, soweit es darauf eintrat. Das Bezirksgericht hiess in der Folge am 10. Juni 2011 die Klage im Umfang von Fr. 1'217'131.-- nebst Zins zu 5 % ab 1. Juli 2001 gut und bestimmte den Umfang der solidarischen Haftung der Beklagten.
Gegen dieses Urteil erhoben alle Beklagten Berufung an das Obergericht des Kantons Zürich. Sie beantragten die vollumfängliche Klageabweisung mangels Pflicht- und Rechtswidrigkeit sowie mangels Verschuldens. Im Eventualstandpunkt beanstandeten sie die Schadenszinsberechnung. Die Beschwerdegegnerin erhob Anschlussberufung hinsichtlich der Kosten- und Entschädigungsregelung.
Am 11. Mai 2012 fällte das Obergericht folgendes Urteil:
"1. Die Klage wird im Umfang von Fr. 1'217'131.-- nebst Zins zu 5% ab 13. März 2002 gutgeheissen.
Für diesen Betrag haften die Beklagten 1-5 im nachfolgenden Umfang solidarisch:
Der Beklagte 1 mit Fr. 123'168.--, der Beklagte 2 mit Fr. 1'093'963.-- und die Beklagten 3-5 je mit Fr. 1'217'131.--, je nebst Zins zu 5% seit 13. März 2002.
Im Übrigen wird die Klage abgewiesen.
2. Die erstinstanzliche Kostenfestsetzung (Dispositiv-Ziffer 3) wird bestätigt.
3. Die Kosten des erstinstanzlichen Verfahrens werden zu einem Viertel der Klägerin und je zu 3/20 den Beklagten 1-5 (je unter solidarischer Haftung der Beklagten 2-5 für weitere 12/20) auferlegt.
Der Anteil der Klägerin wird vorab aus dem von ihr geleisteten Barvorschuss bezogen.
Die Kosten des ersten Berufungsverfahrens (Proz.-Nr. LB060037) werden zu einem Viertel der Klägerin und je zu 3/20 den Beklagten 1-5 auferlegt, unter solidarischer Haftung der Beklagten 2-5 für weitere 12/20.
4. Die Beklagten 1-5 werden zu je einem Fünftel verpflichtet, der Klägerin eine Parteientschädigung von Fr. 55'000.-- für das erstinstanzliche Verfahren und das erste Berufungsverfahren zu bezahlen, unter solidarischer Haftung der Beklagten 2-5 für den vollen Betrag von Fr. 55'000.--.
5. Die Entscheidgebühr für das vorliegende Berufungsverfahren wird auf Fr. 50'000.-- festgesetzt.
6. Die Entscheidgebühr wird den Beklagten 1-5 unter solidarischer Haftbarkeit auferlegt und mit den von ihnen geleisteten Kostenvorschüssen verrechnet.
7. Die Beklagten 1-5 werden in solidarischer Haftbarkeit verpflichtet, der Klägerin eine Parteientschädigung von Fr. 44'000.-- für das vorliegende Berufungsverfahren zu bezahlen.
8. (...)"
C. Die Beschwerdeführer beantragen mit Beschwerde in Zivilsachen, den Rückweisungsbeschluss des Obergerichts vom 4. April 2007 und das Urteil des Obergerichts vom 11. Mai 2012 aufzuheben. Die Klage sei abzuweisen. Eventualiter seien die Dispositivziffern 5 und 7 des Urteils des Obergerichts vom 11. Mai 2012 aufzuheben und es sei die Sache zur Festsetzung der Entscheidgebühr und der Parteientschädigung für das Berufungsverfahren basierend auf einem Streitwert von Fr. 1'277'131.-- an das Obergericht zurückzuweisen.
Die Beklagten 4 und 5 erhoben separat Beschwerde in Zivilsachen (Verfahren 4A_373/2012).
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Die Beschwerdeführer haben eine Replik eingereicht.
Erwägungen:
1. 1.1 Die Beschwerde richtet sich ausser gegen den Endentscheid der Vorinstanz vom 11. Mai 2012 auch gegen den Rückweisungsbeschluss vom 4. April 2007, mit dem die Vorinstanz die grundsätzliche Haftung der fünf Beklagten gemäss Art. 754 OR bejahte. Dies ist grundsätzlich zulässig. Beim mitangefochtenen Rückweisungsbeschluss vom 4. April 2007 handelt es sich um einen Zwischenentscheid im Sinne von Art. 93 Abs. 1 BGG, gegen den kein Rechtsmittel an das Bundesgericht ergriffen wurde und der sich auf den Inhalt des hier angefochtenen Endentscheids auswirkt (Art. 93 Abs. 3 BGG).
Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
1.2 Die Beschwerdegegnerin beantragt allerdings, auf das Eventualbegehren sei mangels materiellen Antrags nicht einzutreten.
Das Bundesgericht verlangt im Hinblick auf die reformatorische Natur der Beschwerde in Zivilsachen (Art. 107 Abs. 2 BGG) auch hinsichtlich der vom Ausgang der Hauptsache unabhängigen Anfechtung der vorinstanzlichen Kosten- und Entschädigungsregelung grundsätzlich einen materiellen, d.h. bezifferten Antrag, widrigenfalls es auf diesbezügliche Begehren nicht eintritt (Art. 42 Abs. 1 BGG; Urteile 4A_410/2011 vom 11. Juli 2012 E. 1.2; 4A_164/2011 vom 10. November 2011 E. 1.3.2; allgemeiner: BGE 134 III 235 E. 2 S. 237). Die Rechtsbegehren sind allerdings unter Berücksichtigung der Beschwerdebegründung nach dem Vertrauensprinzip auszulegen (BGE 136 V 131 E. 1.2 S. 136; 133 II 409 E. 1.4.2; 123 IV 125 E. 1; 105 II 149 E. 2a). Vorliegend findet sich bezüglich des eventualiter angefochtenen Kosten- und Entschädigungsentscheids auch in der Beschwerdebegründung keine exakte Bezifferung. Immerhin erfolgt insofern eine betragsmässige Präzisierung, als sowohl im Rechtsbegehren selbst als auch in der Begründung ausgeführt wird, dass die Beschwerdeführer die Festsetzung der Gerichtskosten und der Parteientschädigung auf der Basis eines Streitwertes von Fr. 1'277'131.-- verlangen. Zudem begründen sie in der Beschwerde, weshalb sie diesbezüglich die Rückweisung verlangen, weil sie nämlich - zutreffend - davon ausgehen, dass das Bundesgericht die Gerichtskosten und die Parteientschädigung für das vorinstanzliche Verfahren nicht selbst gestützt auf die zürcherischen Gebührenverordnungen festlegen würde (vgl. analog bei Aufhebung eines kantonalen Kostenentscheids infolge Gutheissung der Beschwerde in der Sache selbst: Urteil 4A_688/2011 vom 17. April 2012 E. 2, nicht publ. in: BGE 138 III 425). Mit Blick auf diese Ausführungen kann das Eventualbegehren als hinlänglich betrachtet und darauf eingetreten werden.
2. 2.1 Die Mitglieder des Verwaltungsrates und alle mit der Geschäftsführung oder mit der Liquidation befassten Personen sind sowohl der Gesellschaft als den einzelnen Aktionären und Gesellschaftsgläubigern für den Schaden verantwortlich, den sie durch absichtliche oder fahrlässige Verletzung ihrer Pflichten verursachen (Art. 754 Abs. 1 OR). Die Voraussetzungen einer Haftung aus aktienrechtlicher Verantwortlichkeit sind demnach das Vorliegen eines Schadens, einer Pflichtverletzung, des natürlichen und adäquaten Kausalzusammenhangs zwischen Schaden und Pflichtverletzung sowie eines Verschuldens (BGE 132 III 342 E. 4.1, 564 E. 4.2). Sind für einen Schaden mehrere Personen ersatzpflichtig, so ist jede von ihnen insoweit mit den anderen solidarisch haftbar, als ihr der Schaden aufgrund ihres eigenen Verschuldens und der Umstände persönlich zurechenbar ist (Art. 759 Abs. 1 OR; differenzierte Solidarität).
2.2 Vorliegend ist unbestritten, dass die ins Recht gefassten Beklagten als Verwaltungsräte der Y._ Beteiligungen AG grundsätzlich der Verantwortlichkeit nach Art. 754 OR unterliegen. Die Beschwerdegegnerin macht als Aktionärin der Y._ Beteiligungen AG den Schaden geltend, welcher dieser Gesellschaft durch die Kosten der gerichtlichen Auseinandersetzung um die Eintragung der 2'530 Namenaktien der Z._ AG auf den Namen der Beschwerdegegnerin erwuchsen (Gerichtsgebühren, Parteientschädigungen, Anwalts- und Expertenhonorare). Sie erblickt das rechtswidrige und schuldhafte Handeln des Verwaltungsrats darin, dass er diese gerichtliche Auseinandersetzung führte, obwohl die Verweigerung der Eintragung rechtsmissbräuchlich und damit haltlos war. Durch das erfolglose Prozessieren darüber habe er der Y._ Beteiligungen AG unnötige Kosten verursacht.
2.3 Die Vorinstanz bejahte im Rückweisungsbeschluss vom 4. April 2007 die Haftung der Beschwerdeführer nach Art. 754 OR. Dabei stützte sie sich vor allem auf die Erwägungen des Bundesgerichts im Urteil 4C.242/2001 vom 5. März 2003. Die Vorinstanz argumentierte zusammenfassend dahingehend, wenn - wie das Bundesgericht unmissverständlich dargelegt habe - die Eintragungsverweigerung pflicht- und rechtswidrig gewesen sei, sei erst recht die Verteidigung der Eintragungsverweigerung durch alle Instanzen hindurch rechtswidrig und damit haftungsauslösend. Der Hinweis der Beschwerdeführer auf Meinungen von Fachleuten und die Minderheitsmeinung eines Handelsrichters vermöge angesichts der überaus deutlichen bundesgerichtlichen Antwort die Rechtswidrigkeit ihres Tuns nicht aus der Welt zu schaffen. Zum Verschulden führte die Vorinstanz aus, die Beschwerdeführer hätten sich der Rechtsmissbräuchlichkeit der Eintragungsverweigerung spätestes bei Einleitung des Prozesses vor Handelsgericht bewusst sein müssen. Im Endentscheid vom 11. Mai 2012 betrachtete sich die Vorinstanz an die im Rückweisungsbeschluss vorgenommene Beurteilung der Pflichtwidrigkeit und des Verschuldens gebunden. Es bleibe dabei: Die Missbräuchlichkeit der Eintragungsverweigerung schlage auf die Prozessführung über diese Frage durch.
2.4 Die Beschwerdeführer rügen eine Verletzung von Art. 754 OR. Sie beanstanden, dass die Vorinstanz von der Rechtswidrigkeit der Eintragungsverweigerung auf die Pflichtwidrigkeit der Prozessführung über die Eintragung geschlossen habe. Damit habe sie in unzulässiger Weise die Rechtswidrigkeit des Nichteintragungsentscheids mit derjenigen des Prozessführungsentscheids gleichgesetzt. Die Vorinstanz lasse die bundesgerichtliche Rechtsprechung zur Haftung für prozessuales Verhalten ausser Acht. Zudem habe sie den Grundsatz der ex ante Betrachtung missachtet, indem sie von der seitens des Bundesgerichts nachträglich festgestellten Missbräuchlichkeit der Eintragungsverweigerung auf die Missbräuchlichkeit der Prozessführung geschlossen habe. Ex ante betrachtet sei das prozessuale Verhalten der Beschwerdeführer nicht pflichtwidrig. Es habe mehrere sachliche Gründe gegeben, sich der Klage der Beschwerdegegnerin zu widersetzen. Zum einen hätten sich die Beschwerdeführer auf ein Gutachten eines Rechtsprofessors verlassen können, wonach gewichtige Argumente für die erfolgreiche Anrufung der Escape-Klausel und der Fiduzia-Klausel bestanden hätten. Zum andern hätten sie über ein Gutachten eines weiteren Rechtsprofessors und namhaften Aktienrechtsspezialisten verfügt, der die Position der Beschwerdegegnerin im Falle einer Klage über die Eintragung als "schwach" beurteilt habe. Schliesslich hätten die Beschwerdeführer auch eine Verfügung des Einzelrichters des Bezirksgerichts Bülach, welche die Rechtsauffassung der genannten Professoren gestützt habe und in der Folge vom Obergericht bestätigt worden sei, in ihre Entscheidfindung einfliessen lassen. Gestützt auf diese Entscheidungsgrundlagen hätten jedenfalls mehr Gründe dafür gesprochen, sich der von der Beschwerdegegnerin erhobenen Klage zu widersetzen als diese anzuerkennen. Auch der Entscheid zur Beschreitung des Rechtsmittelweges habe auf zuverlässigen Grundlagen und sachlichen Gründen basiert. Die Vorinstanz habe zudem den Grundsatz verletzt, wonach der Verwaltungsrat nicht für die materielle Richtigkeit seiner Entscheide haftet. Sie hätten den Prozessführungsentscheid mit aller zumutbaren Sorgfalt gefällt. Dafür, dass das Bundesgericht ex post ihrem Standpunkt nicht Recht gegeben habe, könnten sie nicht zur Verantwortung gezogen werden, gebe es doch keine Erfolgshaftung des Verwaltungsrates. Das Verhalten der Beschwerdeführer sei ex ante betrachtet auch nicht schuldhaft.
3. 3.1 Zunächst ist klarzustellen, um welchen Schaden es geht, der durch welche pflichtwidrige Handlung der Beschwerdeführer verursacht worden sein soll. Hierbei sind einerseits zu unterscheiden der direkte Schaden, der durch das Verhalten des Verwaltungsrats der Y._ Beteiligungen AG direkt im Vermögen der Beschwerdegegnerin entstand, und andererseits der Schaden, welcher der Beschwerdegegnerin indirekt dadurch entstand, dass der Verwaltungsrat eine Verminderung des Vermögens der Y._ Beteiligungen AG und damit einen Wertverlust der von der Beschwerdegegnerin gehaltenen Aktien dieser Gesellschaft verursachte (vgl. dazu BGE 132 III 564 E. 3.1; 131 III 306 E. 3.1). Sodann gilt es zu differenzieren nach der Eintragungsverweigerung als Schaden verursachende Handlung und der Prozessführung über die Eintragungsverweigerung. Die Beschwerdegegnerin klagte den indirekten Schaden ein, der durch die Führung der gerichtlichen (und schliesslich durch die Gesellschaft verlorenen) Auseinandersetzung über die Eintragungsfrage entstanden ist. Dazu ist sie nach Art. 756 OR berechtigt (BGE 131 III 306 E. 3.1.1 S. 310 f.). Der Schaden besteht im Wesentlichen in den angefallenen Gerichts- und Parteikosten sowie den Experten- und Anwaltshonoraren. Das Verhalten des Verwaltungsrates, das diesen Schaden verursacht haben soll, waren die Entscheide, sich der Klage auf Eintragung zu widersetzen und das Urteil des Handelsgerichts mit den zur Verfügung stehenden Rechtsmitteln anzufechten.
Es fragt sich mithin, ob der Entschluss des Verwaltungsrates, die Eintragungsfrage gerichtlich entscheiden zu lassen, pflichtwidrig gefällt wurde.
3.2 Nach Art. 717 Abs. 1 OR müssen die Mitglieder des Verwaltungsrats, sowie Dritte, die mit der Geschäftsführung befasst sind, ihre Aufgaben mit aller Sorgfalt erfüllen und die Interessen der Gesellschaft in guten Treuen wahren. Die gesetzlich normierte Treuepflicht verlangt, dass die Mitglieder des Verwaltungsrats ihr Verhalten am Gesellschaftsinteresse ausrichten. Für die Sorgfalt, die der Verwaltungsrat bei der Führung der Geschäfte der Gesellschaft aufzuwenden hat, gilt ein objektiver Massstab. Die Verwaltungsräte sind zu aller Sorgfalt verpflichtet und nicht nur zur Vorsicht, die sie in eigenen Geschäften anzuwenden pflegen (BGE 122 III 195 E. 3a S. 198; 113 II 52 E. 3a S. 56). Das Verhalten eines Verwaltungsratsmitglieds wird deshalb mit demjenigen verglichen, das billigerweise von einer abstrakt vorgestellten, ordnungsgemäss handelnden Person in einer vergleichbaren Situation erwartet werden kann (PETER BÖCKLI, Schweizer Aktienrecht, 4. Aufl. 2009, § 13 N. 575).
Die Sorgfalt richtet sich nach dem Recht, Wissensstand und den Massstäben im Zeitpunkt der fraglichen Handlung oder Unterlassung. Bei der Beurteilung von Sorgfaltspflichtverletzungen hat mithin eine ex ante Betrachtung stattzufinden (vgl. Urteile 4A_74/2012 vom 18. Juni 2012 E. 5.1; 4A_467/2010 vom 5. Januar 2011 E. 3.3; BERNARD CORBOZ, in: Commentaire romand, Code des obligations, Bd. II, 2008, N. 22 zu Art. 754 OR; GERICKE/WALLER, in: Basler Kommentar, Obligationenrecht, Bd. II, 4. Aufl. 2012, N. 31c zu Art. 754 OR; WATTER/PELLANDA, in: Basler Kommentar, Obligationenrecht, Bd. II, 4. Aufl. 2012, N. 6 zu Art. 717 OR).
Das Bundesgericht anerkennt mit der herrschenden Lehre, dass die Gerichte sich bei der nachträglichen Beurteilung von Geschäftsentscheiden Zurückhaltung aufzuerlegen haben, die in einem einwandfreien, auf einer angemessenen Informationsbasis beruhenden und von Interessenkonflikten freien Entscheidprozess zustande gekommen sind (Urteile 4A_74/2012 vom 18. Juni 2012 E. 5.1 und 4A_306/2009 vom 8. Februar 2010 E. 7.2.4; GERICKE/WALLER, a.a.O., N. 31 f. zu Art. 754 OR; WATTER/PELLANDA, a.a.O., N. 6 zu Art. 717 OR; BÖCKLI, a.a.O., § 18 N. 401 f.; FORSTMOSER/MEIER-HAYOZ/NOBEL, Schweizerisches Aktienrecht, 1996, § 28 Rz. 24).
3.3 Die missbräuchliche Führung eines Gerichtsverfahrens kann grundsätzlich einen Verstoss gegen die Treuepflicht nach Art. 717 Abs. 1 OR darstellen. Erscheint ein Prozess von vornherein als aussichtslos, muss mit entsprechenden Kostenfolgen im Falle des Unterliegens gerechnet werden, was dem Gesellschaftsinteresse zuwiderläuft. Der Verwaltungsrat hat - nötigenfalls unter Beizug eines Rechtsanwalts oder weiterer Fachpersonen - die Prozesschancen sorgfältig abzuklären. Auch hier gilt, dass die Prozessaussichten im Zeitpunkt der Einleitung des Prozesses zu beurteilen sind. Allein aufgrund des späteren Unterliegens im Prozess kann nicht auf eine Unterlassung der sorgfältigen Abwägung der Prozesschancen geschlossen bzw. der Entscheid über die Prozessführung als pflichtwidrig beurteilt werden (vgl. Urteil 4A_267/2008 vom 8. Dezember 2008 E. 5.2).
So kann nicht einfach von der später erkannten Rechtsmissbräuchlichkeit einer Handlung eo ipso auf die Rechtsmissbräuchlichkeit der Prozessführung über diese Handlung geschlossen werden, zumal beim Entscheid über die Prozessführung berücksichtigt werden darf, dass Rechtsmissbräuchlichkeit nur mit Zurückhaltung bejaht wird (BGE 135 III 162 E. 3.3.1 S. 169; 134 III 52 E. 2.1 S. 58 f.). Ansonsten würde jedes prozessuale Unterliegen einer Aktiengesellschaft oder zumindest jeder Prozessverlust, bei dem das Verhalten der Aktiengesellschaft als rechtsmissbräuchlich beurteilt wird, ohne weiteres eine aktienrechtliche Verantwortlichkeit der Organe auslösen, die den Prozessführungsentscheid gefällt haben. Zu denken ist etwa auch an Fälle der Entlassung eines Arbeitnehmers, die im Prozess als missbräuchlich beurteilt wird, oder der Kündigung eines Mietvertrags, die sich auf dem Rechtsweg als missbräuchlich herausstellt. Ein solcher Automatismus darf nicht Platz greifen. Vielmehr ist im Einzelfall abzuklären, ob es im Lichte der gegebenen Umstände und Prozessrisiken vertretbar erscheint, dass der Verwaltungsrat den Rechtsweg beschreitet. Stets ist zudem im Auge zu behalten, dass Entscheide des Verwaltungsrates betreffend Prozessführung auch in diesem Sinne am Gesellschaftsinteresse auszurichten sind, als das mit dem Prozess verfolgte Ziel von diesem gedeckt ist.
Das Gesellschaftsinteresse bildet demnach in zweierlei Hinsicht Richtschnur für die Beurteilung von Prozessführungsentscheiden des Verwaltungsrats: Zum einen kann es nicht im Interesse der Gesellschaft liegen, von vornherein aussichtslose Prozesse zu führen, die nur unnötige Kosten für die Gesellschaft generieren. Zum andern verbietet das Gesellschaftsinteresse, Prozesse zu führen, mit denen nicht ein im Gesellschaftsinteresse liegendes Ziel verfolgt wird.
3.4 Demnach ist vorliegend zu fragen, ob die Beschwerdeführer im Zeitpunkt des Prozessführungsentscheids hinreichende Gründe zur Annahme hatten, dass ihr Standpunkt obsiegen könnte. Nachdem die Eintragungsverweigerung als gegen den Gleichbehandlungsgrundsatz verstossend und überdies als rechtsmissbräuchlich beurteilt wurde, stellt sich insbesondere die Frage, ob sie damals bei ihrem Entscheid, sich gegen die Klage der Beschwerdegegnerin auf Eintragung der Namenaktien gerichtlich zur Wehr zu setzen, damit rechnen mussten, dass die Verweigerung der Eintragung als missbräuchlich beurteilt werden würde. Mit einer entsprechenden Beurteilung mussten sie in guten Treuen nur dann nicht rechnen, wenn sie sachliche, im Gesellschaftsinteresse stehende Gründe hatten, die Eintragung zu verweigern.
Genau daran fehlt es aber. Die Beschwerdeführer vermochten keine solchen Gründe namhaft zu machen. Die Absicht, den Einfluss eines bestehenden Minderheitsaktionärs zurückzudrängen, stand ausserhalb des Zwecks der Vinkulierung und war mit dieser auch nicht zu erreichen. Die Beschwerdeführer nutzten die durch die Fusion zwischen der Beschwerdegegnerin und der Z._ AG entstandene Situation in missbräuchlicher Weise zugunsten der zur Mehrheitsgruppe gehörenden Aktionäre aus. Dies konnten die Beschwerdeführer nicht erst durch die nachträglichen Gerichtsentscheide erkennen. Es war bzw. musste ihnen schon beim Prozessführungsentscheid bewusst sein, dass ihnen sachliche, im Gesellschaftsinteresse liegende Gründe für die Eintragungsverweigerung fehlten. Gemäss den Feststellungen im Rückweisungsbeschluss gaben sie nämlich selber an, es sei ihnen bzw. der Y._ Beteiligungen AG seinerzeit im Wesentlichen darum gegangen, D._ die Einflussmöglichkeiten auf die Y._ Beteiligungen AG zu nehmen. Wenn sie argumentieren, dies sei im Interesse der Gesellschaft gelegen, da seitens D._ eine schädliche Geschäftspolitik zu befürchten gewesen sei, so kann darauf mangels entsprechender Feststellungen in den angefochtenen Entscheiden nicht abgestellt werden (Art. 105 Abs. 1 BGG). Ohnehin vermögen blosse Befürchtungen das Gleichbehandlungsgebot der Aktionäre und das Rechtsmissbrauchsverbot nicht aufzuwiegen. Ein sachlicher Grund für die Eintragungsverweigerung könnte in diesen Befürchtungen nicht erblickt werden, was den Beschwerdeführern klar sein musste. Ihnen musste damit auch bewusst sein, dass sie das Rechtsinstitut der Vinkulierung zweckwidrig verwendeten. Demnach hatten sie damit zu rechnen, dass die Gerichte ihr Verhalten als rechtsmissbräuchlich qualifizieren würden (vgl. BGE 138 III 401 E. 2.2 mit Hinweisen; für den hier massgeblichen Zeitpunkt: BGE 121 II 97 E. 4 S. 103).
Ebensowenig helfen den Beschwerdeführern die Gutachten von zwei Rechtsprofessoren sowie die vom Obergericht bestätigte Verfügung des Einzelrichters des Bezirksgerichts Bülach vom 16. April 1999, auf die sie sich bei ihrem Prozessführungsentscheid gestützt haben wollen. Diese Gutachten und Entscheide äusserten sich nicht zur Frage eines Rechtsmissbrauchs. Jedenfalls ist solches im für das Bundesgericht verbindlichen Sachverhalt der Vorinstanz nicht festgestellt. Einzig das Gutachten vom 10. März 2000 behandelte speziell die Frage der Rechtsmissbräuchlichkeit der Anrufung der Escape-Klausel. Aber auch diesbezüglich schweigen die angefochtenen Entscheide darüber, ob der Gutachter seine Beurteilung hinsichtlich des hier massgebenden Sachverhalts vornahm. Mangels entsprechender Feststellungen ist es dem Bundesgericht daher verwehrt anzunehmen, die Beschwerdeführer hätten gestützt auf einschlägige Fachmeinungen in guten Treuen annehmen dürfen, dass ihre Prozesschancen insbesondere hinsichtlich der Frage der Rechtsmissbräuchlichkeit intakt seien (Art. 105 Abs. 1 BGG). Immerhin ist den Beschwerdeführern zuzugestehen, dass sie sich um die rechtliche Abklärung des geplanten Vorgehens bemühten. Auch ist ihnen zugute zu halten, dass sie sich durch die Minderheitsmeinung von Handelsrichter Dr. Werner de Capitani, der die Haltung des Verwaltungsrates als nicht rechtsmissbräuchlich beurteilte, in gewissem Masse in der Ergreifung von Rechtsmitteln bestärkt fühlen durften. Das alles ändert aber nichts daran, dass sie keine in der Interessensphäre der Gesellschaft liegenden, vertretbaren Gründe für die Eintragungsverweigerung namhaft machen konnten. Ihnen musste daher schon im Vorfeld des Prozesses klar sein, dass sie ein erhebliches Risiko liefen, dass die Eintragungsverweigerung vor den Gerichten wegen Rechtsmissbrauchs nicht standhalten würde und sie deshalb im Prozess unterliegen würden. Indem sie sich dennoch für den Rechtsweg entschlossen, verletzten sie ihre Pflicht, im Gesellschaftsinteresse zu handeln.
Entscheidend ist ohnehin nicht allein die Frage, ob die Beschwerdeführer im Vorfeld des Prozesses vor dem Handelsgericht bzw. der Ergreifung von Rechtsmitteln gegen das handelsgerichtliche Urteil hinreichende Abklärungen zu den Erfolgschancen tätigten und sich für ihr Vorgehen auf Fachmeinungen oder eine Minderheitsmeinung eines Handelsrichters stützen konnten. Unter dem Blickwinkel der Treuepflicht nach Art. 717 OR ist ausschlaggebend, ob die Prozessführung im Gesellschaftsinteresse lag oder nicht. Nun besteht aber nach den einzig massgeblichen tatsächlichen Feststellungen der Vorinstanz kein Zweifel daran, dass die Eintragungsverweigerung und damit auch die Prozessführung über diese Frage nicht im Gesellschaftsinteresse, sondern im Interesse einer Mehrheit der Aktionäre erfolgte. Die Vorinstanz erkannte daher ohne Verletzung von Art. 754 OR oder des Grundsatzes der ex ante Betrachtung, dass die Beschwerdeführer durch den Prozessführungsentscheid pflichtwidrig handelten.
3.5 Sie bejahte auch das Verschulden der Beschwerdeführer in zutreffender Weise. Für eine Haftung nach Art. 754 ff. OR genügt leichte Fahrlässigkeit (Urteil 4A_74/2012 vom 18. Juni 2012 E. 5; GERICKE/ WALLER, a.a.O., N. 32 zu Art. 754 OR; CORBOZ, a.a.O., N. 37 zu Art. 754 OR). Nun war es aber für den Verwaltungsrat ohne weiteres erkennbar, dass er mit dem Prozess über die Eintragungsverweigerung nicht Interessen der Gesellschaft, sondern solche der Aktionärsmehrheit verteidigte, und somit den Prozessführungsentscheid nicht am Gesellschaftsinteresse ausrichtete.
3.6 Zusammenfassend bejahte die Vorinstanz die Haftung der Beschwerdeführer zu Recht. Die Beschwerde erweist sich in diesem Punkt als unbegründet. Das Quantitativ und der Zinsenlauf wie auch die Festlegung des Haftungsumfangs der fünf Beklagten sind nicht angefochten.
4. 4.1 Mit ihrem Eventualbegehren verlangen die Beschwerdeführer die Aufhebung der Dispositiv-Ziffern 5 und 7 des Urteils des Obergerichts vom 11. Mai 2012, in denen die Entscheidgebühr und die Parteientschädigung für das Berufungsverfahren gestützt auf einen Streitwert von Fr. 4'868'524.-- festgesetzt wurden. Die Beschwerdeführer rügen eine bundesrechtswidrige Bemessung des Streitwertes. Die Vorinstanz habe Art. 93 Abs. 1 ZPO verletzt, indem sie die einzelnen Beträge, in deren Umfang die Beschwerdeführer für die Klageforderung von Fr. 1'217'131.-- solidarisch haften, zusammengezählt habe. Richtigerweise finde Art. 93 Abs. 1 ZPO bei einer Klage gegen mehrere Solidarschuldner keine Anwendung. Die Zusammenrechnung scheitere bereits daran, dass nicht mehrere Begehren i.S.v. Art. 93 ZPO vorlägen. Ebenfalls lasse die Vorinstanz ausser Acht, dass sich der wirtschaftliche Wert des Streitgegenstandes durch den blossen Umstand, dass mehrere Solidarschuldner eingeklagt würden, nicht erhöhe.
Die Vorinstanz begründete die Zusammenrechnung damit, dass die von der Beschwerdegegnerin gegen die fünf Beklagten gemeinsam erhobenen Verantwortlichkeitsansprüche gegen jeden Beklagten separat erhoben und beurteilt werden könnten. Dass die Leistung schliesslich nur einmal erbracht werden müsse, ändere daran nichts. Solidarschuldner würden vielmehr grundsätzlich jeder einzeln zur Zahlung der ganzen Forderung verurteilt, und erst mit einer effektiven Zahlung würden sich die Verpflichtungen der Mitverpflichteten reduzieren.
4.2 Gemäss Art. 93 Abs. 1 ZPO im Titel über den Streitwert werden bei einfacher Streitgenossenschaft und Klagenhäufung die geltend gemachten Ansprüche zusammengerechnet, sofern sie sich nicht gegenseitig ausschliessen. Das BGG kennt in Art. 52 eine analoge Bestimmung. In der Botschaft vom 28. Juni 2006 zur ZPO wird die Zusammenrechnung der geltend gemachten Ansprüche damit gerechtfertigt, dass sich der wirtschaftliche Wert des Prozesses erhöht (BBl 2006 7291).
Voraussetzung für die Anwendung der Zusammenrechnungsregel ist demnach, dass in einer vermögensrechtlichen Sache eine einfache Streitgenossenschaft oder eine objektive Klagenhäufung vorliegt. Es muss eine Mehrheit von verschiedenen Begehren geltend gemacht werden, die sich überdies nicht ausschliessen dürfen (vgl. BEAT RUDIN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 12 f. zu Art. 52 BGG). Keine Zusammenrechnung erfolgt, wenn eine Forderung gleichzeitig gegen mehrere Solidarschuldner geltend gemacht wird. Hier wird wirtschaftlich bloss eine Leistung verlangt und es liegt keine Mehrheit verschiedener Begehren vor (MATTHIAS STEIN-WIGGER, in: Kommentar zur Schweizerischen Zivilprozessordnung, Sutter-Somm und andere [Hrsg.], 2010, N. 9 zu Art. 93 ZPO; VIKTOR RÜEGG, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 2 zu Art. 93 ZPO; BEATRICE VAN DER GRAF, in: Kurzkommentar zur ZPO, Oberhammer [Hrsg.], 2010, N. 3 zu Art. 93 ZPO; RUDIN, a.a.O., N. 12 zu Art. 52 BGG; JEAN-MAURICE FRÉSARD, in: Corboz und weitere [Hrsg.], Commentaire de la LTF, 2009, N. 13 zu Art. 52 BGG; anders und nicht überzeugend: PETER DIGGELMANN, in: Schweizerische Zivilprozessordnung, Brunner und andere [Hrsg.], 2011, N. 1 zu Art. 93 ZPO).
4.3 Vorliegend ist unbestritten, dass auf Beklagtenseite eine einfache Streitgenossenschaft besteht. Hingegen fehlt es für eine Anwendung der Zusammenrechnungsregel bei der Verantwortlichkeitsklage gegen mehrere Solidarschuldner an mehreren "geltend gemachten Ansprüchen" im Sinne von Art. 93 Abs. 1 ZPO. Die Beschwerdegegnerin stellte nur ein Begehren auf Zahlung von Fr. 1'217'131.--. Dass jeder Solidarschuldner grundsätzlich das Ganze schuldet, ändert nichts daran, dass keine Mehrheit verschiedener Begehren vorliegt, die zusammengerechnet werden könnten. Zu Recht bringen die Beschwerdeführer auch vor, dass sich der wirtschaftliche Wert nicht erhöht, weil mehrere Solidarschuldner für die Klageforderung haften. Vielmehr würde sich umgekehrt für Klagen gegen mehrere Solidarschuldner bzw. diesbezügliche Rechtsmittel ein viel zu hohes Kostenrisiko ergeben, das durch kein entsprechendes Interesse gerechtfertigt wäre, namentlich auch nicht dadurch, dass die Begehren gegen die einzelnen Mitbeklagten unterschiedlich beurteilt werden können. Eine Zusammenrechnung der Beträge, in deren Umfang die einzelnen Beklagten für die Klageforderung solidarisch haften, darf daher nicht erfolgen. Die Vorinstanz verletzte damit Art. 93 Abs. 1 ZPO.
4.4 Hingegen ist unbestritten, dass zum Betrag der erstinstanzlich zugesprochenen und mit der Berufung bekämpften Forderung von Fr. 1'217'131.-- der Streitwert der Anschlussberufung von Fr. 60'000.-- hinzugerechnet werden durfte.
4.5 Die Beschwerde erweist sich im Eventualbegehren als begründet. Sie ist daher teilweise gutzuheissen und die Sache ist unter Aufhebung der Dispositiv-Ziffern 5 und 7 des Urteils vom 11. Mai 2012 an die Vorinstanz zurückzuweisen. Diese wird die Entscheidgebühr und die Parteientschädigung für das Berufungsverfahren basierend auf einem Streitwert von Fr. 1'277'131.-- neu festzusetzen haben.
5. Die Beschwerde ist teilweise gutzuheissen. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer, die im Hauptpunkt der Haftung vollumfänglich unterliegen und lediglich bezüglich der Streitwertfestsetzung für die Kosten- und Entschädigungsregelung des vorinstanzlichen Verfahrens obsiegen, zu 19/20 kosten- und entschädigungspflichtig, dies in solidarischer Haftbarkeit (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und das Urteil des Obergerichts des Kantons Zürich vom 11. Mai 2012 in den Dispositiv-Ziffern 5 und 7 aufgehoben.
Die Sache wird zur Neufestsetzung der Entscheidgebühr und der Parteientschädigung für das Berufungsverfahren basierend auf einem Streitwert von Fr. 1'277'131.-- an das Obergericht zurückgewiesen.
Im Übrigen wird die Beschwerde abgewiesen und das Urteil des Obergerichts des Kantons Zürich vom 11. Mai 2012 bestätigt.
2. Die Gerichtskosten von Fr. 12'000.-- werden den Beschwerdeführern in solidarischer Haftbarkeit im Umfang von Fr. 11'400.-- und der Beschwerdegegnerin im Umfang von Fr. 600.-- auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 12'600.-- zu entschädigen, in solidarischer Haftbarkeit.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. November 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer