Sachverhalt:
A. Am 28. April 2009 schloss die Generalbau X._ AG (Beklagte und Beschwerdeführerin) mit der Y._ AG (Klägerin und Beschwerdegegnerin) einen Vertrag über die entgeltliche Abtretung einer Forderung der Beklagten an die Klägerin zum Nominalwert. Schuldnerin der abgetretenen Forderung ist die Z. _ Holdings Ltd., welche nach der Darstellung der Beklagten die Klägerin stimmenmässig beherrscht und im Eigentum von A._, des einzigen Verwaltungsratsmitglieds, steht. Das Entgelt für die abgetretene Forderung (Fr. 3'276'590.--) wurde dem Kontokorrent der Klägerin bei der Beklagten belastet. Im Anschluss daran wurde ein Vertrag über ein pfandgesichertes Darlehen der Beklagten an die Klägerin in der Höhe des Entgelts mit einem jährlichen Darlehenszins von 2.5 % begründet, das die Kontokorrentforderung ersetzen sollte. Zur Sicherstellung des Darlehens wurde ein im Eigentum der Klägerin stehender Inhaberschuldbrief über Fr. 4'000'000.--, lastend an der 8. Pfandstelle auf einer Liegenschaft in Zürich, übergeben. Beim Abschluss beider Vereinbarungen handelten dieselben Personen (C._ und A.B._) sowohl als Vertreter der einen als auch der anderen Vertragspartei.
B. Nachdem die Beklagte unter Einhaltung der Kündigungsfrist das Darlehen gekündigt hatte, betrieb sie die Klägerin mit Zahlungsbefehl vom 15. Januar 2010 auf Faustpfandverwertung. Die Klägerin bestreitet mit Blick auf die Doppelvertretung die Gültigkeit der am 28. April 2009 geschlossenen Verträge. Im Eventualstandpunkt focht die Klägerin diese wegen Grundlagenirrtums, absichtlicher Täuschung und Übervorteilung an. Sie verlangte vor dem Handelsgericht des Kantons Zürich im Wesentlichen, die Beklagte unter Strafandrohung zur Herausgabe des Schuldbriefes zu verpflichten. Auf ihr Begehren um Anordnung vorsorglicher Massnahmen trat das Handelsgericht am 27. Oktober 2010 nicht ein. Die Beklagte gelangte ihrerseits an das Gericht und verlangte Fr. 3'338'026.05 nebst Zins und Betreibungskosten und die Aufhebung des Rechtsvorschlages in der von ihr eingeleiteten Betreibung. Zudem sei festzustellen, dass das Pfandrecht am Inhaberschuldbrief als Sicherheit für die eingeklagte Forderung zu Recht bestehe. Das Handelsgericht vereinigte beide Prozesse, verpflichtete die Beklagte mit Urteil vom 25. Mai 2012 unter Strafandrohung, den Schuldbrief herauszugeben, und wies deren Klage ab.
C. Mit Beschwerde in Zivilsachen beantragt die Beklagte dem Bundesgericht im Wesentlichen, die Klage der Klägerin abzuweisen und erneuert ihre im kantonalen Verfahren gestellten Begehren. Ihrem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht am 3. August 2012 statt. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Handelsgericht hat auf Vernehmlassung verzichtet. Obwohl kein zweiter Schriftenwechsel angeordnet wurde, haben die Parteien eine Replik und eine Duplik eingereicht. A._ hat unaufgefordert ein Schreiben von ihm an den Rechtsanwalt der Beschwerdeführerin samt Beilagen eingereicht.
Erwägungen:
1. Zur Beschwerde in Zivilsachen sind grundsätzlich alle Parteien des kantonalen Verfahrens legitimiert (Art. 76 Abs. 1 lit. a BGG), auch Nebenparteien wie Streitberufene oder Nebenintervenienten. Vor Bundesgericht sind dagegen Streitverkündung und Nebenintervention nicht mehr zulässig. Diesbezüglich hat sich mit Inkrafttreten des BGG nichts geändert, auch wenn Art. 53 Abs. 2 OG, der dies ausdrücklich festgehalten hatte, nicht ins BGG übernommen wurde (vgl. Urteil des Bundesgerichts 4A_235/2009 vom 13. Oktober 2009 Sachverhaltserwägung C). Da A._ nicht als Partei am kantonalen Verfahren teilgenommen hat, stehen ihm im Verfahren vor Bundesgericht keine Mitwirkungsrechte zu und bleibt seine Eingabe bei der Entscheidfindung unbeachtet.
2. Die Vorinstanz erkannte, zufolge der Doppelvertretung und mangels Genehmigung seien die am 28. April 2009 geschlossenen Verträge ungültig. Zur Frage der Zulässigkeit der Doppelvertretung in Konzernverhältnissen (die Beschwerdegegnerin hatte aufgrund eines Kaufvertrages vom 20. November 2007 von B.B._ die Aktien der Beschwerdeführerin übernommen) äusserte sich die Vorinstanz nicht, da dieser Vertrag mit Rückabwicklungsvertrag vom 30. März 2009 rückgängig gemacht und ex tunc (rückwirkend per 20. November 2007) aufgehoben worden sei. Die Beschwerdegegnerin habe diesen Rückabwicklungsvertrag zwar vor Gericht angefochten, ihr dortiges Hauptbegehren auf Herausgabe der Aktien jedoch zurückgezogen, welches mit rechtskräftigem Erledigungsentscheid abgeschrieben worden sei. Damit bestehe keine Pflicht zur Rückgabe der Aktien und somit auch kein Konzernverhältnis.
3. Die Beschwerdeführerin macht geltend, die Vorinstanz hätte die Zulässigkeit des Insichgeschäfts nur unter den Gesichtspunkten geprüft, ob eine Benachteiligungsgefahr bestand oder eine Ermächtigung zum Abschluss der Geschäfte, und sich zur Frage des Konzernverhältnisses geäussert. Die Beschwerdeführerin habe sich aber zusätzlich auf die Wahrnehmung berechtigter Interessen berufen. Insoweit sieht sie ihren Anspruch auf rechtliches Gehör verletzt und ist der Auffassung, die Vorinstanz habe den Sachverhalt nicht hinreichend abgeklärt.
3.1 Der Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verlangt insbesondere, dass die Gerichte die rechtserheblichen Vorbringen der Parteien anhören und bei der Entscheidfindung berücksichtigen. Damit sich die Parteien ein Bild über die Erwägungen des Gerichts machen können, ist sein Entscheid zu begründen. Die Begründung muss kurz die Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt. Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Es genügt, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (BGE 134 I 83 E. 4.1 S. 88 mit Hinweisen).
3.2 Die Vorinstanz hält fest, unter welchen Voraussetzungen nach der bundesgerichtlichen Rechtsprechung und der Lehre die Doppelvertretung zulässig sei. Sie hat die Vorbringen der Beschwerdeführerin in diesem Licht geprüft. Auch wenn sie sich zur Frage der Wahrnehmung berechtigter Interessen nicht ausdrücklich geäussert hat, konnte die Beschwerdeführerin aus dem Zusammenhang erkennen, dass die Vorinstanz darin keine Rechtfertigung eines Insichgeschäfts sah, sondern sich an die von Rechtsprechung und Lehre entwickelten Kriterien hielt. Zur sachgerechten Anfechtung genügt es, darzulegen, inwiefern dies Recht verletzt (Art. 42 Abs. 2 BGG). Die Beschwerdeführerin thematisiert diese Frage vor Bundesgericht, indem sie argumentiert, die in Lehre und Rechtsprechung genannten Konstellationen seien nicht abschliessend und die von ihr behauptete Wahrnehmung berechtigter Interessen müsse bei der Beurteilung der Gültigkeit der Verträge berücksichtigt werden. Von der Beantwortung dieser Frage hängt ab, ob die Vorinstanz insoweit den Sachverhalt hätte feststellen müssen. Der diesbezüglichen Rüge kommt mithin keine selbständige Bedeutung zu. Eine Gehörsverletzung ist nicht dargetan.
4. Nach ständiger Rechtsprechung des Bundesgerichtes ist das Selbstkontrahieren grundsätzlich unzulässig, weil das Kontrahieren eines Vertreters mit sich selbst regelmässig zu Interessenkollisionen führt. Selbstkontrahieren hat deshalb die Ungültigkeit des betreffenden Rechtsgeschäftes zur Folge, es sei denn, die Gefahr einer Benachteiligung des Vertretenen sei nach der Natur des Geschäftes ausgeschlossen oder der Vertretene habe den Vertreter zum Vertragsschluss mit sich selbst besonders ermächtigt oder das Geschäft nachträglich genehmigt. Dieselben Regeln gelten auch für die Doppelvertretung zweier Vertragsparteien durch ein und denselben Vertreter sowie die gesetzliche Vertretung juristischer Personen durch deren Organe. Auch in diesen Fällen bedarf es einer besonderen Ermächtigung oder einer nachträglichen Genehmigung durch ein über- oder nebengeordnetes Organ, wenn die Gefahr einer Benachteiligung besteht (BGE 127 III 332 E. 2a S. 333 f.; 126 III 361 E. 3a S. 363 mit Hinweisen).
4.1 Die Beschwerdeführerin ist der Auffassung, bei den Geschäften vom 28. April 2009 habe keine Gefahr einer Benachteiligung bestanden.
4.1.1 Der Forderungskauf zum Nominalwert sei bilanzneutral erfolgt. Die Schuldnerin der erworbenen Forderung habe die Forderung anerkannt und sei Eigentümerin sämtlicher 350'000 unbelasteter Stimmrechtsaktien der Beschwerdegegnerin gewesen. Solange die Beschwerdegegnerin aufrecht stehe, sei die Schuldnerin zahlungsfähig. Zusätzlich habe die Schuldnerin damals weitere Aktienpakete in Millionenhöhe besessen. Zwischen Gruppengesellschaften sei zudem nicht mit Kosten für die Eintreibung der Forderungen zu rechnen. Auch der Abschluss des Darlehensvertrages sei bilanzneutral erfolgt. Durch die Verpfändung des Schuldbriefes habe die Beschwerdegegnerin einen niedrigeren Zins erlangt. Der Abschluss des Darlehensvertrages habe die Beschwerdegegnerin mithin bevorteilt.
4.1.2 Die Beschwerdeführerin verkennt, dass die Gefahr einer Benachteiligung des Vertretenen nach der Natur des Geschäftes ausgeschlossen sein muss. Diese Voraussetzung ist bei Abtretung einer Forderung zum Nominalwert in aller Regel nicht gegeben, da dem Entgelt im Nominalbetrag eine mit einem Inkassorisiko belastete Forderung gegenübersteht. Dass die Schuldnerin im Moment der Abtretung solvent ist, ändert daran nichts, da sich dieser Zustand jederzeit ändern kann, beispielsweise wenn unvorhergesehen Schadenersatzansprüche auftauchen. Die Übergabe des Schuldbriefes als Pfand führt zu einer objektiven Sicherung der Forderung der Beschwerdeführerin. Der Wert der abgetretenen Forderung hängt dagegen allein von der Zahlungsfähigkeit der Schuldnerin ab. Bereits insoweit kann die Gefahr einer Benachteiligung einer der Parteien nicht ausgeschlossen werden. Ob sich das Geschäft tatsächlich ungünstig auswirken wird, ist nicht massgebend.
4.2 Die Beschwerdeführerin macht sodann geltend, der damalige Verwaltungsratspräsident der Beschwerdegegnerin (D._) habe dem an der Verwaltungsratssitzung vom 6. April 2009 beschlossenen Forderungskauf und Darlehensvertrag zugestimmt und die Vertreter somit zum Abschluss des Geschäfts ermächtigt. Dass er am 30. März 2009 auch in den Verwaltungsrat der Beschwerdeführerin gewählt worden sei, ändere daran nichts. Zwischen seiner Wahl und seinem Rücktritt aus dem Verwaltungsrat am 21. Juli 2009 hätten keine Verwaltungsratssitzungen stattgefunden. Ebenso wenig sei er in irgendeiner Art und Weise für die Beschwerdeführerin tätig geworden oder in deren Geschäftstätigkeit einbezogen worden. Trotz der formellen Wahl in den Verwaltungsrat sei er faktisch unabhängig gewesen. Auch die Zustimmung eines kollektivzeichnungsberechtigten Verwaltungsratsmitgliedes genüge nach der Rechtsprechung des Bundesgerichtes (BGE 128 III 136), wenn eine kollektivzeichnungsberechtigte Person allein gehandelt habe. Beim vor dem Vertragsschluss vom Verwaltungsrat der Beschwerdegegnerin gefassten Beschluss vom 6. April 2009 handle es sich zudem um einen internen Beschluss der Beschwerdegegnerin, für welchen die Zeichnungsberechtigung gemäss Handelsregister keine Rolle spiele. Gemäss Art. 17 Abs. 1 der damals gültigen Statuten der Beschwerdegegnerin hätten Beschlüsse des Verwaltungsrates in der Anwesenheit eines einzigen Verwaltungsratsmitgliedes gültig gefasst werden können. Die Beschlussfassung erfolge mit dem Mehr der abgegebenen Stimmen. Ein Anwesenheitsquorum sei nicht verlangt gewesen, und es habe kein Stimmzwang bestanden. Daher hätte der damalige Verwaltungsratspräsident der Beschwerdegegnerin den Beschluss vom 6. April 2009 auch alleine (ohne die Mitwirkung der an den Vertragsschlüssen beteiligten Verwaltungsräten) fällen können.
4.2.1 Nach der Rechtsprechung des Bundesgerichts kann jedes einzelne Mitglied des Verwaltungsrates nach Massgabe seiner Zeichnungsberechtigung ein Insichgeschäft eines anderen Verwaltungsrates nachträglich genehmigen, da es einem Verwaltungsrat möglich sein muss, ein von einem anderen Verwaltungsratsmitglied abgeschlossenes Geschäft, das er selbst ohne weiteres abschliessen könnte, nachträglich auch zu genehmigen (BGE 127 III 332 E. 2b/aa S. 334 mit Hinweisen). Aufgrund seiner Zeichnungsberechtigung hätte der damalige Verwaltungsratspräsident allein die Verträge indessen nicht abschliessen können. Aus BGE 128 III 129 E. 2 S. 136 kann die Beschwerdeführerin nichts zu ihren Gunsten ableiten, da im dort beurteilten Fall kein Interessenkonflikt des das Geschäft allein abschliessenden Kollektivzeichnungsberechtigten vorlag.
4.2.2 Nach der Lehre kann eine Genehmigung (beziehungsweise eine Ermächtigung zu einem Insichgeschäft) auch durch einen Mehrheitsbeschluss der konfliktfreien Mitglieder des Verwaltungsrates erfolgen (BÖCKLI, Insichgeschäfte und Interessenkonflikte im Verwaltungsrat: heutige Rechtslage und Blick auf den kommenden Art. 717a E-OR, in: GesKR: Gesellschafts- und Kapitalmarktrecht 2012 S. 354 ff., S. 356). Auf die Frage, ob ein konfliktfreies Mitglied des Verwaltungsrates im Rahmen eines Verwaltungsratsbeschlusses als einziges stimmendes Mitglied ein Geschäft genehmigen kann, das es aufgrund seiner Zeichnungsberechtigung nicht allein abschliessen könnte, braucht indessen nicht näher eingegangen zu werden. Ein Interessenkonflikt ergibt sich, wenn am Geschäft eine Person beteiligt ist, die aufgrund ihrer Stellung die Interessen beider Vertragsparteien zu wahren hat. Diese Konstellation ist bereits mit der Wahl in den Verwaltungsrat gegeben. Ob das betreffende Mitglied bereits in irgendeiner Art und Weise tätig geworden ist, spielt für den Interessenkonflikt keine Rolle. Damit fehlt es in jedem Fall an einer gültigen Ermächtigung zum Abschluss der strittigen Geschäfte.
4.3 Die Beschwerdeführerin beruft sich sodann auf das Gebot des Handelns nach Treu und Glauben (Art. 2 ZGB) sowie die Wahrnehmung berechtigter Interessen. Hintergrund bildet der Kaufvertrag vom 20. November 2007, in welchem die Beschwerdegegnerin die Aktien der Beschwerdeführerin von B.B._ übernommen hatte. Ende März 2009 habe B.B._ diesen Vertrag zu Recht wegen Grundlagenirrtums und absichtlicher Täuschung angefochten, woraus sich die Unverbindlichkeit des Vertrages und der Anspruch auf Schadenersatz ergebe. Letzteres habe der Verwaltungsrat durch die Entflechtung zwischen der Beschwerdegegnerin auf der einen Seite und B.B._ und der Beschwerdeführerin auf der anderen Seite abgewendet. Dazu sei nicht nur der Vertrag vom 20. November 2007 rückabzuwickeln gewesen, was mit der Vereinbarung vom 30. März 2009 erfolgt sei, sondern auch die anderen finanziellen Verflechtungen seien zu lösen gewesen. A._ beherrsche die Beschwerdegegnerin. Gegen dessen Willen habe der damalige Verwaltungsrat die berechtigten Interessen der Beschwerdegegnerin wahrgenommen. Es könne nicht sein, dass ein Verwaltungsrat, der einen auf unredliche Weise zustande gekommenen und deswegen unverbindlichen Vertrag rückabwickle, dazu die Zustimmung des Täters einholen müsse, auch nicht in Form eines Beschlusses der vom Täter beherrschten Generalversammlung.
4.3.1 Das Problem der Doppelvertretung liegt gerade darin, dass eine ausgeglichene Wahrung der Interessen der beteiligten Parteien nicht gewährleistet ist. Der Interessenkonflikt herrscht auch bei der Beurteilung der Frage, die Wahrnehmung welcher Interessen berechtigt ist und ob allfällige berechtigte Interessen der einen Partei denjenigen der anderen zuwiderlaufen. Dass die Handelnden überzeugt sind, berechtigte Interessen wahrzunehmen, kann mithin für die Gültigkeit des Insichgeschäfts nicht genügen.
4.3.2 Die Beschwerdeführerin zeigt weder auf, dass B.B._ zufolge Anfechtung des Vertrages Anspruch auf den Abschluss der als Insichgeschäft getroffenen Vereinbarungen gehabt hätte, noch welche Schadenersatzansprüche durch den Abschluss der Vereinbarungen von der Beschwerdegegnerin ferngehalten werden konnten. Sie legt auch nicht dar, dass durch die Berufung auf die Unzulässigkeit der Insichgeschäfte konkrete berechtigte Ansprüche der Beteiligten rechtsmissbräuchlich vereitelt oder unredlich erhaltene Vermögenswerte dem Zugriff der Berechtigten entzogen würden. Diesbezügliche Ausführungen in der Replik wären verspätet, da bereits der angefochtene Entscheid dazu Anlass gab und die Beschwerde fristgerecht (Art. 100 BGG) zu begründen ist. Aus Art. 2 ZGB oder der behaupteten Wahrnehmung berechtigter Interessen kann die Beschwerdeführerin unter diesen Umständen nichts für die Gültigkeit der getroffenen Vereinbarungen ableiten. Die Vorinstanz erachtete die abgeschlossenen Insichgeschäfte zu Recht für ungültig.
5. Die Beschwerdeführerin beanstandet schliesslich die Höhe der kantonalen Gerichtsgebühr.
5.1 Da das Verfahren bei Inkrafttreten der ZPO bereits hängig war, galt für das Verfahren vor Vorinstanz noch das kantonale Recht. Für die Festsetzung des Streitwerts stellte diese auf den Wert der Rechtsbegehren von Klage und Gegenklage ab, soweit sie sich nicht gegenseitig ausschliessen. Sie hielt fest, die Beschwerdeführerin habe Fr. 3'338'026.05 nebst Zins verlangt. Die Klage auf Herausgabe des Inhaberschuldbriefes über Fr. 4'000'000.-- und die Gegenklage auf Feststellung des Pfandrechts schlössen sich gegenseitig aus. Damit betrage der Streitwert Fr. 7'338'026.05. Gestützt auf § 4 Abs. 1 und 2 und § 9 Ziff. 1 der Verordnung des Obergerichts über die Gerichtsgebühren vom 4. April 2007 (Ordnungsnummer 211.11, Aufhebungsdatum 1. Januar 2011; nachfolgend: GebV/OGZH) setzte die Vorinstanz unter Berücksichtigung des Aufwandes für die beiden vereinigten Prozesse und das Massnahmeverfahren die Gerichtsgebühren auf Fr. 140'000.-- fest und auferlegte diese zu einem Drittel (Kosten des Massnahmeverfahrens) der Beschwerdegegnerin und zu zwei Dritteln (übrige Kosten) der Beschwerdeführerin.
5.2 Die Beschwerdeführerin ist der Auffassung, die Vorinstanz habe den Streitwert willkürlich berechnet und die Gerichtsgebühr willkürlich festgesetzt. Gehe der Streit um ein Pfandrecht, so gelte gemäss § 23 der Zivilprozessordnung vom 13. Juni 1976 (ZPO/ZH; Ordnungsnummer 271; Aufhebungsdatum 1. Januar 2011) als Streitwert der Forderungsbetrag, sofern dieser geringer sei als der Wert des Pfandes. Deshalb sei dem Begehren auf Herausgabe des Schuldbriefes nicht dessen Wert (Fr. 4'000'000.--), sondern derjenige der Forderung (Fr. 3'338'026.05) beizumessen, so dass sich ein Streitwert von Fr. 6'676'052.10 ergebe statt von Fr. 7'338'026.05. Die Beschwerdeführerin zählt sodann die durchlaufenen Verfahrensschritte auf und gibt den seitenmässigen Umfang der von der Vorinstanz getroffenen Beschlüsse und des Urteils an. Sie macht geltend, es liege kein besonders aufwendiges Verfahren vor, zumal kein Beweisverfahren durchgeführt worden sei. Je höher der Streitwert sei, desto eher decke die Grundgebühr den Aufwand des Gerichts. Valable Gründe, um über die Grundgebühr (Fr. 87'500.-- bei der von der Beschwerdeführerin befürworteten Streitwertberechnung beziehungsweise Fr. 98'100.-- [recte wohl 94'130.--] bei dem von der Vorinstanz angenommenen Streitwert) hinauszugehen, bestünden nicht. Daher sei die Gerichtsgebühr auf Fr. 87'500.-- oder weniger zu reduzieren.
5.3 Die Beschwerdeführerin hält den kantonalen Kostenentscheid unabhängig vom Erfolg der in der Beschwerde materiell erhobenen Rügen für offensichtlich unhaltbar.
5.3.1 Die Beschwerdeschrift hat anzugeben, welche Punkte des Entscheides angefochten und welche Abänderungen beantragt werden (BGE 133 III 489 E. 3.1 mit Hinweisen). Rechtsbegehren, die auf einen Geldbetrag lauten, müssen nach ständiger Rechtsprechung beziffert werden (BGE 134 III 235 E. 2 S. 236 f. mit Hinweis). Dies gilt auch, wenn die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens selbstständig angefochten werden (Urteile des Bundesgerichts 4A_225/2011 vom 15. Juli 2011 E. 2.6.2; 5A_34/2009 vom 26. Mai 2009 E. 11.3, nicht publ. in BGE 135 III 513; 4A_43/2008 vom 4. März 2008 E. 2, publ. in: Praxis 97/2008 Nr. 121 S. 757 f.). Geht aus der Beschwerdebegründung klar hervor, in welchem Sinne der angefochtene Entscheid abgeändert werden soll, ist dem Erfordernis Genüge getan (BGE 134 III 235 E. 2 S. 236 f. mit Hinweis; zit. Urteil 4A_225/2011 E. 2.6.2).
5.3.2 Der vor Bundesgericht gestellte Antrag "Alles unter Kosten- und Entschädigungsfolge zulasten der Beschwerdegegnerin" genügt nicht, um eine Abänderung des kantonalen Kostendispositivs unabhängig vom Beschwerdeerfolg zu erreichen (zit. Urteil 4A_225/2011 E. 2.6.2). In der Begründung werden "Fr. 87'500.-- oder weniger" genannt. Der Antrag, die Gerichtsgebühr auf weniger als Fr. 87'500.-- festzusetzen, wird indessen nicht beziffert. Hinreichend ist damit allein der Antrag, die Gesamtgerichtsgebühr auf Fr. 87'500.-- herabzusetzen. Diese wurde der Beschwerdeführerin indessen nur zu zwei Dritteln überbunden und zu einem Drittel der Beschwerdegegnerin. Diese hat gegen den Kostenentscheid kein Rechtsmittel ergriffen. Soweit die Beschwerdegegnerin die Gerichtskosten trägt, ist die Beschwerdeführerin durch den angefochtenen Entscheid nicht beschwert. Daher ist ausschliesslich zu prüfen, ob der Anteil der Beschwerdeführerin von zwei Dritteln von Fr. 140'000.-- auf zwei Drittel von Fr. 87'500.-- herabzusetzen ist.
5.4 Grundlage für die Festsetzung der Gebühren bilden nach § 2 Abs. 1 GebV/OGZH der Streitwert bzw. das tatsächliche Streitinteresse, der Zeitaufwand des Gerichts und die Schwierigkeit des Falls. Die Gebühr beträgt im Grundsatz ab einem Streitwert von 1 Mio. Fr. 30'750 zuzügl. 1 % des Fr. 1 Mio. übersteigenden Streitwertes. Die so berechnete Gebühr kann um bis zu einem Drittel, in Ausnahmefällen auch um mehr, erhöht werden (§ 4 Abs. 1 und 2 GebV/OGZH). In besonders aufwendigen Verfahren kann die so bemessene Gebühr bis auf das Doppelte erhöht werden (§ 9 Ziff. 1 GebV/OGZH). Der Streitwert richtet sich grundsätzlich nach dem Rechtsbegehren des Klägers zur Zeit des Eintritts der Rechtshängigkeit (§ 18 Abs. 1 ZPO/ZH). Der Streitwert der Widerklage wird mit demjenigen der Hauptklage zusammengerechnet, soweit sich Haupt- und Widerklage nicht gegenseitig ausschliessen (§ 19 Abs. 1 und 2 ZPO/ZH). Geht der Streit um die Sicherstellung einer Forderung oder um ein Pfandrecht, gilt als Streitwert der Forderungsbetrag oder der Wert des Pfandes, wenn dieser geringer ist (§ 23 ZPO/ZH).
5.4.1 Die Vorinstanz hält insofern unangefochten fest, die Klage auf Herausgabe des Inhaberschuldbriefes über Fr. 4'000'000.-- und die Gegenklage auf Feststellung des Pfandrechts schlössen sich gegenseitig aus. Sie hat sodann für die Streitwertberechnung die Forderungssumme und den Betrag des Schuldbriefes addiert. Ob nach dem massgebenden kantonalen Recht überhaupt eine Addition der Streitwerte der Forderungen und des diese sichernden Pfandrechts zu erfolgen hat, ist, da diesbezüglich keine Willkürrüge erhoben und begründet wurde (Art. 106 Abs. 2 BGG), nicht zu prüfen (vgl. aber BGE 55 II 39 E. 1 S. 41). Aus dem Rechtsbegehren der Beschwerdeführerin geht indessen eindeutig hervor, dass sie den Schuldbrief nicht zu Eigentum beansprucht, sondern die Herausgabe mit Blick auf ein behauptetes Pfandrecht verweigert. Der Streit dreht sich darum, ob das Pfandrecht gültig bestellt wurde. Weshalb die Vorinstanz nicht auf den streitigen Forderungsbetrag abstellte (§ 23 ZPO/ZH), legt sie nicht dar und ist nicht ersichtlich. Das angefochtene Urteil erweist sich insoweit als willkürlich (Art. 9 BV) und die Beschwerde als begründet.
5.4.2 Mit Bezug auf die Zuschläge ist die Beschwerde dagegen nicht hinreichend begründet, da sich die Beschwerdeführerin weder zur Komplexität der zu behandelnden Fragen noch zum Umfang der eingereichten Rechtsschriften äussert. Beide Aspekte wären aber relevant, um zu beurteilen, ob das Verfahren als besonders aufwendig einzustufen und der von der Vorinstanz beanspruchte Zuschlag gerechtfertigt ist. Mit dem blossen Hinweis auf die Verfahrensschritte, den Umfang der Beschlüsse und des Urteils und die Tatsache, dass kein Beweisverfahren durchgeführt wurde, lassen sich die Zuschläge nicht als im Ergebnis unhaltbar ausweisen. Mangels hinreichender Begründung ist insoweit auf die Rüge nicht einzutreten.
5.5 Damit sind die von der Beschwerdeführerin zu tragenden Kosten aufgrund eines Streitwerts von Fr. 6'676'052.10 zu berechnen, was unter Berücksichtigung von wertmässig auf diesen Streitwert bezogenen Zuschlägen gerundet zu einer Gesamtgebühr von Fr. 130'000.-- führt. Davon hat die Beschwerdeführerin zwei Drittel zu tragen.
6. Die Beschwerde erweist sich im Kostenpunkt als teilweise begründet, was zu einer Reduktion der von der Beschwerdeführerin zu tragenden Kosten um zwei Drittel von Fr. 10'000.-- führt. Mit Blick auf den Gesamtstreitwert und die Tatsache, dass sich die beantragte Abänderung nicht zu Lasten der Beschwerdegegnerin auswirkt, erscheint es gerechtfertigt, die Kosten für das bundesgerichtliche Verfahren der Beschwerdeführerin aufzuerlegen und der Beschwerdegegnerin die volle Parteientschädigung zuzusprechen.
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde werden Ziffern 3 und 4 des angefochtenen Urteils aufgehoben. Die Gerichtsgebühr für das kantonale Verfahren wird auf zwei Drittel von Fr. 130'000.-- (Anteil der Beschwerdeführerin) plus ein Drittel von Fr. 140'000.-- (Anteil der Beschwerdegegnerin) festgesetzt und den Parteien entsprechend auferlegt. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 20'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 22'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 3. Dezember 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak