Sachverhalt:
A. A.a Die S._ AG (Beschwerdegegnerin) ist eine Aktiengesellschaft, welche die Durchführung von Finanzierungen sowie die Erbringung der damit zusammenhängenden Dienstleistungen bezweckt. Die R._ SA (Beschwerdeführerin) ist eine als Aktiengesellschaft organisierte Bank mit Hauptsitz in Genf und Zweigniederlassung in Zürich. Sie ist infolge Fusion im Mai 2001 Rechtsnachfolgerin der T._ SA mit Hauptsitz in Genf und Zweigniederlassung unter anderem in Zürich geworden. Bis zur Firmaänderung vom 29. September 2000 lautete die Firma der übernommenen T._ SA auf U._ AG.
A.b Am 4. November 1998 eröffnete die Beschwerdegegnerin (unter ihrer damaligen Firmenbezeichnung V._ AG) bei der U._ AG ein Konto mit der Nummer 1._. Wirtschaftlich Berechtigter dieses Kontos war A._, dem auch die uneingeschränkte Verfügungsberechtigung über das Konto mit Einzelunterschrift eingeräumt wurde. Ansprechpartner bei der Beschwerdeführerin war B._, der als Direktor die Niederlassung der Beschwerdeführerin in Zürich leitete. Mit der Kontoeröffnung wurde zugunsten des Kontos der Beschwerdegegnerin ein Betrag von DM 1.6 Mio. einbezahlt, wobei die U._ AG mit der treuhänderischen Kapitalanlage eines Teilbetrages von DM 1 Mio. beauftragt worden ist. Mit gleichem Datum (4. November 1998) unterzeichnete die Beschwerdegegnerin einen allgemeinen Verpfändungsvertrag, gemäss welchem sie zugunsten der U._ AG ein Drittpfand bis zum Maximalbetrag von DM 1 Mio. auf allen Vermögenswerten und Guthaben auf ihrem Konto Nr. 1._ für alle gegenwärtigen und zukünftigen Forderungen der Beschwerdeführerin gegenüber dem Konto Nr. 2._ mit der Bezeichnung C._ errichtete.
Dieses Konto C._ lautete auf D._, einen im internationalen Filmhandel tätigen Geschäftsmann. Das Drittpfand diente der Sicherstellung eines seitens der Beschwerdeführerin an D._ gewährten Kredits. Diesen Kredit benötigte D._, um die über seine Gesellschaft W._ Limited von der Firma X._ Corporation gekaufte Filmbibliothek, bestehend aus rund 5'000 Lang- und Kurzspielfilmen, zu digitalisieren, zu lagern und anschliessend zu vermarkten. Mit Schreiben vom 22. Oktober 1998 hielt die W._ Limited gegenüber der Beschwerdeführerin fest, dass sie sich im Zusammenhang mit der Kreditgewährung - die Rede ist von einem Maximalbetrag von CHF 10 Mio. - verpflichte, die Filmbibliothek frei und unbelastet zu halten und diese, falls notwendig, spätestens nach Ablauf eines Jahres auch zu belehnen, um daraus die Verpflichtungen von D._ gegenüber der Beschwerdeführerin und Dritten zurückzubezahlen. In diesem Sinne führte denn auch die Beschwerdeführerin gegenüber der Beschwerdegegnerin mit Schreiben vom 29. Dezember 1998 aus, dass die Rückführung des erwähnten Kredits - und damit verbunden die Freistellung der Beschwerdegegnerin aus ihrer Pfandverpflichtung - durch Zuflüsse an D._ aus dem Verkauf eines Filmpaketes durch W._ Limited an die Y._ GmbH und/oder aus dem Verkauf, der Belehnung oder der Verbriefung der sich im Eigentum der W._ Limited befindenden Filmbibliothek erwartet werde. In der per 27. September 1998 erstellten Zwischenbilanz der W._ Limited ist die Filmbibliothek mit einem Wert von USD 420 Mio. aktiviert, wobei diesbezüglich auf die Bewertung von E._ verwiesen wird, der bereits in einem Gutachten vom 8. Dezember 1989 zum Schluss kam, dass der Wert der Filmbibliothek (damals) mindestens USD 176 Mio. betrug.
A.c Mit Schreiben vom 19. Dezember 2001 teilte die Beschwerdeführerin der Beschwerdegegnerin mit, dass sie den D._ erteilten Kredit gekündigt habe und sich dieser mit der Rückzahlung der pfandgesicherten Kreditforderung in Verzug befinde. Gleichzeitig zeigte die Beschwerdeführerin der Beschwerdegegnerin die Pfandverwertung zwecks Tilgung des D._ gewährten Darlehens an. Am 21. Dezember 2001 belastete die Beschwerdeführerin das Konto der Beschwerdegegnerin Nr. 3._ mit EUR 511'291.88, was dem Gegenwert von DM 1 Mio. zum damaligen Kurs von 1.9583 entspricht. Die Beschwerdegegnerin protestierte daraufhin wiederholt gegen die erwähnte Belastung ihres Kontos und forderte die Beschwerdeführerin - erfolglos - zur Rückerstattung des Gesamtbetrages von EUR 511'291.88 auf.
B. Am 20. Oktober 2004 klagte die Beschwerdegegnerin beim Handelsgericht des Kantons Zürich und beantragte, die Beschwerdeführerin sei zu verpflichten, ihr EUR 511'291.88 zuzüglich Zins zu 5 % seit dem 21. Dezember 2001 zu bezahlen. Mit Urteil vom 14. Dezember 2007 hiess das Handelsgericht die Klage gut und verpflichtete die Beschwerdeführerin, der Beschwerdegegnerin EUR 511'291.88 nebst 5 % Zins seit 21. Dezember 2001 zu bezahlen. Das Handelsgericht kam zum Schluss, dass die Verfügungsberechtigung der W._ Limited über die Filmbibliothek für beide Parteien die notwendige Grundlage des W._-Geschäfts und des damit im Zusammenhang stehenden Drittpfandes bildete. Die Beschwerdegegnerin habe sich darüber beim Abschluss des Pfandvertrags in einem wesentlichen Irrtum im Sinne von <ref-law> befunden. Die Beschwerdeführerin habe demnach das Drittpfand ohne gültige vertragliche Grundlage in Anspruch genommen und dem Konto der Beschwerdegegnerin EUR 511'291.88 belastet. Die Beschwerdegegnerin könne diesen Betrag gestützt auf <ref-law> (ungerechtfertigte Bereicherung) zurückverlangen.
Die Beschwerdeführerin erhob gegen das Urteil des Handelsgerichts kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich, das die Beschwerde mit Zirkulationsbeschluss vom 12. März 2009 abwies, soweit es darauf eintrat.
C. Mit Eingabe vom 1. Februar 2008 erhob die Beschwerdeführerin gegen das Urteil des Handelsgerichts auch Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde. Sie beantragte, das Urteil des Handelsgerichts vollumfänglich aufzuheben und die Klage abzuweisen, soweit darauf einzutreten sei. Eventuell sei das Verfahren zwecks Durchführung eines Beweisverfahrens an das Handelsgericht zurückzuweisen.
Mit Verfügung vom 7. Februar 2008 wurde das bundesgerichtliche Verfahren bis zum Entscheid über die kantonale Nichtigkeitsbeschwerde ausgesetzt.
Am 11. Mai 2009 reichte die Beschwerdeführerin eine weitere Beschwerde ein, mit der sie neben dem Urteil des Handelsgerichts auch den Zirkulationsbeschluss des Kassationsgerichts anfocht und auch dessen Aufhebung beantragte.
Die Beschwerdegegnerin beantragte, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Handelsgericht und das Kassationsgericht verzichteten auf eine Vernehmlassung.
Am 21. August 2009 erhielt die Beschwerdeführerin die Beschwerdeantwort der Beschwerdegegnerin zugestellt. Mit Schreiben vom 9. September 2009 ersuchte die Beschwerdeführerin um Ansetzung einer Frist bis 12. Oktober 2009, um allenfalls eine Replikschrift einzureichen. Dieses Ersuchen wurde mit Verfügung vom 11. September 2009 abgelehnt. Gleichzeitig wurde die Beschwerdeführerin darauf hingewiesen, dass es der beschwerdeführenden Partei freisteht, sich zur Beschwerdeantwort zu äussern, dass sie dies aber nach der publizierten Praxis des Bundesgerichts umgehend tun soll, ohne vorher um eine gerichtliche Fristansetzung zu ersuchen (<ref-ruling> E. 2.2).
D. Mit Präsidialverfügung vom 5. Juni 2009 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1. In der vorliegenden Zivilsache mit einem Streitwert über Fr. 30'000.-- (<ref-law>) ist die Beschwerde in Zivilsachen gegeben, weshalb die von der Beschwerdeführerin ebenfalls erhobene subsidiäre Verfassungsbeschwerde unzulässig ist (<ref-law>). Darauf ist nicht einzutreten.
2. Die Beschwerdeführerin hat sowohl das Urteil des Handelsgerichts vom 14. Dezember 2007 als auch den Zirkulationsbeschluss des Kassationsgerichts vom 12. März 2009 beim Bundesgericht angefochten. Dies ist grundsätzlich zulässig und die Beschwerdefrist ist auch bezüglich der Mitanfechtung des handelsgerichtlichen Urteils in der Beschwerde vom 11. Mai 2009 gewahrt (<ref-law>). Die Beschwerdeführerin war innert der Frist nach dieser Bestimmung berechtigt, die gegen das Urteil des Handelsgerichts bereits sicherheitshalber eingelegte Beschwerde in Zivilsachen zu ergänzen.
3. Damit ein kantonaler Entscheid mit Beschwerde in Zivilsachen angefochten werden kann, muss der Instanzenzug im Kanton erschöpft sein (<ref-law>). Für Rügen, die mit der Beschwerde in Zivilsachen erhoben werden können, darf kein kantonales Rechtsmittel mehr offen stehen (<ref-ruling> E. 1.3 S. 527). Auf Rügen, die mit kantonaler Nichtigkeitsbeschwerde einer weiteren kantonalen Instanz hätten vorgetragen werden können, ist mangels Letztinstanzlichkeit nicht einzutreten.
Gegen das angefochtene Urteil des Handelsgerichts war die kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich nach § 281 des Gesetzes über den Zivilprozess vom 13. Juni 1976 (ZPO/ZH; LS 271) zulässig, weshalb es insoweit nicht kantonal letztinstanzlich ist, als es vom Kassationsgericht hätte überprüft werden können. Nach <ref-law>/ZH kann mit Nichtigkeitsbeschwerde geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen ist die Nichtigkeitsbeschwerde, wenn das Bundesgericht einen Mangel frei überprüfen kann, wobei sie gemäss <ref-law>/ZH stets zulässig ist, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wird.
Die Beschwerdeführerin kann das Urteil des Handelsgerichts somit nur insoweit anfechten, als im Rahmen der Beschwerde in Zivilsachen zulässige Rügen dem Kassationsgericht nicht unterbreitet werden konnten (vgl. <ref-ruling> E. 1.1 S. 93). Die Beschwerdeführerin wirft dem Handelsgericht jedoch wiederholt willkürliche tatsächliche Feststellungen, eine Verletzung der Begründungspflicht bzw. des rechtlichen Gehörs (<ref-law>) oder des Willkürverbots (<ref-law>) vor, ohne dass die Ausschöpfung des Instanzenzugs ersichtlich wäre. Auf diese Rügen gegen das Urteil des Handelsgerichts kann mangels Letztinstanzlichkeit nicht eingetreten werden.
4. Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (<ref-law>) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (<ref-ruling> E. 3 S. 352). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1. S. 399). Ferner hat die Begründung in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf kantonale Akten ist unzulässig (<ref-ruling> E. 1d S. 201; <ref-ruling> E. 2 S. 93 f.; <ref-ruling> E. I.1 S. 78).
5. 5.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.2.2).
Die Beschwerdeführerin plädiert in ihren beiden Beschwerdeschriften grösstenteils zum Sachverhalt. Sie übergeht dabei die Bindung des Bundesgerichts an den vorinstanzlich festgestellten Sachverhalt. Auf ihre ausführliche Sachverhaltsdarstellung in der Beschwerde vom 1. Februar 2008 ist deshalb nicht abzustellen. Ins Leere zielen daher auch ihre Verweise auf diese Sachverhaltsdarstellung in der weiteren Begründung ihrer Beschwerden. Soweit sie Rügen offensichtlich unrichtiger Sachverhaltsfeststellungen direkt gegen das Urteil des Handelsgerichts erhebt, wie vor allem in der Beschwerde vom 1. Februar 2008, aber auch in derjenigen vom 11. Mai 2009, kann darauf mangels Letztinstanzlichkeit nicht eingetreten werden (vgl. Erwägung 3).
5.2 Mit Sachverhaltsrügen kann sie nur gehört werden, soweit sie solche gegen den diesbezüglich letztinstanzlichen Zirkulationsbeschluss des Kassationsgerichts erhebt und sich mit den Erwägungen des Kassationsgerichts hinlänglich auseinandersetzt (vgl. <ref-ruling> E. 1 a/cc S. 495; Urteil 4A_414/2008 vom 3. Februar 2009 E. 1.2). Die Beschwerdeführerin unterbreitet dem Bundesgericht jedoch über weite Strecken appellatorische Kritik und beanstandet in wenig übersichtlichen Ausführungen "die Auffassung der Vorinstanzen" bzw. "den Schluss der Vorinstanzen" als "unhaltbar", ohne in rechtsgenüglicher Weise aufzuzeigen, worin diese Unhaltbarkeit bestehen soll und namentlich, inwiefern das Kassationsgericht bezüglich konkret kritisierter Feststellungen des Handelsgerichts in willkürlicher Weise einen Nichtigkeitsgrund verneint haben soll. Auf die weitgehend appellatorischen Ausführungen der Beschwerdeführerin kann daher grösstenteils nicht eingetreten werden. Anzufügen ist lediglich was folgt:
5.2.1 Die Beschwerdeführerin richtete sich vor dem Kassationsgericht gegen die handelsgerichtliche Schlussfolgerung, wonach kein Zweifel bestehe, dass die Rückführung des strittigen Kredits und die damit verbundene Ablösung des von der Beschwerdegegnerin zur Verfügung gestellten Drittpfandes an den Verkauf der Filmbibliothek gekoppelt gewesen sei. Das Kassationsgericht verneinte das Vorliegen von Nichtigkeitsgründen, weil die Beschwerdeführerin sich mit den diesbezüglichen Erwägungen des Handelsgerichts nicht genügend substantiiert auseinandergesetzt habe. Die Beschwerdeführerin kritisiert dies als offensichtlich unhaltbar und aktenwidrig sowie damit auch den Anspruch auf rechtliches Gehör und Zulassung zum Beweis verletzend. Zur Begründung verweist sie auf ihre Ausführungen in der kantonalen Nichtigkeitsbeschwerde. Diese Ausführungen hat das Kassationsgericht jedoch beachtet, wie aus den Hinweisen in Erwägung 6.2 des Zirkulationsbeschlusses hervorgeht. Die Beschwerdeführerin legt nicht näher dar, inwiefern sich aufgrund ihrer Ausführungen in der kantonalen Nichtigkeitsbeschwerde die Beurteilung des Kassationsgerichts, dass sich die Beschwerdeführerin mit den handelsgerichtlichen Erwägungen zur Koppelung der Kreditrückzahlung/Pfandablösung an den Verkauf der Filmbibliothek nicht genügend substantiiert auseinandergesetzt habe, als unhaltbar erweisen sollte.
Sie kann Letzteres auch nicht nachholen, indem sie nunmehr in der Beschwerde an das Bundesgericht die handelsgerichtlichen Schlussfolgerungen zur Koppelung der Kreditrückzahlung/Pfandablösung an den Verkauf der Filmbibliothek als unhaltbar darzulegen versucht. Wie ausgeführt (Erwägung 5.1), missachtet sie mit diesen direkt gegen die handelsgerichtlichen Feststellungen gerichteten Rügen den Instanzenzug und kann daher nicht gehört werden.
5.2.2 Zur von der Beschwerdeführerin beanstandeten Feststellung des Handelsgerichts, vor diesem Hintergrund (Unsicherheit der Rückzahlung des von der Beschwerdeführerin an D._ ausgerichteten Kredits) sei verständlich, dass die Fragen der Werthaltigkeit und der Unbelastetheit der Filmbibliothek für beide Parteien eine zentrale Rolle gespielt hätten, führte das Kassationsgericht an, diese Erwägung basiere auf der allgemeinen Lebenserfahrung und sei deshalb im Kassationsverfahren nicht zu überprüfen. Ob diese Annahme des Kassationsgerichts zutreffend ist, was die Beschwerdeführerin verneint, kann offen bleiben. Denn zum einen fügte das Kassationsgericht in einer Eventualbegründung an, dass sich die Beschwerdeführerin mit der Begründung des Handelsgerichts nicht genügend substantiiert auseinandergesetzt habe, weshalb sie ohnehin keinen Nichtigkeitsgrund darzutun vermöchte. Gegen diese Eventualbegründung bringt die Beschwerdeführerin nichts vor. Zum andern legt die Beschwerdeführerin mit keinem Wort dar, inwiefern eine Bundesrechtswidrigkeit vorliegen sollte, wenn das Handelsgericht jene Folgerung in der Tat gestützt auf die allgemeine Lebenserfahrung gezogen hätte.
5.2.3 Mit dem Schreiben der Beschwerdeführerin an die Beschwerdegegnerin vom 29. Dezember 1998 befasste sich das Kassationsgericht in E. 7.1 und 7.2, konnte aber auch in diesem Zusammenhang keinen Nichtigkeitsgrund erkennen. Was die Beschwerdeführerin dagegen vorbringt, erschöpft sich weitgehend in appellatorischer Kritik. Mit ihren Darlegungen zur Vertragsauslegung nach dem Vertrauensprinzip verkennt sie zudem, dass es nicht um eine solche Auslegung des besagten Schreibens geht, sondern um Beweiswürdigung. Für das Handelsgericht ging "aus den Akten klar hervor", dass im Zeitpunkt des Abschlusses des Pfandvertrags vom 4. November 1998 beide Parteien davon ausgegangen sind, dass die Rückzahlung des Kredits aus dem Verkauf der Filmbibliothek erfolgen sollte und demnach auch die Ablösung der Drittpfänder einzig vom Gelingen dieses Geschäfts abhing. Dies habe die Beschwerdeführerin in ihrem Schreiben an die Beschwerdegegnerin vom 29. Dezember 1998 ausdrücklich bestätigt. Das Handelsgericht zog mithin Rückschlüsse aus dem besagten Schreiben in dem Sinn, als es darin eine Bestätigung dafür erblickte, wovon die Parteien beim Abschluss des Pfandvertrags übereinstimmend ausgegangen waren, nämlich, dass die Rückzahlung des Kredits aus dem Verkauf der Filmbibliothek erfolgen sollte und demnach auch die Ablösung der Drittpfänder einzig vom Gelingen dieses Geschäfts abhing. Nach der Beurteilung des Kassationsgerichts ist diese Würdigung des Handelsgerichts weder willkürlich noch aktenwidrig. Die Beschwerdeführerin zeigt nicht rechtsgenüglich auf, inwiefern die Beurteilung des Kassationsgerichts unhaltbar sein soll. Sie unterbreitet dem Bundesgericht lediglich ihre eigene Interpretation des besagten Schreibens vom 29. Dezember 1998, womit aber keine Willkür dargetan ist, zumal der Wortlaut des besagten Schreibens klar für die Beurteilung der Vorinstanz spricht, indem davon die Rede ist, dass "die Rückführung dieses Kredits und somit die Freistellung der Gesellschaften aus ihrer Pfandverpflichtung erwartet wird durch/aus: 1. Zuflüsse an Herrn D._ aus dem Verkauf eines Filmpakets durch W._ Ltd. an Y._ Gmbh und/oder ...". Entgegen der Rüge der Beschwerdeführerin hat das Kassationsgericht auch nicht die Ausführungen der Beschwerdeführerin in Rz. 70 und 71 ff. ihrer Nichtigkeitsbeschwerde übergangen, sondern vielmehr berücksichtigt, wie aus den Erwägungen 7.1 und 7. 2 hervorgeht.
5.2.4 Das Kassationsgericht erwog, das Handelsgericht habe die Pfanderrichtung nicht ausschliesslich mit dem Gelingen des Y._-Projekts in Zusammenhang gebracht, sondern generell mit einem Verkauf der Filmbibliothek. Die Beschwerdeführerin erachtet auch diese kassationsgerichtliche Feststellung als unhaltbar. Die von ihr zitierten Passagen des handelsgerichtlichen Urteils belegen jedoch keine Unhaltbarkeit, sondern im Gegenteil die Richtigkeit der Auffassung des Kassationsgerichts. Das Handelsgericht hielt fest, dass beiden Parteien klar gewesen sei, dass die Rückzahlung des Kredits aus dem Verkauf der Filmbibliothek erfolgen sollte und demnach auch die Ablösung der Drittpfänder einzig vom Gelingen dieses Geschäfts abhing. Bei dieser Formulierung konnte mit "diesem Geschäft" nur generell eine Verwertung der Filmbibliothek gemeint sein, nicht einzig die Verwertung der Filmbibliothek in Form des Y._-Projekts. Dieses bildete nur eine von mehreren Möglichkeiten zur Verwertung der Filmbibliothek. Es wurde im schon mehrfach erwähnten und vom Handelsgericht als Bestätigung für seine Auffassung angeführten Schreiben vom 29. Dezember 1998 denn auch nur als eine unter anderen Möglichkeiten zur Verwertung der Filmbibliothek genannt.
5.2.5 Was die Beschwerdeführerin unter den Titeln "Werthaltigkeit der Filmbibliothek" und "Unbelastetheit der Filmbibliothek" vorbringt, lässt keine Willkür erkennen. Namentlich trifft es nicht zu, dass das Kassationsgericht die handelsgerichtliche Feststellung übersehen hätte, wonach dem Wert und der Frage der Belastung der Filmbibliothek grosse Bedeutung zugemessen worden sei. Wie sich aus dessen Erwägung 7.4.1 ergibt, hat es diese Feststellung vielmehr berücksichtigt.
5.2.6 Die Beschwerdeführerin machte beim Kassationsgericht geltend, das handelsgerichtliche Urteil leide an einem offensichtlichen Widerspruch, weil es einerseits auf der Annahme basiere, dass der Pfandvertrag zwischen den Parteien ausschliesslich mit dem Gelingen des Y._-Projekts in Zusammenhang gestanden habe, andererseits aber nicht davon ausgegangen werden könne, dass die Y._-Filmbibliothek von einer Verfügungssperre hätte betroffen sein können. Das Kassationsgericht verwarf diesen Einwand bereits deshalb, weil das Handelsgericht entgegen der Behauptung der Beschwerdeführerin die Pfanderrichtung nicht ausschliesslich mit dem Gelingen des Y._-Projekts in Zusammenhang brachte, sondern generell mit einem Verkauf der Filmbibliothek. Diese Auffassung des Kassationsgerichts hat der bundesgerichtlichen Überprüfung standgehalten (Erwägung 5.2.4). Die Beschwerdeführerin bringt gegen die erwähnte Hauptbegründung des Kassationsgerichts nichts vor. Sie wendet sich unter dem Titel "Verfügungssperre" nur gegen die Eventualbegründung des Kassationsgerichts, wonach die Beschwerdeführerin im Übrigen auch bei Zugrundelegung deren Annahmen keinen Nichtigkeitsgrund nachzuweisen vermöchte, weil sie an der massgebenden Stelle ihrer Beschwerdeschrift nicht bzw. nicht genügend substantiiert vorgebracht habe, dass und an welcher Aktenstelle sie vor dem Handelsgericht geltend gemacht habe, das im Y._-Projekt involvierte Filmpaket sei nicht von der Verfügungssperre betroffen gewesen. Es erübrigt sich, auf die von der Beschwerdeführerin gegen die Eventualbegründung vorgebrachten Einwände einzugehen, da die Hauptbegründung des Kassationsgerichts unangefochten standhält.
5.3 Zusammenfassend erweisen sich die Rügen der Beschwerdeführerin zum Sachverhalt als unbegründet, soweit überhaupt darauf eingetreten werden konnte. Damit bleibt es beim vorinstanzlich verbindlich festgestellten Sachverhalt.
6. In der Beschwerdeschrift vom 1. Februar 2008 rügt die Beschwerdeführerin eine Verletzung von <ref-law> sowie Art. 9 und <ref-law>. Auf die Rügen der Verletzung des Willkürverbots und rechtlichen Gehörs kann nicht eingetreten werden, da es dem angefochtenen Urteil des Handelsgerichts insoweit an der Letztinstanzlichkeit mangelt (vgl. Erwägung 3). Die Ausführungen zur Verletzung von <ref-law>, wonach das Handelsgericht das Recht der Beschwerdeführerin zum Gegenbeweis abgeschnitten sowie den Standpunkt der Beschwerdeführerin und deren Beweisanträge nicht in seine Überlegungen miteinbezogen habe, bleiben zu allgemein, als dass auf diese Rüge eingetreten werden könnte. Namentlich erläutert die Beschwerdeführerin nicht im Einzelnen und damit nicht rechtsgenüglich, inwiefern die von ihr angeführten und vom Handelsgericht angeblich nicht beachteten Behauptungen und Beweismittel rechtserheblich sein sollen, sondern folgert generell, dass das Handelsgericht bei Beachtung derselben nicht auf einen wesentlichen Irrtum im Sinne von <ref-law> hätte schliessen können. Das genügt nicht.
7. In rechtlicher Hinsicht rügt die Beschwerdeführerin eine Verletzung von <ref-law>.
7.1 Ein Vertrag ist für jene Partei unverbindlich, die sich beim Abschluss in einem wesentlichen Irrtum befunden hat (<ref-law>). Als wesentlich gilt ein Irrtum namentlich, wenn er einen bestimmten Sachverhalt betrifft, der vom Irrenden nach Treu und Glauben im Geschäftsverkehr als eine notwendige Grundlage des Vertrags betrachtet werden konnte (<ref-law>: Grundlagenirrtum). Bei der Beurteilung des Grundlagenirrtums ist davon auszugehen, dass Feststellungen über die Umstände des Vertragsschlusses sowie das Wissen und Wollen der Vertragsschliessenden Tatfragen beschlagen (<ref-ruling> E. 3a S. 168; Urteil 4C.34/2000 vom 24. April 2001 E. 3b mit Hinweisen). Das kantonale Gericht beurteilt namentlich grundsätzlich abschliessend, ob und inwiefern sich eine Partei beim Vertragsschluss in einem Irrtum befand (<ref-ruling> E. 3a S. 62 mit Hinweisen). Auf einen Grundlagenirrtum im Sinne von <ref-law> kann sich der Vertragsschliessende berufen, der sich über einen bestimmten Sachverhalt geirrt hat, der für ihn notwendige Vertragsgrundlage war und den er nach Treu und Glauben im Geschäftsverkehr als eine notwendige Grundlage des Vertrags betrachten durfte (<ref-ruling> E. 1.3 S. 741; <ref-ruling> E. 2 S. 202; <ref-ruling> E. 3b S. 62, 297 E. 2).
7.2 Die Beschwerdeführerin bringt vor, in einem Drittpfandverhältnis gehe es nicht an, den Umstand, ob und gegebenenfalls mit welchen Mitteln der Kreditschuldner in der Lage sein könnte, den Kredit zurückzuzahlen, zum Gegenstand eines Grundlagenirrtums seitens des Drittpfandgebers zu machen. Andernfalls würde das Risiko eines möglichen Kreditausfalls immer auf den Kredit- und Pfandgläubiger überwälzt. Sie beruft sich auf <ref-ruling>, in dessen Erwägung 1a Folgendes ausgeführt wird:
"Wer jemandem ein Pfandrecht einräumt, verschafft ihm damit das Vorzugsrecht, den Pfandgegenstand zur Deckung einer bestimmten Forderung verwerten zu lassen, sofern die Forderung nicht getilgt wird (vgl. für das Grundpfand <ref-law>). Diesem Zweck des Pfandrechts würde es in aller Regel widersprechen, die Einschätzung des Risikos einer Pfandverwertung durch den Pfandgeber als notwendige Vertragsgrundlage im Sinne von <ref-law> gelten zu lassen. Das Wesen des Pfandrechts lässt es grundsätzlich nicht zu, einen Irrtum des Drittpfandgebers über die finanzielle Lage des Schuldners nach Treu und Glauben im Geschäftsverkehr als Grundlagenirrtum anzuerkennen. Wer eine eigene Sache für eine fremde Schuld zu Pfand gibt, muss vielmehr ungeachtet dessen, wie er die Kreditwürdigkeit des Schuldners eingeschätzt hat, die Verwertung dieser Sache dulden, wenn sich nachträglich herausstellt, dass der Schuldner bereits im Zeitpunkt der Pfandbestellung überschuldet war. Bereits aus diesem Grund muss der Berufung der Klägerin auf Irrtum der Erfolg versagt bleiben."
Die Berufung auf <ref-ruling> hilft der Beschwerdeführerin nicht, da die jenem Entscheid zugrunde liegende Sachlage nicht mit derjenigen des vorliegend streitigen Falles übereinstimmt. Nach den verbindlichen Feststellungen der Vorinstanz irrte sich die Beschwerdegegnerin nicht über die finanzielle Lage des Kreditschuldners, sondern liegt eine besondere Konstellation aufgrund des von den Parteien verfolgten W._-Geschäfts vor: Der Irrtum der Beschwerdegegnerin betraf nach den Feststellungen der Vorinstanz die Verfügungsberechtigung der W._ Limited über die Filmbibliothek. Wie sich später herausstellte, konnte die W._ Limited nicht frei über die Filmbibliothek verfügen, vielmehr war diese (schon bei der Pfandbestellung) mit Rechten Dritter belastet und mit einer gerichtlichen Verfügungssperre belegt. Die Beschwerdegegnerin habe - so die Beurteilung der Vorinstanz - die Verwertbarkeit der Filmbibliothek bei objektiver Betrachtung als notwendige Grundlage des Pfandvertrags betrachten dürfen. Die Filmbibliothek habe im Verhältnis zwischen den Parteien eine zentrale Rolle gespielt. Die Vorbereitung des Verkaufs der Filmbibliothek der W._ Limited sei der alleinige Grund für die Kreditgewährung gewesen und die Rückzahlung des Kredits sollte aus dem Verkaufserlös der Filmbibliothek erfolgen, womit auch die Ablösung des Drittpfandes einzig davon abhing. Die Verfügungsberechtigung der W._ Limited über die Filmbibliothek sei für beide Parteien nach Treu und Glauben im Geschäftsverkehr die notwendige Grundlage des W._-Geschäfts und des damit im Zusammenhang stehenden Drittpfandes gewesen. Dieser Beurteilung ist beizupflichten, und es ist keine Verletzung von <ref-law> dargetan.
7.3 Entgegen der Behauptung der Beschwerdeführerin hat sich die Beschwerdegegnerin nach den verbindlichen Feststellungen der Vorinstanz nicht über einen künftigen Sachverhalt geirrt. Die Ausführungen und die Kritik der Beschwerdeführerin betreffend Irrtum über einen künftigen Sachverhalt stossen daher ins Leere.
8. Die Beschwerdeführerin bestreitet, dass die Beschwerdegegnerin die Jahresfrist nach <ref-law> eingehalten hat, indem sie sich mit den Schreiben vom 16. März 2001 und 18. Juni 2001 auf den Grundlagenirrtum berufen hat. Laut der Beschwerdeführerin erfolgte diese Erklärung verspätet, weil die Beschwerdegegnerin schon seit April 1999 von der Auseinandersetzung mit der Z._ gewusst habe. Das Handelsgericht erwog dazu, die Beschwerdeführerin habe keine substantiierten Behauptungen vorgetragen, dass die Beschwerdegegnerin den Willensmangel schon vor dem 16. März 2000 bzw. 18. Juni 2000 entdeckt und mit der dafür nötigen Tragweite und Gewissheit erfasst habe. Die Beschwerdeführerin rügte beim Kassationsgericht, dass das Handelsgericht ausschliesslich auf ihre Vorbringen in der Klageantwort, nicht aber auf diejenigen in der Duplik abgestellt habe. Damit habe es ihren Anspruch auf rechtliches Gehör verletzt und sei von offensichtlich unrichtigen tatsächlichen Annahmen ausgegangen. Das Kassationsgericht verwarf diese Rügen mit eingehender Begründung und zeigte namentlich auf, dass auch die von der Beschwerdeführerin angerufenen Ausführungen in der Duplik keine substantiierten Behauptungen beinhalteten, wie sie das Handelsgericht verlangte.
In der Beschwerdeschrift vom 1. Februar 2008 trägt die Beschwerdeführerin dem Bundesgericht zu diesem Thema weitgehend das Gleiche vor, wie sie mit der kantonalen Nichtigkeitsbeschwerde beim Kassationsgericht geltend gemacht hat. Auf diese Rügen kann mangels Letztinstanzlichkeit nicht eingetreten werden (vgl. Erwägung 3).
In der Beschwerdeschrift vom 11. Mai 2009 wirft die Beschwerdeführerin dem Kassationsgericht vor, es habe die in der Nichtigkeitsbeschwerde vorgebrachte Tatsache unberücksichtigt gelassen, dass die Beschwerdeführerin am 17. Juni 1999 - (angeblich) mit Wissen der Beschwerdegegnerin - den Betrag von USD 2'425'000.-- zwecks Beilegung des Streits mit Z._ an den amerikanischen Anwalt F._ überwiesen habe. Damit habe das Kassationsgericht seinerseits den Gehörsanspruch verletzt und sei zum unhaltbaren Schluss gekommen, dass die Beschwerdeführerin nicht dargetan habe, dass das Handelsgericht wesentliche Vorbringen der Beschwerdeführerin im Hauptverfahren übersehen resp. nicht beachtet habe. Der Vorwurf ist unbegründet. Entgegen der anderslautenden Behauptung der Beschwerdeführerin hat das Kassationsgericht das Vorbringen in Rz. 45 i.V.m. Rz. 41 Lemma 6 der Nichtigkeitsbeschwerde, wo auf Rz. 101 f. und Rz. 108 der Duplikschrift verwiesen wird, durchaus berücksichtigt. Es erachtete dieses Vorbringen aber als unbehelflich, weil an besagter Stelle nur unspezifisch auf den Zeitraum nach dem 17. Juni 1999 Bezug genommen werde. Zudem sei diesem Vorbringen auch nichts bezüglich des genauen Wissens der Beschwerdegegnerin zu entnehmen. Diesen Erwägungen hält die Beschwerdeführerin nichts entgegen.
Die Beschwerdeführerin vermag demnach mit ihren Vorbringen gegen die Annahme, dass die Beschwerdegegnerin die Jahresfrist nach <ref-law> eingehalten hat, nicht durchzudringen.
9. Die Beschwerdeführerin ist der Auffassung, der Anspruch der Beschwerdegegnerin sei verjährt. Sie habe die Einrede der Verjährung vor dem Handelsgericht in Rz. 331 der Duplik erhoben. Dabei schade es nicht, dass sie die Verjährung in anderem Zusammenhang (Schadenersatzansprüche) geltend gemacht habe, zumal das Recht von Amtes wegen anzuwenden sei. Das Handelsgericht habe sich jedoch mit der Verjährungseinrede nicht auseinandergesetzt und damit ihren Gehörsanspruch verletzt. Das Kassationsgericht habe die entsprechende Rüge nicht geprüft und damit seinerseits den Gehörsanspruch verletzt. Willkürlich sei auch, dass das Kassationsgericht das Vorliegen aktenwidriger tatsächlicher Annahmen verneint habe mit der Begründung, dem Urteil des Handelsgerichts seien keine Erwägungen zur Verjährungsfrage zu entnehmen.
9.1 Der Richter darf die Verjährung nicht von Amtes wegen berücksichtigen (<ref-law>). Eine entsprechende Einrede muss ausdrücklich geltend gemacht werden (<ref-ruling> E. 4 S. 241). Erst wenn eine form- und fristgerecht erhobene Einrede vorliegt, greift der Grundsatz iura novit curia in dem Sinn, dass das Gericht die Begründetheit der Einrede unter allen rechtlichen Aspekten zu überprüfen hat (BGE 66 II 234 S. 237; Urteil des Bundesgerichts vom 1. Juli 1986, in: SJ 1987 S. 33 ff., E. 3e S. 42).
9.2 Vorliegend hat die Beschwerdeführerin im handelsgerichtlichen Verfahren in Rz. 331 der Duplik Folgendes ausgeführt:
"Wie bereits erwähnt, lagen keine strafbaren Handlungen von Herrn B._ vor. Der entsprechende klägerische Vorwurf ist haltlos und auch nicht substantiiert. Die u.a. gegen Herrn B._ geführte Strafuntersuchung wurde unter Auferlegung der Kosten zulasten der Anzeigeerstatter eingestellt. Jedenfalls besteht kein Schadenersatzanspruch der Klägerin gestützt auf <ref-law>, für welchen die Beklagte einzustehen hätte. Abgesehen davon wären sämtliche Schadenersatzansprüche der Klägerin verjährt."
Danach berief sich die Beschwerdeführerin nur im Zusammenhang mit Schadenersatzansprüchen nach <ref-law> aus strafbaren Handlungen von Herrn B._ auf die Verjährung. Solche Schadenersatzansprüche hatte das Handelsgericht nicht zu prüfen. Es brauchte sich daher mit der ausschliesslich in diesem Zusammenhang aufgeworfenen Verjährungsfrage nicht zu befassen. Entscheidend ist, dass in der erwähnten Ausführung zur Verjährung in der Duplik keine ausdrückliche Verjährungseinrede betreffend den streitigen Rückforderungsanspruch der Beschwerdegegnerin aus ungerechtfertigter Bereicherung erblickt werden kann. Lag aber keine gültige Verjährungseinrede vor, musste sich das Handelsgericht auch nicht mit einer solchen auseinandersetzen. Eine Verletzung des Gehörsanspruchs der Beschwerdeführerin scheidet daher aus. Ebenso wenig kann dem Kassationsgericht Willkür vorgehalten werden, weil es diesbezüglich keine aktenwidrigen Feststellungen ausmachen konnte.
9.3 Das Kassationsgericht trat mit Blick auf das im Beschwerdeverfahren geltende Novenverbot auf die eventualiter im Kassationsverfahren erhobene Verjährungseinrede nicht ein. Dagegen bringt die Beschwerdeführerin - zu Recht - nichts vor.
9.4 Die Beschwerdeführerin ist jedoch der Meinung, sie sei berechtigt, die Verjährungseinrede noch im bundesgerichtlichen Verfahren zu erheben, da die Verjährung während der Dauer des handelsgerichtlichen Verfahrens eingetreten sei und daher erst im Verfahren vor Bundesgericht habe geltend gemacht werden können. Dies trifft nicht zu. Die Frage, ob die Verjährungseinrede trotz des Novenverbots (<ref-law>) vor Bundesgericht zuzulassen ist, würde sich stellen, wenn die Verjährung erst im Laufe des bundesgerichtlichen Verfahrens eingetreten wäre und der Schuldner keine andere Möglichkeit hätte, der begründeten Einrede zur Rechtswirksamkeit zu verhelfen (vgl. dazu <ref-ruling> E. 5b S. 218). Vorliegend trat die Verjährung nach der Behauptung der Beschwerdeführerin während der Dauer des handelsgerichtlichen Verfahrens ein. Die Beschwerdeführerin tut nicht dar, dass sie im handelsgerichtlichen Verfahren die Verjährung nicht hätte geltend machen können. Sie ist daher mit ihrer vor Bundesgericht erhobenen Verjährungseinrede ausgeschlossen (<ref-law>).
9.5 Damit erübrigt es sich, auf den Standpunkt der Beschwerdegegnerin einzugehen, dass aufgrund der zwischen den Parteien bestehenden vertraglichen Kontobeziehungen ohnehin die 10-jährige Verjährungsfrist nach <ref-law> anwendbar wäre.
10. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 9'000.-- werden der Beschwerdeführerin auferlegt.
4. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 10'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien, dem Handelsgericht des Kantons Zürich und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 8. Oktober 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Sommer