Art. 4 aBV, Art. 8, 9, 29 und 49 BV (Zivilprozess), hat sich ergeben:
A.- Die B._ (heute: A._, nachstehend:
Klägerin), Zagreb (Kroatien), verkaufte Waren an das staatliche syrische "Public Establishment of Eletricity".
Die X._ Bank, Damaskus, (nachstehend: Beklagte) garantierte in den Schreiben vom 6. und 7. November 1984 und vom 20. März 1985 die Bezahlung des Kaufpreises. Umstritten war, ob diese Garantien als abstrakte Bankgarantien oder als akzessorische Bürgschaften zu qualifizieren seien.
Am 10. Juni 1993 erliess die Audienzrichterin des Bezirks Zürich auf Begehren der Klägerin einen Arrestbefehl gegen die Beklagte für eine Forderung von SFR 5'610'283. 50 (entsprechend US $ 3'792'031. 29) über sämtliche Vermögenswerte bei der Y._ Bank (heute: YYY AG) in Zürich. Das Betreibungsamt Zürich 1 belegte in Vollziehung dieses Arrestbefehls am 21. Juni 1993 vier Guthaben im Gesamtbetrag von SFR 13'277'265. 11 mit Arrest, wobei bezüglich eines Guthabens von SFR 8'800'000.-- der Staat Syrien Eigentumsansprache erhob. Gegen den nachfolgenden Zahlungsbefehl des Betreibungsamtes Zürich über SFR 5'610'283. 50 nebst Zins zu 8% seit 12. Juni 1993, sowie SFR 928'836. 93 Verzugszins und SFR 1'138.-- Arrestkosten erhob die Beklagte Rechtsvorschlag.
B.- Die Klägerin erhob mit Eingabe vom 14. August 1995 beim Handelsgericht des Kantons Zürich Arrestprosequierungsklage gegen die Beklagte über US $ 4'028'505. 38 nebst Zins.
In der Replik erfolgte bezüglich einer Verzugszinsforderung eine Klageänderung, welche das Handelsgericht mit Beschluss vom 4. Februar 1999 zuliess.
Das Handelsgericht schützte die Klage am 4. Februar 1999 teilweise und verpflichtete die Beklagte, der Klägerin US $ 4'028'505. 38 nebst Zins zu bezahlen. Im Mehrbetrag bzw.
hinsichtlich darüber hinausgehender Zinsforderungen wies es die Klage ab.
C.- Die Klägerin erhob gegen dieses Urteil staatsrechtliche Beschwerde und kantonale Nichtigkeitsbeschwerde. Die Beklagte focht es ebenfalls mit kantonaler Nichtigkeitsbeschwerde sowie überdies mit eidgenössischer Berufung an. Das Kassationsgericht des Kantons Zürich hiess mit Beschluss vom 3. Juli 2000 die Nichtigkeitsbeschwerde der Klägerin gut, hob das angefochtene Urteil auf, soweit die Klage abgewiesen worden war, und wies die Sache zur neuen Beurteilung hinsichtlich der zeitlichen Festsetzung des geschuldeten Verzugszinses an die Vorinstanz zurück. Gleichzeitig wies es die Nichtigkeitsbeschwerde der Beklagten ab, soweit es darauf eintrat.
Mit Urteil vom 28. Juli 2000 schrieb das Bundesgericht die staatsrechtliche Beschwerde der Klägerin als gegenstandslos ab und trat auf die Berufung der Beklagten nicht ein.
D.- Die Beklagte hat gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 staatsrechtliche Beschwerde erhoben. Auf diese ist das Bundesgericht mit Urteil vom 29. November 2000 nicht eingetreten.
Mit Urteil vom 26. Oktober 2000 verpflichtete das Handelsgericht die Beklagte in Abänderung des Urteils vom 4. Februar 1999 zur Bezahlung weiterer Zinsbetreffnisse (früherer Zinsenlauf für die einzelnen Raten) und wies weitere, darüber hinausgehende Zinsansprüche ab. Es hob den Rechtsvorschlag auch für die entsprechenden weiteren Zinsbetreffnisse auf.
E.- Gegen das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte kantonale Nichtigkeitsbeschwerde.
Diese wurde vom Kassationsgericht am 10. Juni 2001 abgewiesen, soweit darauf einzutreten war.
Im Anschluss an das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte erneut auch staatsrechtliche Beschwerde gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 mit dem Antrag, diesen aufzuheben. Zudem hat die Beklagte gegen die Urteile des Handelsgerichts vom 4. Februar 1999 und 26. Oktober 2000 eidgenössische Berufung eingelegt.
Mit einer beide Rechtsmittel betreffenden Eingabe vom 20. September 2001 reichte die Beklagte Gutachten, Ergänzungsgutachten und Dokumente zum Nachweis des syrischen Rechts ein.
Die Klägerin beantragt, auf die staatsrechtliche Beschwerde sei nicht einzutreten; eventualiter sei sie abzuweisen.
Das Kassationsgericht verzichtet auf eine Stellungnahme.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft die Zulässigkeit der bei ihm eingereichten Beschwerden von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1 S. 13, mit Hinweis).
a) Auf die direkt gegen den Entscheid des Kassationsgerichts vom 3. Juli 2000 gerichtete Beschwerde der Beschwerdeführerin ist das Bundesgericht mit Urteil vom 29. November 2000 (4P. 219/2000) nicht eingetreten. Zur Begründung hat es dem Sinne nach angegeben, der angefochtene Entscheid sei nach der Rechtsprechung ein Zwischenentscheid im Sinne von Art. 87 Abs. 2 OG, der mangels eines nicht wiedergutzumachenden Nachteils nicht direkt angefochten werden könne. Soweit die Beschwerdeführerin geltend mache, das Kassationsgericht habe über die Abweisung ihrer Nichtigkeitsbeschwerde rechtskräftig entschieden, ändere das nichts daran, dass die Beschwerdeführerin im Anschluss an das neue kantonale Urteil bzw. an den Endentscheid in der Sache staatsrechtliche Beschwerde erheben könne, die sich allenfalls ausschliesslich gegen den Zwischenentscheid vom 3. Juli 2000 zu richten hätte (<ref-ruling> 1b S. 255).
b) Art. 87 OG verfolgt die Zielsetzung, dass sich das Bundesgericht möglichst nur einmal mit einem Prozess zu befassen hat. Dementsprechend hat die nachträgliche Anfechtung eines nicht direkt anfechtbaren Zwischenentscheides gemäss Art. 87 Abs. 3 OG erst im Anschluss an den letztinstanzlichen kantonalen Endentscheid zu erfolgen. Gegebenenfalls kann direkt nach einem unterinstanzlichen Entscheid Beschwerde erhoben werden, wenn sich die Ausschöpfung des kantonalen Instanzenzuges als zwecklos und als leere Formalität erweisen würde (<ref-ruling> E. 1b S. 254 f. mit Verweis auf <ref-ruling> E. 4 S. 236).
c) Im vorliegenden Fall hat die Beschwerdeführerin gegen den zweiten Entscheid des Handelsgerichts vom 26. Oktober 2000 kantonale Nichtigkeitsbeschwerde erhoben, welche das Kassationsgericht am 10. Juni 2001 abwies, soweit darauf einzutreten war. Die Beschwerdeführerin hätte demnach erst im Anschluss an diesen letztinstanzlichen Endentscheid den Zwischenentscheid des Kassationsgerichts vom 3. Juli 2000 anfechten sollen. Die vorliegende Beschwerde, welche bereits im Anschluss an das zweite Handelsgerichtsurteil vom 26. Oktober 2000 eingereicht wurde, ist demnach als verfrüht zu qualifizieren, weshalb darauf nicht einzutreten ist.
Ob ausnahmsweise auf die verfrühte Beschwerde einzutreten wäre, da eine mehrfache Anrufung des Bundesgerichts ausgeschlossen ist, nachdem der Kassationsgerichtsentscheid vom 10. Juni 2001 unangefochten blieb, kann offen bleiben, da die Beschwerde gemäss den nachstehenden Erwägungen ohnehin hätte abgewiesen müssen, soweit darauf hätte eingetreten werden können.
2.- Die Beschwerdeführerin rügt, ihr rechtliches Gehör sei verletzt worden, da das Kassationsgericht sich mit verschiedenen von ihr erhobenen Rügen nicht substanziiert auseinander gesetzt habe.
Dieser Vorwurf ist unbegründet. Das Kassationsgericht ist seiner aus dem rechtlichen Gehör folgenden Begründungspflicht (vgl. <ref-ruling> E. 2c) dadurch nachgekommen, dass es die vorgebrachten Rügen entweder materiell abhandelte oder auf sie mangels genügender Substanziierung nicht eintrat. Auf die Anzahl der vorgelegten Dokumente brauchte das Kassationsgericht deshalb nicht weiter einzugehen, weil es annahm, diese Dokumente seien nicht rechtserheblich.
3.- Die Beschwerdeführerin wirft dem Kassationsgericht in verschiedener Hinsicht einen Verstoss gegen das Willkürverbot gemäss <ref-law> vor.
a) Diesbezüglich ist zu beachten, dass den Anforderungen an die Begründung gemäss Art. 90 Abs. 1 lit. b OG nicht genügt, wenn einfach behauptet wird, der angefochtene Entscheid sei willkürlich; vielmehr ist im Einzelnen zu zeigen, inwiefern der Entscheid offensichtlich unhaltbar ist, in dem er zum Beispiel gesetzliche Bestimmungen oder unumstrittene Rechtsgrundsätze krass verletzt (<ref-ruling> E. 2a). Die Begründung muss in der Beschwerdeschrift selbst enthalten sein, weshalb Verweise auf Akten des kantonalen Verfahrens dem Begründungserfordernis nicht genügen (<ref-ruling> E. 4a S. 30).
b) Im Einzelnen macht die Beschwerdeführerin geltend, das Kassationsgericht habe das aus dem Willkürverbot abgeleitete Verbot des überspitzen Formalismus verletzt, indem es Rügen als ungenügend substanziiert qualifiziert habe. So habe das Kassationsgericht nicht verlangen dürfen, dass die Beschwerdeführerin angebe, bei welcher Gelegenheit sie eine Drittexpertise verlangt bzw. entsprechende Beweise vorbehalten habe. Ob dies zutrifft, kann offen bleiben, weil sich die entsprechende Willkürrüge der Beschwerdeführerin als unbegründet erweist (vgl. lit. d hienach).
Die Beschwerdeführerin macht sodann geltend, die Annahme des Kassationsgerichts, ihre Rüge bezüglich der unterlassenen Referentenaudienz sei nicht genügend substanziiert, beruhe auf überspitztem Formalismus. Diese Rüge ist nicht rechtsgenüglich begründet, da die Beschwerdeführerin nicht aufzeigt, wie sie vor Kassationsgericht begründet habe, dass ihr trotz der Kann-Vorschrift gemäss <ref-law>/ZH ein Anspruch auf die Durchführung einer Referentenaudienz zustehen sollte. Als Grund dafür gibt sie vor Bundesgericht alleine an, dass die Parteien an einer solchen Audienz ihren Wunsch nach einer Drittexpertise noch einmal ausdrücklich hätten vorbringen können. Es ist jedoch nicht erkennbar, weshalb dazu eine Audienz erforderlich gewesen wäre.
Auch die vom Kassationsgericht angenommene ungenügende Substanziierung bezüglich der Aktivlegitimation wird von der Beschwerdeführerin als überspitzt formalistisch ausgegeben.
Da die Beschwerdeführerin nicht geltend macht, sie habe die Bestreitung der Aktivlegitimation in der Nichtigkeitsbeschwerde substanziiert, sondern bloss auf ihre früheren Eingaben verweist, ist auch auf diese Rüge mangels Erfüllung der Begründungsanforderungen nicht einzutreten.
Den Vorwurf des überspitzten Formalismus erhebt die Beschwerdeführerin zudem hinsichtlich der Annahme des Kassationsgerichts, die Rüge bezüglich der Zinshöhe sei ungenügend substanziiert. Das Kassationsgericht hat jedoch in diesem Zusammenhang nur den erhobenen Vorwurf der Verletzung des rechtlichen Gehörs als unsubstanziiert qualifiziert, nicht jedoch die Willkürrüge. Diese hat es materiell behandelt und als unbegründet qualifiziert. Inwiefern die Beschwerdeführerin bezüglich des Verzugszinses den Vorwurf der Verletzung des rechtlichen Gehörs substanziiert habe, wird von ihr nicht dargetan.
c) Weiter wirft die Beschwerdeführerin dem Kassationsgericht insbesondere bezüglich der Aktivlegitimation und der Höhe des Verzugszinses vor, das Willkürverbot verletzt zu haben, ohne dies jedoch rechtsgenüglich zu begründen.
Insoweit ist auf die Beschwerde nicht einzutreten.
d) Alsdann rügt die Beschwerdeführerin, das Kassationsgericht habe die Annahme des Handelsgerichts, ein Drittgutachten könne an seiner rechtlichen Würdigung nichts mehr ändern, als willkürlich qualifizieren müssen, weil ein Gutachten mit einer Wahrscheinlichkeit von mindestens 50/50 die Rechtsauffassung der Beschwerdeführerin bestätigt hätte.
Die Rüge ist unbegründet. Da das Handelsgericht nicht an ein Drittgutachten gebunden gewesen wäre, lässt sich aus der blossen Möglichkeit, dass dieses zu einem anderen Ergebnis gekommen wäre als das Handelsgericht, nicht ableiten, dieses sei in Willkür verfallen, wenn es annahm, ein Drittgutachten könne an seiner rechtlichen Würdigung nichts mehr ändern.
Zudem kann entgegen der Annahme der Beschwerdeführerin aus dem Umstand, dass sich das Handelsgericht zunächst beim Max-Planck-Institut für ausländisches und internationales Privatrecht bezüglich der Ausarbeitung eines Gutachtens erkundigte, nicht geschlossen werden, das Handelsgericht sei selbst von der Notwendigkeit eines Gutachtens ausgegangen.
Vielmehr ist das Handelsgericht zum Ergebnis gekommen, das syrische Recht sei durch die Parteigutachten genügend nachgewiesen.
Dadurch hat es entgegen der Meinung der Beschwerdeführerin den Grundsatz der Rechtsanwendung von Amtes wegen gemäss <ref-law> nicht verletzt, da <ref-law> dem Richter erlaubt, bei vermögensrechtlichen Ansprüchen den Nachweis des Inhalts des ausländischen Rechts den Parteien zu überbinden. Das Kassationsgericht hat daher zu Recht angenommen, es bestehe insoweit kein Anspruch auf gerichtliche Gutachten. Weiter gibt die Beschwerdeführerin an, ein Drittgutachten sei notwendig gewesen, weil die von den Parteien eingereichten Gutachten nur Teilaspekte des massgebenden Rechts behandelt hätten. Da die Beschwerdeführerin jedoch nicht darlegt, welche Teilaspekte nicht berücksichtigt worden seien, ist auf dieses Vorbringen mangels Erfüllung der Begründungsanforderungen nicht einzugehen.
e) Das Handelsgericht ging unter Hinweis auf ein Gutachten des Schweizerischen Instituts für Rechtsvergleichung davon aus, in Handelssachen genüge nach syrischem Recht die unzweideutige schriftliche Mahnung, um die Pflicht des Schuldners zur Leistung von Zinsen entstehen zu lassen.
Dies hat das Kassationsgericht grundsätzlich bestätigt, wobei es offenbar auch eine mündliche Mahnung als genügend ansah. Die Beschwerdeführerin macht dem Sinne nach geltend, diese Bestätigung verstosse gegen das Willkürverbot. Richtig sei, dass ein Verzugszins nach syrischem Recht gemäss Art. 227 des syrischen Zivilgesetzbuches (syrZGB) erst mit Klageeinleitung geschuldet sei. Art. 220 syrZGB lasse zwar im Handelsbereich eine schriftliche Mahnung für die Inverzugsetzung genügen, beziehe sich aber nur auf den Beginn des Verzugs und nicht auch auf den Beginn des Verzugszinsenlaufs.
Diese Rüge ist unbegründet. Art. 227 syrZGB lässt neben der Klageeinleitung auch einen anderen Handelsgebrauch zur Bestimmung des Beginns des Verzugszinsenlaufs zu, weshalb es nicht unhaltbar ist, unter Berücksichtigung von Art. 220 syrZGB von einem Handelsgebrauch auszugehen, wonach in Handelssachen eine schriftliche Mahnung für den Beginn des Verzugszinsenlaufs genüge.
4.- Zusammenfassend ergibt sich, dass die Beschwerde, selbst wenn sie in zeitlicher Hinsicht zulässig gewesen wäre, hätte abgewiesen werden müssen, soweit darauf einzutreten gewesen wäre. Gemäss dem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 15'000.-- wird der Beschwerdeführerin auferlegt.
3.- Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 20'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 1. März 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: