Kaufvertrag; Bankgarantie; internationales Privatrecht, hat sich ergeben:
A.- Die B._ (heute: A._, nachstehend:
Klägerin), Zagreb (Kroatien), verkaufte Waren an das staatliche syrische "Public Establishment of Eletricity".
Die X._ Bank, Damaskus, (nachstehend: Beklagte) garantierte in den Schreiben vom 6. und 7. November 1984 und vom 20. März 1985 die Bezahlung des Kaufpreises. Umstritten war, ob diese Garantien als abstrakte Bankgarantien oder als akzessorische Bürgschaften zu qualifizieren seien.
Am 10. Juni 1993 erliess die Audienzrichterin des Bezirks Zürich auf Begehren der Klägerin einen Arrestbefehl gegen die Beklagte für eine Forderung von SFR 5'610'283. 50 (entsprechend US $ 3'792'031. 29) über sämtliche Vermögenswerte bei der Y._ Bank (heute: YYY AG) in Zürich. Das Betreibungsamt Zürich 1 belegte in Vollziehung dieses Arrestbefehls am 21. Juni 1993 vier Guthaben im Gesamtbetrag von SFR 13'277'265. 11 mit Arrest, wobei bezüglich eines Guthabens von SFR 8'800'000.-- der Staat Syrien Eigentumsansprache erhob. Gegen den nachfolgenden Zahlungsbefehl des Betreibungsamtes Zürich über SFR 5'610'283. 50 nebst Zins zu 8% seit 12. Juni 1993, sowie SFR 928'836. 93 Verzugszins und SFR 1'138.-- Arrestkosten erhob der Vertreter der Beklagten Rechtsvorschlag.
B.- Die Klägerin erhob mit Eingabe vom 14. August 1995 beim Handelsgericht des Kantons Zürich Arrestprosequierungsklage gegen die Beklagte über US $ 4'028'505. 38 nebst Zins.
In der Replik erfolgte bezüglich einer Verzugszinsforderung eine Klageänderung, welche das Handelsgericht mit Beschluss vom 4. Februar 1999 zuliess.
Das Handelsgericht schützte die Klage am 4. Februar 1999 teilweise und verpflichtete die Beklagte, der Klägerin US $ 4'028'505. 38 nebst Zins zu bezahlen. Im Mehrbetrag bzw.
hinsichtlich darüber hinausgehender Zinsforderungen wies es die Klage ab.
C.- Die Klägerin erhob gegen dieses Urteil staatsrechtliche Beschwerde und kantonale Nichtigkeitsbeschwerde. Die Beklagte focht es ebenfalls mit kantonaler Nichtigkeitsbeschwerde sowie überdies mit eidgenössischer Berufung an. Das Kassationsgericht des Kantons Zürich hiess mit Beschluss vom 3. Juli 2000 die Nichtigkeitsbeschwerde der Klägerin gut, hob das angefochtene Urteil auf, soweit die Klage abgewiesen worden war, und wies die Sache zur neuen Beurteilung hinsichtlich der zeitlichen Festsetzung des geschuldeten Verzugszinses an die Vorinstanz zurück. Gleichzeitig wies es die Nichtigkeitsbeschwerde der Beklagten ab, soweit es darauf eintrat.
Mit Urteil vom 28. Juli 2000 schrieb das Bundesgericht die staatsrechtliche Beschwerde der Klägerin als gegenstandslos ab und trat auf die Berufung der Beklagten nicht ein.
D.- Die Beklagte hat gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 staatsrechtliche Beschwerde erhoben. Auf diese ist das Bundesgericht mit Urteil vom 29. November 2000 nicht eingetreten.
Mit Urteil vom 26. Oktober 2000 verpflichtete das Handelsgericht die Beklagte in Abänderung des Urteils vom 4. Februar 1999 zur Bezahlung weiterer Zinsbetreffnisse (früherer Zinsenlauf für die einzelnen Raten) und wies weitere, darüber hinausgehende Zinsansprüche ab. Es hob den Rechtsvorschlag auch für die entsprechenden weiteren Zinsbetreffnisse auf.
E.- Gegen das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte kantonale Nichtigkeitsbeschwerde.
Diese wurde vom Kassationsgericht am 10. Juni 2001 abgewiesen, soweit darauf einzutreten war.
Im Anschluss an das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 erneut staatsrechtliche Beschwerde. Auf diese ist das Bundesgericht mit Urteil vom heutigen Tag nicht eingetreten. Zudem erhob die Beklagte eidgenössische Berufung mit den Anträgen, die Urteile des Handelsgerichts vom 4. Februar 1999 und 26. Oktober 2000 seien aufzuheben und die Klage sei abzuweisen; eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Mit einer beide Rechtsmittel betreffenden Eingabe vom 20. September 2001 reichte die Beklagte Gutachten, Ergänzungsgutachten und Dokumente zum Nachweis des syrischen Rechts ein.
Die Klägerin beantragt, die Berufung sei abzuweisen; eventualiter sei die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht ist in seinem Entscheid vom 28. Juli 2000 nicht auf die Berufung der Beklagten gegen das Urteil des Handelsgerichts vom 4. Februar 1999 eingetreten.
Zur Begründung führte das Bundesgericht dem Sinne nach aus, die Berufung richte sich gegen den Teil des Urteils des Handelsgerichts, welcher vom Kassationsgericht nicht aufgehoben worden sei, weshalb insoweit ein Teilentscheid vorliege. Dieser könne gemäss <ref-ruling> E. 2a nur unter den Voraussetzungen von Art. 50 OG selbständig mit Berufung angefochten werden. Dafür fehle es bereits an der prozessökonomischen Voraussetzung, dass durch dieses Vorgehen ein bedeutender Beweisaufwand erspart werde.
Daraus folgt, dass die Beklagte im Rahmen der Berufung gegen das Handelsgerichtsurteil vom 26. Oktober 2000 auch dasjenige vom 4. Februar 1999 mitanfechten kann.
2.- a) Der schweizerische Gerichtsstand des Arrestortes ist nicht ausschliesslich. Durch eine Gerichtsstandsvereinbarung im Sinne von <ref-law> kann er gültig derogiert werden, sofern das ausländische Urteil voraussichtlich in der Schweiz anerkannt werden kann (<ref-ruling> E. 3a).
b) Die Beklagte macht geltend, das angerufene Gericht am Arrestort sei nicht zuständig, weil die Parteien eine Gerichtsstandsvereinbarung bezüglich der Gerichte in Damaskus vereinbart hätten. Eine solche Vereinbarung leitet sie aus dem in ihrem Schreiben vom 6./7. November 1984 und vom 20. März 1985 enthaltenen Passus ab: "We take your [bzw. ] our residence in damascus as our residence concerning the matters related to the execution of this guarantee. " Nach Auffassung der Klägerin handelt es sich dabei nicht um Prorogationen, sondern um den Hinweis, dass Zahlungsaufforderungen an den Hauptsitz der Beklagten und nicht an eine ihrer Filialen oder Zweigstellen zu richten seien.
c) Das Handelsgericht hat - ohne sich inhaltlich zu den angerufenen Textstellen zu äussern - das Vorliegen einer formgültigen Gerichtsstandsvereinbarung nach schweizerischem Recht bzw. nach der Zürcher Zivilprozessordnung beurteilt und verneint, da die Schreiben von der Klägerin nicht unterzeichnet worden seien.
d) Die Beklagte rügt unter Berufung auf Art. 43a lit. a OG, das Handelsgericht hätte bei der Beurteilung der Formgültigkeit der Gerichtsstandsvereinbarung gemäss Art. 13 des Bundesgesetzes über das Internationale Privatrecht (IPRG; SR 291) syrisches und nicht schweizerisches Recht zur Anwendung bringen sollen. Diese Frage kann jedoch offen bleiben, weil gemäss der nachstehenden Erwägung unabhängig vom bezüglich der Form massgebenden Recht eine Gerichtsstandsvereinbarung der Parteien zu verneinen ist.
e) Zur Begründung, dass eine Gerichtsstandsvereinbarung vorliegen würde, verweist die Beklagte auf ein Gutachten von C._ (Berufungsbeilage, 4). Dieser führt unter Ziff. 2 seines Gutachtens sinngemäss aus, wenn die Parteien einen Erfüllungsort in Syrien vereinbart hätten, so würde Art. 85 des syrischen Zivilprozessgesetzes zwingend einen Gerichtsstand in Syrien vorsehen (entweder am Wohnsitz des Beklagten oder am Erfüllungsort). Damit geht C._ und mit ihm auch die Beklagte in Übereinstimmung mit dem Wortlaut der von ihr angeführten Passagen davon aus, dass diese Damaskus bezüglich der Vertragserfüllung ("matters of execution") als massgebend bezeichnen, woraus sie nach syrischem Recht auf einen gesetzlichen Gerichtsstand in Syrien schliesst. Die Textstellen betreffen damit den Erfüllungsort und nicht den Gerichtsstand bezüglich eines künftigen oder bestehenden Rechtsstreits, weshalb keine Gerichtsstandsvereinbarung im Sinne von <ref-law> vorliegt. Damit ist eine Derogation des Gerichtsstandes am Arrestort zu verneinen.
3.- Weiter rügt die Beklagte, das Handelsgericht habe das anwendbare syrische Recht nicht genügend sorgfältig (von Amtes wegen) festgestellt, was gegen <ref-law> verstosse.
a) Gemäss <ref-law> kann bei vermögensrechtlichen Ansprüchen der Nachweis des ausländischen Rechts den Parteien überbunden werden. Entsprechend kann mit Berufung bei solchen Ansprüchen nicht gerügt werden, der Richter habe das ausländische Recht nicht von Amtes wegen festgestellt.
Vielmehr lässt Art. 43 Abs. 1 lit. a OG generell nur die Rüge zu, der angefochtene Entscheid habe zu Unrecht festgestellt, die Ermittlung des ausländischen Rechts sei nicht möglich.
b) Da eine vermögensrechtliche Streitigkeit vorliegt, kann nach dem Gesagten auf die Rüge, die Vorinstanz habe das anwendbare ausländische Recht nicht von Amtes wegen bzw. unsorgfältig festgestellt, nicht eingetreten werden.
Eine entsprechende Rüge könnte gemäss dem Wortlaut von Art. 68 Abs. 1 lit. d OG ohne Einschränkung in nicht vermögensrechtlichen Streitigkeiten mit Nichtigkeitsbeschwerde vorgebracht werden. Diese steht jedoch nicht offen, da eine Streitsache vorliegt, welche nach den Art. 44-46 OG mit Berufung angefochten werden kann, was die zu ihr subsidiäre Nichtigkeitsbeschwerde ausschliesst (Art. 68 Abs. 1 OG).
Somit kann offen bleiben, ob die Rüge in Art. 68 Abs. 1 lit. d OG sachgerecht entgegen oder mindestens in Einschränkung ihres Wortlauts auszulegen wäre, wie dies in der kantonalen Rechtsprechung und der Literatur befürwortet wird (Entscheid des Kassationsgerichts Zürich vom 4. September 1995, Blätter für Zürcherische Rechtsprechung, 95/1996 Nr. 2 S. 7 ff., E. 5; Bernard Dutoit, Droit international privé suisse: Commentaire de la loi fédérale du 18 décembre 1987, 3. Aufl. 2001, N. 23 zu <ref-law>; Peter Münch, in:
Handbücher für die Anwaltspraxis, I Prozessieren vor Bundesgericht,
2. Auf. , Geiser/Münch (Hrsg.), S. 169 Fn. 268; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, Bd. II, N. 7 zu Art. 68 OG; Keller/Girsberger, in:
IPRG Kommentar, Kommentar zum Bundesgesetz über das Internationale Privatrecht (IPRG) vom 1. Januar 1989, hrsg. Anton Heini et al., N. 32 zu Nach <ref-law>; a.M. Messmer/ Imboden, Die eidgenössischen Rechtsmittel in Zivilsachen, S. 183).
4.- Alsdann bringt die Beklagte mehrfach vor, das Handelsgericht habe das syrische Recht nicht richtig angewendet.
Auch diese Rügen sind unzulässig, weil eine vermögensrechtliche Streitigkeit vorliegt, bei welcher die Anwendung des ausländischen Rechts im Berufungsverfahren nicht überprüft werden kann (Art. 43a Abs. 2 OG, e contrario; <ref-ruling> E. 3e S. 182; <ref-ruling> E. 3a).
5.- a) Die Beklagte rügt weiter die Vorinstanz habe in verschiedener Hinsicht <ref-law> verletzt. So habe sie kein Beweismittelverfahren durchgeführt und bestrittene Tatsachen ohne Beweis als richtig angenommen. Auf diese Rüge ist nicht einzutreten, weil das strittige Rechtsverhältnis anerkanntermassem nach syrischem Recht zu beurteilen ist und <ref-law> als zivilrechtliche Norm des schweizerischen Bundesrechts nur auf Rechtsverhältnis Anwendung findet, welche schweizerischem Recht unterstehen (<ref-ruling> E. 2b/bb S. 143; <ref-ruling>, E. 2d, mit Hinweis).
b) Soweit die Beklagte geltend macht, die Vorinstanz habe <ref-law> dadurch verletzt, dass sie ohne weiteren Beweis sich überhaupt nicht mit der Argumentation der Beklagten betreffend die Aktivlegitimation der Klägerin auseinandergesetzt habe, rügt die Beklage dem Sinne nach eine Verletzung des verfassungsmässigen Anspruchs auf rechtliches Gehör. Diese Rüge ist im Berufungsverfahren unzulässig (Art. 43 Abs. 1 OG).
6.- Schliesslich macht die Beklagte geltend, das Handelsgericht habe in seinem zweiten Urteil bezüglich des Beginns des Verzugszinsenlaufs automatisch schweizerisches anstatt syrisches Recht angewendet und schweizerisches Recht zitiert, wodurch Art. 43a Abs. 1 lit. a OG verletzt worden sei. Die Rüge ist unbegründet. Das Handelsgericht wendet in Bezug auf die Verzugszinsen ausdrücklich syrisches Recht an, wobei der Verweis "so im übrigen auch nach schweizerischem Recht ..." als zulässige rechtsvergleichende Bezugnahme auf das schweizerische Recht zu qualifizieren ist (vgl. BGE <ref-ruling> E. 3c/bb, S. 495).
7.- Nach dem Gesagten ist die Berufung abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird die Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Handelsgerichts des Kantons Zürich vom 4. Februar 1999 wird in der am 26. Oktober 2000 ergänzten Form bestätigt.
2.- Die Gerichtsgebühr von Fr. 15'000.-- wird der Beklagten auferlegt.
3.- Die Beklagte hat die Klägerin für das bundesgerichtliche Verfahren mit Fr. 20'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 1. März 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: