Kaufvertrag; Bankgarantie; internationales Privatrecht, hat sich ergeben: A.- Die B._ (heute: A._, nachstehend: Klägerin), Zagreb (Kroatien), verkaufte Waren an das staatliche syrische "Public Establishment of Eletricity". Die X._ Bank, Damaskus, (nachstehend: Beklagte) garantierte in den Schreiben vom 6. und 7. November 1984 und vom 20. März 1985 die Bezahlung des Kaufpreises. Umstritten war, ob diese Garantien als abstrakte Bankgarantien oder als akzessorische Bürgschaften zu qualifizieren seien. Am 10. Juni 1993 erliess die Audienzrichterin des Bezirks Zürich auf Begehren der Klägerin einen Arrestbefehl gegen die Beklagte für eine Forderung von SFR 5'610'283. 50 (entsprechend US $ 3'792'031. 29) über sämtliche Vermögenswerte bei der Y._ Bank (heute: YYY AG) in Zürich. Das Betreibungsamt Zürich 1 belegte in Vollziehung dieses Arrestbefehls am 21. Juni 1993 vier Guthaben im Gesamtbetrag von SFR 13'277'265. 11 mit Arrest, wobei bezüglich eines Guthabens von SFR 8'800'000.-- der Staat Syrien Eigentumsansprache erhob. Gegen den nachfolgenden Zahlungsbefehl des Betreibungsamtes Zürich über SFR 5'610'283. 50 nebst Zins zu 8% seit 12. Juni 1993, sowie SFR 928'836. 93 Verzugszins und SFR 1'138.-- Arrestkosten erhob der Vertreter der Beklagten Rechtsvorschlag. B.- Die Klägerin erhob mit Eingabe vom 14. August 1995 beim Handelsgericht des Kantons Zürich Arrestprosequierungsklage gegen die Beklagte über US $ 4'028'505. 38 nebst Zins. In der Replik erfolgte bezüglich einer Verzugszinsforderung eine Klageänderung, welche das Handelsgericht mit Beschluss vom 4. Februar 1999 zuliess. Das Handelsgericht schützte die Klage am 4. Februar 1999 teilweise und verpflichtete die Beklagte, der Klägerin US $ 4'028'505. 38 nebst Zins zu bezahlen. Im Mehrbetrag bzw. hinsichtlich darüber hinausgehender Zinsforderungen wies es die Klage ab. C.- Die Klägerin erhob gegen dieses Urteil staatsrechtliche Beschwerde und kantonale Nichtigkeitsbeschwerde. Die Beklagte focht es ebenfalls mit kantonaler Nichtigkeitsbeschwerde sowie überdies mit eidgenössischer Berufung an. Das Kassationsgericht des Kantons Zürich hiess mit Beschluss vom 3. Juli 2000 die Nichtigkeitsbeschwerde der Klägerin gut, hob das angefochtene Urteil auf, soweit die Klage abgewiesen worden war, und wies die Sache zur neuen Beurteilung hinsichtlich der zeitlichen Festsetzung des geschuldeten Verzugszinses an die Vorinstanz zurück. Gleichzeitig wies es die Nichtigkeitsbeschwerde der Beklagten ab, soweit es darauf eintrat. Mit Urteil vom 28. Juli 2000 schrieb das Bundesgericht die staatsrechtliche Beschwerde der Klägerin als gegenstandslos ab und trat auf die Berufung der Beklagten nicht ein. D.- Die Beklagte hat gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 staatsrechtliche Beschwerde erhoben. Auf diese ist das Bundesgericht mit Urteil vom 29. November 2000 nicht eingetreten. Mit Urteil vom 26. Oktober 2000 verpflichtete das Handelsgericht die Beklagte in Abänderung des Urteils vom 4. Februar 1999 zur Bezahlung weiterer Zinsbetreffnisse (früherer Zinsenlauf für die einzelnen Raten) und wies weitere, darüber hinausgehende Zinsansprüche ab. Es hob den Rechtsvorschlag auch für die entsprechenden weiteren Zinsbetreffnisse auf. E.- Gegen das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte kantonale Nichtigkeitsbeschwerde. Diese wurde vom Kassationsgericht am 10. Juni 2001 abgewiesen, soweit darauf einzutreten war. Im Anschluss an das Urteil des Handelsgerichts vom 26. Oktober 2000 erhob die Beklagte gegen den Beschluss des Kassationsgerichts vom 3. Juli 2000 erneut staatsrechtliche Beschwerde. Auf diese ist das Bundesgericht mit Urteil vom heutigen Tag nicht eingetreten. Zudem erhob die Beklagte eidgenössische Berufung mit den Anträgen, die Urteile des Handelsgerichts vom 4. Februar 1999 und 26. Oktober 2000 seien aufzuheben und die Klage sei abzuweisen; eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Mit einer beide Rechtsmittel betreffenden Eingabe vom 20. September 2001 reichte die Beklagte Gutachten, Ergänzungsgutachten und Dokumente zum Nachweis des syrischen Rechts ein. Die Klägerin beantragt, die Berufung sei abzuweisen; eventualiter sei die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.