Garantievertrag; IPRG, hat sich ergeben:
A.- Im Jahre 1990 verkaufte die Maschinenfabrik C._ GmbH in Schweinfurt (Deutschland) der Firma D._ in Belgrad vier Maschinen zum Kaufpreis von insgesamt DM 960'000.--. Der Gesamtkaufpreis war, nebst 9 % Zins auf dem jeweils ausstehenden Betrag, in 12 halbjährlichen Raten ab 11. April 1991 zahlbar, wobei die fälligen Halbjahreszinsen mit jeder Rate zu bezahlen waren. Die Bank A._ (Beklagte) garantierte gegenüber der Maschinenfabrik C._ GmbH mit Schreiben vom 8. Oktober 1990 unter Bezugnahme auf den von dieser mit der Firma D._ geschlossenen Vertrag die Einhaltung dieser Zahlungsverpflichtungen durch die Firma E._, Beograd, welche sie als ihre Auftraggeberin bezeichnete. Der Gesamtbetrag der Garantie wurde unter Einschluss des Zinsenanteils mit DM 1'240'800.-- beziffert. Mit Abtretungs- und Liefererklärung vom 19. November 1990 trat die Maschinenfabrik C._ GmbH die gesamte Forderung sowie ihre Ansprüche aus der Garantie der Beklagten an die Bank F._ AG, Filiale Schweinfurt, ab. Diese zedierte gleichentags und in der gleichen Urkunde sämtliche Ansprüche und Rechte weiter an die G._ AG (später B._ AG; Klägerin) in Zürich.
Mit Schreiben vom 26. Dezember 1990 bestätigte die Beklagte der Klägerin, dass die Maschinenfabrik C._ GmbH ihre Verpflichtungen aus dem Vertrag mit der Firma D._ vollumfänglich erfüllt habe, dass sie - die Beklagte - von der unwiderruflichen Abtretung seitens der Lieferantin zustimmend Kenntnis genommen habe und dass sie der Klägerin die einzelnen Raten zu den vorgesehenen Terminen bezahlen werde. Die erste Rate von DM 123'200.-- wurde bei Fälligkeit bezahlt. Weitere Zahlungen blieben aus. Die Beklagte bestätigte jeweils den Erhalt der entsprechenden Mahnungen.
Am 11. Oktober 1996 rief die Klägerin mittels Telex die Garantie insgesamt ab und verlangte die Zahlung des ausstehenden Betrages von DM 1'117'600.-- zuzüglich 9 % Zins ab dem Datum des Verfalls der einzelnen Raten.
B.- Auf Begehren der Klägerin erliess der Arrestrichter des Bezirks Zürich am 1. Oktober 1997 für eine Forderungssumme von Fr. 1'283'695. 70 nebst 9 % Zins seit 1. August 1997 einen Arrestbefehl über sämtliche Vermögenswerte der Beklagten bei der damaligen Bank H._, bei der Bank I._ und bei der damaligen Bank J._ in Zürich Kreis 1. Ein weiterer Arrestbefehl erging am 7. Oktober 1997 für dieselbe Forderung über sämtliche Vermögenswerte der Beklagten bei der Bank I._ in Zürich Kreis 3. Auf Einsprache der Beklagten wurde in diesem zweiten Arrestbefehl die Arrestforderung auf Fr. 1'271'453. 30 reduziert. Gegen die zur Arrestprosequierung ausgestellten Zahlungsbefehle erhob die Beklagte Rechtsvorschlag.
C.- Am 5. Mai 1998 klagte die B._ AG beim Handelsgericht des Kantons Zürich gegen die Bank A._ mit dem Begehren, die Beklagte sei zur Zahlung von DM 1'540'126. 90 nebst 9 % Zins seit 1. August 1997 zu verpflichten und es sei in der Betreibung Nr. 1._ des Betreibungsamtes Zürich 3 für den Betrag von Fr. 1'271'453. 30 nebst Zins die definitive Rechtsöffnung zu erteilen. Diese Klage ergänzte sie am 10. Juli 1998 mit dem Begehren auf Erteilung der definitiven Rechtsöffnung für den gleichen Betrag in der Betreibung Nr. 2._ des Betreibungsamtes Zürich 1. In der Klageantwort beantragte die Beklagte die Aussetzung des Verfahrens, bis die jugoslawische Entscheidung über die von ihr in der gleichen Sache eingereichte negative Feststellungsklage zur Anerkennung in der Schweiz vorgelegt werden könne. Zur Klage selbst beantragte sie Nichteintreten, soweit die Klage den Betrag der verarrestierten Vermögensgegenstände übersteige, und Abweisung der Klage, soweit auf sie eingetreten werde. Mit Urteil vom 13. Dezember 1999 hiess das Handelsgericht die Forderung im Betrag von DM 1'117'600.-- nebst 9 % Zins seit 26. Oktober 1996 gut und hob in diesem Umfang in der Betreibung Nr. 1._ des Betreibungsamtes Zürich 3 den Rechtsvorschlag auf. Mit Beschluss vom 20. Januar 2000 fasste das Handelsgericht das Urteilsdispositiv teilweise neu und hob auch in der Betreibung Nr. 2._ des Betreibungsamtes Zürich 1 im gleichen Umfang den Rechtsvorschlag auf.
D.- Gegen das Urteil des Handelsgerichts reichte die Beklagte beim Kassationsgericht des Kantons Zürich kantonale Nichtigkeitsbeschwerde ein. Mit Beschluss vom 19. Dezember 2000 hiess das Kassationsgericht diese teilweise gut und änderte den Kostenspruch. Im Übrigen wies es die Nichtigkeitsbeschwerde ab, soweit auf sie einzutreten war.
E.- Die Beklagte hat das Urteil des Handelsgerichts mit Berufung und Nichtigkeitsbeschwerde beim Bundesgericht angefochten.
Mit der vorliegenden Nichtigkeitsbeschwerde beantragt sie, dieses Urteil aufzuheben, soweit die Klage geschützt wurde, die definitive Rechtsöffnung zu verweigern und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Klägerin und Beschwerdegegnerin schliesst auf Abweisung der Nichtigkeitsbeschwerde, soweit auf sie eingetreten werden kann.

Das Bundesgericht zieht in Erwägung:
1.- Die Nichtigkeitsbeschwerde gemäss Art. 68 OG ist zulässig gegen letztinstanzliche Entscheide kantonaler Behörden in Zivilsachen, die nicht nach den Art. 44-46 der Berufung unterliegen. Damit ist die Nichtigkeitsbeschwerde im Verhältnis zur Berufung ein subsidiäres Rechtsmittel, wobei sich die Subsidiarität auf den Streitgegenstand und die Art des angefochtenen Entscheides bezieht. Sie ist insbesondere gegeben in nicht streitigen Zivilsachen und bei Zivilrechtsstreitigkeiten, die den Berufungsstreitwert nicht erreichen; ebenso steht sie zur Verfügung, wenn der anzufechtende letztinstanzliche kantonale Entscheid keinen Endentscheid darstellt und keine der Ausnahmen von Art. 49 und 50 OG gegeben ist (Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, N. 1.1 und 2.1 zu Art. 68 OG; Messmer/Imboden, Die eidgenössischen Rechtsmittel in Zivilsachen, Ziff. 129; Geiser/Münch, Prozessieren vor Bundesgericht,
2. Aufl. 1998, Ziff. 4.99).
Das angefochtene Urteil des Handelsgerichts betrifft eine Zivilrechtsstreitigkeit, deren Streitwert den Betrag von Fr. 8'000.-- übersteigt. Es stellt auch einen Endentscheid dar, indem das Handelsgericht mit der teilweisen Gutheissung der Klage über den streitigen Anspruch materiell entschieden hat. Das Urteil unterliegt damit der Berufung gemäss Art. 43 ff. OG, von welchem Rechtsmittel die Beschwerdeführerin selbst auch zusätzlich Gebrauch macht.
Auf die Nichtigkeitsbeschwerde ist damit nicht einzutreten.
Ist der angefochtene Entscheid berufungsfähig und sind auch die weiteren formellen Voraussetzungen für eine Berufung erfüllt, behandelt das Bundesgericht ein als Nichtigkeitsbeschwerde eingereichtes Rechtsmittel jeweils als Berufung (<ref-ruling> E. 1a; Poudret/Sandoz-Monod, N. 2.1 zu Chap. III; Messmer/Imboden, Ziff. 24 und Ziff. 129 Anmerkung 1). Wie bereits in der Berufung macht die Beschwerdeführerin auch in der Nichtigkeitsbeschwerde geltend, das Handelsgericht habe die von ihr erhobene Verjährungseinrede anstelle der Beurteilung nach dem anwendbaren jugoslawischen Recht gestützt auf <ref-law> als rechtsmissbräuchlich und damit unbeachtlich betrachtet. Die damit geltend gemachte Nichtanwendung oder nicht genügend sorgfältige Ermittlung des ausländischen Rechts (Art. 68 Abs. 1 lit. d OG) fällt somit zusammen mit der in der Berufung erhobenen Rüge, der angefochtene Entscheid habe nicht ausländisches Recht angewendet, wie es das schweizerische internationale Privatrecht vorschreibt (Art. 43a Abs. 1 lit. a OG). Damit erübrigt sich eine selbständige Behandlung der Nichtigkeitsbeschwerde als Berufung, womit es beim Nichteintreten sein Bewenden hat.
2.- Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr der Beschwerdeführerin aufzuerlegen (Art. 156 Abs. 1 OG). Sie hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die Nichtigkeitsbeschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 4'000.-- wird der Beschwerdeführerin auferlegt.
3.- Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 21. Januar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: