Kollokation, hat sich ergeben:
A.- Der X._ AG mit Sitz in Basel wurde vom Zivilgericht Basel-Stadt am 17. Mai 1995 die Nachlassstundung bewilligt. Die Bestätigung des Nachlassvertrages mit Vermögensabtretung erfolgte am 6. Dezember 1995; als Liquidatorin wurde die A._ eingesetzt. Das Landgericht Linz eröffnete am 19. Mai 1995 über die Tochtergesellschaft der X._ AG in Basel, die X._ GmbH in Linz sowie über deren Tochtergesellschaft, die Z._ GmbH in Linz, den Konkurs.
Die B._ AG hatte im Laufe einer langjährigen Geschäftsbeziehung den beiden Tochtergesellschaften Kredite gewährt, die durch die X._ AG in Basel mittels abstrakter Garantieerklärungen gesichert wurden.
Gestützt darauf meldete sie am 8. Juni/31. August 1995 im Nachlassverfahren der X._ AG in Basel ihre Forderungen gegenüber der X._ GmbH in Linz an.
Am 11. August 1997 kollozierte die A._ die Forderungen der B._ AG in der fünften Klasse zu einem Teilbetrag (Verfügung Nr. 105 lit. A), wies sie ganz ab (lit. B) oder liess sie bedingt zu (lit. C, D und E).
B.- Das Zivilgericht Basel-Stadt wies die Kollokationsklage der B._ AG am 8. März 2000 ab, soweit es darauf eintrat. Es behaftete die Klägerin bei ihrer Herabsetzung der Eventualforderung auf Fr. 4'103'800.--.
C.- Die von der B._ AG dagegen erhobene Appellation wurde vom Appellationsgericht Basel am 21. September 2001 gutgeheissen. Die Forderungen von Fr. 10'642'464. 05 und Fr. 289'186.-- (A) sowie die Forderung über Fr. 310'940. 10 (B) wurden in der fünften Klasse und ohne Bedingung kolloziert.
Im Übrigen wurde die Kollokationsverfügung aufgehoben (lit. C, D und E).
D.- Die X._ AG in Nachlassliquidation gelangt mit Berufung ans Bundesgericht. Sie beantragt die Aufhebung des Urteils des Appellationsgerichts vom 21. September 2001 und die vollumfängliche Abweisung der Klage; alle ordentlichen und ausserordentlichen Kosten erster und zweiter Instanz sowie vor Bundesgericht seien der Klägerin aufzuerlegen.
Die B._ AG ist nicht zu Vernehmlassung eingeladen worden.
Das Bundesgericht zieht in Erwägung:
1.- Die Kollokationsklage beschlägt eine Zivilrechtsstreitigkeit mit Vermögenswert. Der Streitwert richtet sich nicht nach der Höhe der Forderung, sondern der mutmasslichen Dividende darauf (Art. 46 OG; BGE 93 II 82 E. 1). Weder das angefochtene Urteil noch die Berufungsschrift genügen hier den gesetzlichen Anforderungen (Art. 51 Abs. 1 lit. a und Art. 55 Abs. 1 lit. a OG). Immerhin ergibt sich aus dem in den Akten liegenden 11. Zirkularschreiben an die Gläubiger, dass die Liquidatorin per Ende 1998 mit einer Dividende von 14.3 % rechnet. Strittig ist die Kollokation von insgesamt Fr. 11'242'590. 15, womit der erforderliche Streitwert auch bei einer zwischenzeitlich allenfalls nach unten korrigierten Dividendenprognose noch erreicht sein dürfte. Damit kann auf die vorliegende Berufung grundsätzlich eingetreten werden (BGE 79 III 172).
2.- a) Die Vorinstanz beurteilte die der Kollokationsklage zugrunde gelegten Garantieerklärungen der X._ AG nach schweizerischem und nach österreichischem Recht. Ihrer Ansicht nach unterscheidet sich die Rechtslage in den beiden Ländern nicht. In Zusammenhang mit der Umbuchungsermächtigung für die Kreditschuld der Z._ auf die X._ GmbH verweist sie auf österreichisches Recht.
Bei der Frage, ob die Berufung auf eine abstrakte Garantieerklärung rechtsmissbräuchlich sein kann, zitiert sie schweizerische Doktrin. Soweit die Vorinstanz den Anspruch der Klägerin nach beiden Rechtsordnungen prüfte und die Frage des anwendbaren Rechts in der Hauptfrage offen liess, liegt keine Verletzung von Art. 51 Abs. 1 lit. c OG vor, als die betreffenden Regeln materiell übereinstimmen (Poudret, Commentaire de la loi fédérale d'organisation judiciaire, art. 51 N. 4).
b) Hat das kantonale Gericht neben dem schweizerischen auch ausländisches Recht angewendet, ist dessen Verletzung in vermögensrechtlichen Streitigkeiten mit staatsrechtlicher Beschwerde geltend zu machen. In der Berufung tritt das Bundesgericht auf entsprechende Rügen nicht ein (Art. 43a Abs. 2 OG). In solchen Fällen muss aber aus dem angefochtenen Entscheid ersichtlich sein, wie die kantonale Instanz das massgebende Recht angewendet hat, um die Überprüfung im Rahmen der staatsrechtlichen Beschwerde zu ermöglichen.
Andernfalls ist die Rückweisung unumgänglich (nicht publiziertes Urteil der I. Zivilabteilung vom 21. Dezember 2000 E. 2c mit Hinweisen, welches BGE 126 III 492 und 100 II 34 hinsichtlich der Anforderungen an das kantonale Urteil präzisiert).
3.- a) Gemäss Art. 43a Abs. 1 lit. a OG kann mit Berufung vorgebracht werden, die Vorinstanz habe nicht ausländisches Recht angewendet, wie es das schweizerische internationale Privatrecht (IPRG) vorschreibe. Demnach untersteht ein Vertrag grundsätzlich dem von den Parteien gewählten Recht (Art. 116 Abs. 1 IPRG). Bereits in der ersten von der X._ AG (in Basel) gegenüber dem Bankinstitut (in Wien) abgegebenen Garantieerklärung steht "für diese Garantie gilt Österreichisches Recht". Damit liegt eine ausdrückliche Rechtswahl vor (Art. 116 Abs. 2 IPRG). Es gibt keinerlei Hinweise, dass sie nachträglich geändert worden ist (Art. 116 Abs. 3 IPRG). Auch die Kollokationsklage vom 13. November 1997 sowie die Klageantwort vom 28. August 1998 sprechen sich für die Anwendung österreichischen Rechts aus.
Es fehlen auch Anhaltspunkte, die auf eine Teilverweisung auf schweizerisches Recht hinweisen könnten, womit zur Gültigkeit einer solchen nicht Stellung zu nehmen ist (Keller/ Kren Kostkiewicz, IPRG-Kommentar, Art. 116 N. 92-97). Damit richtet sich auch die im Zusammenhang mit der Garantieerklärung zu beurteilende Beweisstrenge und Beweislastverteilung sowie die Frage der Rechtsmissbräuchlichkeit des Garantieabrufs entgegen der Ansicht der Beklagten ausschliesslich nach österreichischem Recht. Wie das Zivilgericht zum Ergebnis gelangen konnte, es komme vorliegend schweizerisches Recht zur Anwendung, ist nicht nachvollziehbar.
Im angefochtenen Entscheid findet sich keine Antwort darauf.
b) Entgegen den Ausführungen der Beklagten wendet die Vorinstanz jedoch nicht ausländisches statt schweizerisches Recht, sondern beides an. Die materielle Hauptfrage - die Gültigkeit abstrakter Garantieerklärungen - wird nach schweizerischem und auch nach österreichischem Recht geprüft.
Es trifft auch nicht zu, dass Bundesrecht bloss ersatzweise angewendet wird, wie die Beklagte behauptet. Obgleich der angefochtene Entscheid auch auf schweizerischem Recht gründet, wird den Parteien damit die Möglichkeit der Berufung insoweit nicht gegeben, als dies - wie vorliegend in Verletzung von IPRG und damit von Bundesrecht - geschehen ist. Das Bundesgericht prüft die Frage des anzuwendenden Rechts seit jeher von Amtes wegen (BGE 118 II 83 E. 2b mit Hinweisen). Der Inhalt des anzuwendenden ausländischen Rechts ist ebenfalls von Amtes wegen festzustellen, allenfalls unter Einbezug der Parteien (Art. 16 Abs. 1 IPRG).
Da die entscheidenden Fragen im vorliegenden Fall nach österreichischem Recht zu beantworten sind, kann das Bundesgericht den angefochtenen Entscheid nur im Rahmen einer staatsrechtlichen Beschwerde überprüfen. Auf die Berufung ist somit nicht einzutreten, soweit die Belangbarkeit der Beklagten für ihre Garantieerklärungen in Frage steht (nicht publiziertes Urteil der I. Zivilabteilung vom 21. Dezember 2000 E. 5; nicht publizierte E. 3 des BGE 119 II 173).
4.- a) Die Vorinstanz verneinte die Anfechtbarkeit von Umbuchungen, die kurz vor der Nachlassstundung der Beklagten durch die Klägerin auf Kosten der X._ in Linz zu Gunsten der Z._ in Linz vorgenommen worden waren.
Vorerst stellt sie fest, dass in den beiden Konkursverfahren in Linz keine paulianische Anfechtung dieses Transfers erfolgt sei, und folgerte daraus zu Recht, dass es keine Wirkungen auf das Nachlassverfahren zu berücksichtigen gebe.
Alsdann verneinte sie unter Hinweis auf eine Lehrmeinung zu Art. 285 SchKG die Berechtigung der Beklagten eine Rechtshandlung anzufechten, an der sie als Gemeinschuldnerin nicht mitgewirkt habe (Staehelin, in: Kommentar zum SchKG [Hrsg.
Staehelin/Bauer/ Staehelin], III, Art. 285 N. 16 und 17).
b) Hierbei handelt es sich nicht um eine Zivilrechtsstreitigkeit, sondern eine betreibungsrechtliche mit Reflexwirkung auf das materielle Recht. Praxisgemäss sind derartige Fälle berufungsfähig. Der Streitwert ist vorliegend gegeben (Vgl. E. 1b).
c) Die Beurteilung der Vorinstanz geht stillschweigend davon aus, dass eine Anfechtung der strittigen Umbuchung im Rahmen des Nachlassverfahrens nach schweizerischem Recht zu erfolgen habe. Das in Basel durchgeführte Nachlassverfahren über das Vermögen der Beklagten richtet sich nach schweizerischem Recht (Art. 293 ff. SchKG). Dies muss auch für die Anfechtungsklagen nach Art. 285 ff. SchKG gelten, zu welcher der Liquidator berechtigt ist (Staehelin, a.a.O., Art. 285 N. 36). Sie bezwecken nämlich, das Haftungssubstrat in diesem Nachlassverfahren um Vermögenswerte zu erweitern, welche ihm durch die in Art. 286-288 SchKG umschriebenen Rechtshandlungen entzogen worden sind. Die zivilrechtliche Gültigkeit der Umbuchung wird dadurch nicht in Frage gestellt (statt vieler: Staehelin, a.a.O., Art. 285 N. 1 und 8). Wäre dies der Fall, dann käme wohl österreichisches Recht zu Anwendung. Denn immerhin haben die X._ GmbH und die Z._ in Linz am 16. Oktober 1991 unter Bezugnahme auf die Allgemeinen Geschäftsbedingungen der österreichischen Kreditunternehmungen eine entsprechende Ermächtigung gegenüber ihrem Bankinstitut in Wien abgegeben.
d) Die Beklagte wirft der Vorinstanz im Zusammenhang mit der strittigen Umbuchung ein offensichtliches Versehen im Sinne von Art. 63 Abs. 2 OG vor. Diese sei von der Klägerin nicht in eigenem Namen, wie im angefochtenen Entscheid allenfalls unterstellt, sondern im Namen der Beklagten vorgenommen worden. Dass dem so sei, gehe aus den bisherigen Rechtsschriften und der vorliegenden Berufungsschrift hervor, und sei von der Gegenseite nie bestritten worden. Mit diesem Vorbringen rügt die Beklagte in Tat und Wahrheit bloss die Würdigung des Sachverhaltes, wofür ihr die staatsrechtliche Beschwerde offen gestanden wäre (Art. 84 Abs. 1 lit. a, Art. 43 Abs. 1 OG). Im Berufungsverfahren ist das Bundesgericht an die tatsächlichen Feststellungen der Vorinstanz gebunden, wenn sie nicht offensichtlich auf Versehen beruhen, unter Verletzung bundesrechtlicher Beweisvorschriften zustande gekommen (Art. 63 Abs. 2 OG) oder zu ergänzen sind (Art. 64 OG; BGE 126 III 59 E. 2a). Liegen solche Ausnahmen vor, so hat die Partei, die den Sachverhalt berichtigt oder ergänzt haben will, darüber genaue Angaben mit Aktenhinweisen zu machen (BGE 115 II 484 E. 2a). Zumindest aus den pauschalen Angaben der Beklagten ist im angefochtenen Entscheid kein Versehen der Vorinstanz auszumachen.
e) Es ist somit davon auszugehen, dass die Umbuchung von der Klägerin aus eigenem Recht und nicht in Vertretung der Beklagten veranlasst worden war. Es handelt sich somit um eine Rechtshandlung, an welcher die Beklagte weder beteiligt noch vertreten war. Durch die Umbuchung wurden ihr keine Vermögenswerte entzogen, die nun der Zwangsvollstreckung zugeführt werden sollen (Art. 285 Abs. 1 SchKG; Amonn/ Gasser, Grundriss des Schuldbetreibungs- und Konkursrechts, 6 A., S. 427, N. 5 mit Hinweis auf BGE 95 III 83 E. 4b). Insoweit erweist sich der angefochtene Entscheid als bundesrechtskonform.
Wie es sich damit nach österreichischem Insolvenzrecht verhält, ist nicht von Interesse, da vorliegend schweizerisches Recht zur Anwendung gelangt. Selbst wenn dem nicht so wäre, könnte auf die diesbezüglichen Vorbringen im Rahmen einer Berufung nicht eingetreten werden (Art. 43 Abs. 1 OG).
5.- Der Berufung ist nach dem Gesagten kein Erfolg beschieden.
Bei diesem Ausgang des Verfahrens wird die Beklagte kostenpflichtig (Art. 156 Abs. 1 OG). Da die Gegenpartei zur Vernehmlassung nicht eingeladen worden ist, entfällt eine Parteientschädigung.
Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 21. September 2001 wird bestätigt.
2.- Die Gerichtsgebühr von Fr. 15'000.-- wird der Beklagten auferlegt.
3.- Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
_
Lausanne, 25. April 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: