wird festgestellt und in Erwägung gezogen:
1.- Die Y._ AG und die Z._ AG mit Sitz in Zug sind Tochtergesellschaften der am gleichen Ort domizilierten X._ AG. Die beiden ersten Gesellschaften waren vom High Court of Justice in London aufgrund eines am 25. April 1990 eingegangenen Chartervertrags zur Zahlung von USD 4'819'675. 37 und einer Parteientschädigung von GBP 1'265'366. 06 an die zypriotische S._ Ltd. verpflichtet worden (Urteil vom 4./9. Februar 1994). Die Forderungen, die in den am 25. April 1994 über die Y._ AG und die Z._ AG eröffneten Konkursen zugelassen worden waren, meldete die S._ Ltd. auch in dem am 17. Mai 1994 über die X._ AG eröffneten Konkurs an; das Konkursamt Zug wies die Forderungen am 8. Februar 1996 ab. Am 21. September 1998 wies das Kantonsgericht Zug die Klage der S._ Ltd. auf Kollozierung ihrer Forderungen von Fr. 7'048'775. 20 gestützt auf das Urteil des High Court of Justice, von Fr. 77'246. 85 für aufgelaufenen Zins von 5 % auf diesem Betrag, von Fr. 2'632'594.-- als zuerkannte Parteientschädigung im Verfahren vor dem High Court of Justice und von Fr. 408.-- als Kosten des Zahlungsbefehls ab; der gegen das erstinstanzliche Urteil eingelegten Berufung der Klägerin gab das Obergericht des Kantons Zug am 9. November 1999 nicht statt. Im Nachgang zum Urteil des Bundesgerichts vom 14. April 2000 (5C. 275/1999), aufgrund dessen das zweitinstanzliche Urteil aufgehoben worden war, wies das Obergericht des Kantons Zug die von der Klägerin erhobene Berufung mit Urteil vom 3. Oktober 2000 wiederum ab und bestätigte das Urteil des Kantonsgerichts Zug vom 21. September 1998.
Mit staatsrechtlicher Beschwerde ersucht die S._ Ltd. um Aufhebung des Urteils vom 3. Oktober 2000 und um Rückweisung der Sache zu neuer Entscheidung an das Obergericht. Die X._ AG in Konkurs beantragt, die staatsrechtliche Beschwerde abzuweisen. Das Obergericht schliesst in seiner Vernehmlassung auf Abweisung der Beschwerde, soweit auf sie eingetreten werden kann. Die S._ Ltd. hat auch eidgenössische Berufung eingelegt (5C. 246/2000).
Das von der X._ AG in Konkurs für das bundesgerichtliche Verfahren gestellte Gesuch um Sicherstellung der Parteientschädigung ist vom Instruktionsrichter der II. Zivilabteilung des Bundesgerichts mit Verfügung vom 16. Januar 2001 bewilligt worden; die Sicherheitsleistung von Fr. 5'000.-- hat die S._ Ltd. denn auch fristgerecht eingezahlt.
2.- Die staatsrechtliche Beschwerde ist - von hier nicht vorliegenden Ausnahmen abgesehen - kassatorischer Natur (<ref-ruling> E. 4a bis c S. 332 ff.), weshalb regelmässig auch nicht mehr als die Aufhebung des angefochtenen Entscheids verlangt werden darf. Indessen schadet der Antrag, die Sache zu neuer Entscheidung an das Obergericht zurückzuweisen, der Beschwerdeführerin nicht, weil im Fall der Gutheissung der staatsrechtlichen Beschwerde das Obergericht auf Grund der Erwägungen des bundesgerichtlichen Urteils ohnehin neu entscheiden müsste (<ref-ruling> E. 3c S. 126; <ref-ruling> E. 3c/bb; Messmer/Imboden, Die eidgenössischen Rechtsmittel in Zivilsachen, Rz 158 S. 225 f. mit Fn 10).
3.- Das Obergericht hat unter Hinweis auf die Begründungspflicht für die Berufung nach § 201 Abs. 1 Satz 2 ZPO/ZG entschieden, so weit die nach Ansicht der Beschwerdeführerin gestraffte Berufungsschrift bloss generell auf den Inhalt der Klageschrift verweise, sei mangels Begründung der Rügen auf diese nicht einzutreten. Das Obergericht könne nur auf das in der Berufungsschrift Vorgebrachte eingehen und auch nur die dort geltend gemachten Beweismittel berücksichtigen, sofern damit nicht gegen das Novenverbot gemäss § 205 ZPO/ZG verstossen werde. Die Beschwerdeführerin erblickt darin aus mehreren Gründen eine Verletzung der Verfassung.
a) Soweit die Beschwerdeführerin geltend macht, der Devolutiveffekt der Berufung zwinge dazu, den Inhalt der Klageschrift zu berücksichtigen, begründet sie nicht in einer Art. 90 Abs. 1 lit. b OG genügenden Weise, inwiefern das kantonale Prozessrecht geradezu unhaltbar und krass dem Gerechtigkeitsempfinden zuwiderlaufend angewendet worden sein soll (<ref-ruling> E. 1c; <ref-ruling> E. 4a und b S. 270; <ref-ruling> E. 3a S. 373); sie führt denn auch keine entsprechende Bestimmung an (<ref-ruling> E. 2c S. 118).
Ein entsprechender Motivierungsaufwand wäre aber geboten gewesen, kann doch eine Begründungspflicht im kantonalen Verfahren trotz des Devolutiveffekts gegeben sein, wie das bundesgerichtliche Berufungsverfahren anschaulich zeigt (Art. 55 Abs. 1 lit. c OG; <ref-ruling> E. 4; <ref-ruling> E. 3 S. 749; Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, Bd. II, Bern 1990, N 2.2.3 zu Art. 59/61 OG).
b) Weiter erblickt die Beschwerdeführerin im Umstand, dass das Obergericht den Inhalt der Klageschrift entgegen ihrem Begehren nicht beigezogen hat, eine Verletzung des rechtlichen Gehörs.
Da der Anspruch auf rechtliches Gehör dem Betroffenen ein Mitwirkungsrecht bei der Erhebung der Beweise gibt und ihm ferner garantiert, mit rechtserheblichen Vorbringen gehört zu werden (<ref-ruling> E. 3b S. 375; <ref-ruling> E. 2b S. 137, 146 E. 2a S. 149; <ref-ruling> E. 3a S. 51, 241 E. 2 S. 242), ist nicht ersichtlich, inwiefern das Obergericht gegen Art. 29 Abs. 2 BV verstossen hat, indem es einem allgemeinen Verweis auf den Inhalt der Klageschrift nicht nachgegangen ist. Würde die Ansicht der Beschwerdeführerin zutreffen, müsste das oberinstanzliche Gericht von sich aus prüfen, welche Vorbringen im erstinstanzlichen Verfahren gemessen an der Begründung des in der Folge ergangenen Urteils und der darin enthaltenen Beweiswürdigung im zweitinstanzlichen Verfahren noch von Bedeutung sein können. Das Mitwirkungsrecht würde zu einem Recht, fallwesentliche Tatsachenbehauptungen vor der zweiten Instanz nicht erheben und sich mit dem erstinstanzlichen Urteil nicht auseinander setzen zu müssen. Damit würde der Anspruch auf rechtliches Gehör offensichtlich überspannt (im Ergebnis gleich das unveröffentlichte Urteil der I. Zivilabteilung vom 27. Oktober 2000 i.S. S., E. 3c, 4P.154/2000).
c) Die Beschwerdeführerin wendet schliesslich ein, es würden Grundsätze des kantonalen Beschwerdeverfahrens und ein publiziertes Präjudiz verfassungswidrig auf das Berufungsverfahren übertragen. § 201 Abs. 1 ZPO/ZG verlange nur, dass im Berufungsverfahren neue Vorbringen als solche gekennzeichnet und dass Abänderungsanträge gestellt werden müssen. Die Beschwerdeführerin begründet aber nicht (Art. 90 Abs. 1 lit. b OG), weshalb eine Begründung zwingend nicht verlangt werden darf. Denn § 201 Abs. 1 Satz 2 ZPO/ZG beginnt mit der Formulierung: "Die Berufung ist zu begründen". Auch wird nicht dargelegt, weshalb der Vergleich mit dem Beschwerdeverfahren unhaltbar sein soll, verlangt doch auch § 210 Abs. 1 a.E. ZPO/ZG, dass die Beschwerde begründet sein muss.
Ein entsprechender Motivierungsaufwand wäre aber schon deswegen erforderlich gewesen, weil in Rechtsmittelverfahren eine Begründungspflicht verbreitet ist. Diese mag in einem Berufungsverfahren weniger streng sein als in einem Beschwerdeverfahren. Das heisst aber noch lange nicht, dass eine Begründungspflicht im Berufungsverfahren fehlen muss (vgl. Art. 55 Abs. 1 lit. c mit Art. 90 Abs. 1 lit. b OG; BGE <ref-ruling> E. 2b S. 748; P. Münch, in: Handbücher für die Anwaltspraxis, Bd. I: Prozessieren vor Bundesgericht, herausg. von Geiser/Münch, 2. Aufl. 1998, Rz 4.89 S. 153 f.; M. Forster, ebenda, Rz 2.57 f. S. 87 f.).
4.- Die Beschwerdeführerin wirft dem Obergericht im Zusammenhang mit dessen Schlussfolgerung, sie habe eine missbräuchliche Verwendung der Tochtergesellschaften durch die Beschwerdegegnerin nicht substanziiert gerügt, bzw. nicht nachweisen können, willkürliche Anwendung kantonalen Prozessrechts vor.
a) Seinen Rückweisungsentscheid vom 14. April 2000 (5C. 275/1999) hat das Bundesgericht u.a. damit begründet, das Obergericht habe versehentlich übergangen, dass die Beschwerdeführerin in der Klageschrift geltend gemacht hatte, die Y._ AG sei angesichts ihrer Geschäftstätigkeit von der Beschwerdegegnerin nicht ausreichend mit Kapital ausgestattet worden (E. 3 S. 6 Abs. 2). Das Obergericht hält im angefochtenen Urteil dazu fest, die Beschwerdeführerin habe eine solche Behauptung im Berufungsverfahren explizit nicht aufgestellt.
Wohl habe sie die Unterkapitalisierung in der Klageschrift behauptet, aber dort nicht genügend substanziiert.
Soweit die Beschwerdeführerin dagegen einwendet, das Obergericht habe übergangen, dass sie in der Berufungsschrift gerügt hatte, die Beschwerdegegnerin habe ihren Tochtergesellschaften das Haftungssubstrat entzogen, vermischt sie die Frage, ob die Tochtergesellschaften mit genug Kapital ausgestattet wurden, mit derjenigen, ob diesen zu einem späteren Zeitpunkt das Haftungssubstrat entzogen worden ist. Auch setzt sie sich nicht in einer Art. 90 Abs. 1 lit. b OG genügenden Weise mit der Feststellung des Obergerichts auseinander, die Rüge der mangelnden Kapitalausstattung sei in tatsächlicher Hinsicht ungenügend substanziiert. Sie behauptet nur, das Obergericht habe erneut erkannt, die Rüge sei nicht erhoben worden.
b) Das Obergericht hat den zentralen von der Beschwerdeführerin erhobenen Vorwurf, die Beschwerdegegnerin habe ihren Tochtergesellschaften Haftungssubstrat entzogen, verworfen. Es legt dar, dass es wegen der Gleichstellung von Aktienkapital und Haftungssubstrat zum bundesgerichtlichen Rückweisungsentscheid vom 14. April 2000 gekommen war. Zur Begründung in der Sache führt es hauptsächlich aus, dem Bericht des unabhängigen Wirtschaftsprüfers könne entnommen werden, dass die Y._ AG der Beschwerdegegnerin am 28. August 1992 "ihre geschäftlichen Aktivitäten in Verbindung mit einer Reihe von Charterverträgen zusammen mit den entsprechenden Vermögenswerten und Verbindlichkeiten ... an die Muttergesellschaft ... abgetreten hat". Zwar seien die Aktiven im Verlauf des Geschäftsjahres 1992 von 25 Mio. Fr.
auf einen symbolischen Franken gesunken. Jedoch hätten im gleichen Zeitraum auch die kurzfristigen Verbindlichkeiten von ca. 18,5 Mio. Fr. auf rund Fr. 8'000.-- reduziert werden können; auch die Schulden gegenüber verbundenen Unternehmen hätten von ca. 4,7 Mio. Fr. auf ungefähr Fr. 180'000.-- abgenommen.
Hingegen hätten die von der Beschwerdegegnerin der Y._ AG gewährten Darlehen im Verlauf des Jahres 1992 um rund 12 Mio. Fr. zugenommen. Der Substanzverlust hänge mit seit 1990 eingetretenen Geschäftsverlusten zusammen; im Geschäftsjahr 1992 habe der Betriebsverlust ca. 14,5 Mio. Fr.
betragen. Der Beschwerdeführerin sei der Nachweis missbräuchlichen Entzugs von Haftungssubstrat misslungen und sie gebe selber zu, dass die Umstrukturierungen erfolgten, damit die X._ Gruppe ihre Hochseeaktivitäten fortführen könne.
Die Beschwerdeführerin bringt dagegen vor, dass die Beschwerdegegnerin der Y._ AG ein Darlehen mit Rangrücktritt gewährt habe (vgl. Art. 725 Abs. 2 Satz 2 a.E. OR), sei erst in den kurz vor den Konkursen erstellten Jahresrechnungen so festgelegt worden; für die Gewährung eines Darlehens von 12 Mio. Fr. könne den Akten nichts entnommen werden.
Bringt die Beschwerdeführerin nicht vor, wie die Geschäftsverluste der Y._ AG anders als durch Darlehen der Beschwerdegegnerin gedeckt worden sind, übt sie bloss unzulässige appellatorische Kritik an der Beweiswürdigung des Obergerichts (<ref-ruling> E. 4c S. 230, 118 Ia 20 E. 5c S. 27 unten) und verkennt, dass Willkür nicht bereits dann vorliegt, wenn eine andere Entscheidvariante möglich oder gar vorzuziehen wäre (<ref-ruling> E. 2a S. 88 mit Hinw. , <ref-ruling> E. 3a, 119 Ia 113 E. 3a).
Die Beschwerdeführerin rügt im Zusammenhang mit dem von der Beschwerdegegnerin der Y._ AG gewährten Darlehen, das Obergericht definiere das Haftungssubstrat erneut falsch. Damit scheitert sie aus doppeltem Grund: Zum einen wäre die Rüge mit Berufung vorzubringen. Zum anderen ist offensichtlich, dass ein Schuldner mit seinen Schulden seinen Gläubigern nicht haften kann, stellen diese doch nicht Vermögen und somit auch nicht Haftungssubstrat dar. Dass Schulden mit Rangrücktritt im Rahmen der Überschuldungsberechnung gemäss Art. 725 Abs. 2 Satz 2 a.E. OR unbeachtlich sind, macht sie für die Y._ AG offensichtlich nicht zu Aktiven.
c) Das Obergericht zitiert weiter aus der Übersetzung des von der Beschwerdeführerin veranlassten Urteils des obersten südafrikanischen Gerichts vom 9. Juni 1995 die Feststellung, die Restrukturierung der X._ Gruppe sei keine List oder Farce gewesen. Die Beschwerdeführerin habe nirgends geltend gemacht, die Beweislage hinsichtlich der Umstrukturierung sei im vorliegenden Verfahren eine andere als im südafrikanischen. Indem die Beschwerdeführerin bloss geltend macht, dem in einem summarischen Verfahren ergangenen südafrikanischen Arresturteil bezüglich einer Schiffsladung der Beschwerdegegnerin könne nichts für das vorliegende Verfahren entnommen werden, übt sie unzulässige appellatorische Kritik am Schluss des Obergerichts, auch dieses südafrikanische Urteil nehme gegen Rechtsmissbrauch Stellung.
d) Schliesslich stellt das Obergericht fest, gegen das Vorliegen eines Rechtsmissbrauchs spreche auch die unangefochten gebliebene Ansicht des Kantonsgerichts, dass die Beschwerdeführerin es in der Hand gehabt hätte, in London nicht nur die Tochtergesellschaften, sondern auch die Beschwerdegegnerin als Muttergesellschaft einzuklagen; habe sie das sorgfaltswidrig unterlassen, könne sie heute nicht mit Erfolg gegen die Beschwerdegegnerin vorgehen.
Soweit die Beschwerdeführerin in der Sache geltend macht, sie sei nicht gehalten gewesen, in London auch die Beschwerdegegnerin einzuklagen, weil damals noch keine einzige Gesellschaft der X._ Gruppe in Konkurs gefallen war, mag sie Recht haben, ohne damit schon Willkür begründen zu können. Jedoch verkennt sie, dass das Obergericht nicht nur in der Sache Stellung genommen, sondern auch ausgeführt hat, die Ansicht des Kantonsgerichts vermöchte dessen Urteil zu tragen und sei unangefochten geblieben. Mit dieser Begründung (vgl. BGE 121 IV 094 E. 1b; <ref-ruling> E. 2b S. 399 f.) hätte sich die Beschwerdeführerin auseinander setzen müssen (Art. 90 Abs. 1 lit. b OG). Indem sie bloss geltend macht, wegen der Natur des Berufungsverfahrens sei sie nicht verpflichtet gewesen, das erstinstanzliche Urteil in jedem Punkt anzufechten, verkennt sie wiederum die Rüge- und Begründungspflicht im Rechtsmittelverfahren (dazu E. 3a und 3c hiervor).
e) Soweit die Beschwerdeführerin im Zusammenhang mit den in lit. a bis d hiervor behandelten Rügen schliesslich geltend macht, §§ 206 i.V.m. 53 und 56 ZPO/ZG seien willkürlich angewendet worden, genügt sie der Begründungspflicht ebenfalls nicht. Denn sie behauptet wohl Willkür und verweist auf die genannten Bestimmungen. Sie begründet aber nicht, inwiefern die in den §§ 206 i.V.m. 53 und 56 ZPO/ZG aufgestellten Vorschriften zur Erhebung und Würdigung der Beweise im vorliegenden Verfahren geradezu falsch oder in unhaltbarer Weise nicht angewendet worden sein sollen.
5.- Bleibt die staatsrechtliche Beschwerde somit ohne Erfolg, wird die unterliegende Beschwerdeführerin gebühren- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG). Da die Beschwerdeführerin auf Grund der Verfügung vom 16. Januar 2001 bei der Bundesgerichtskasse den Betrag von Fr. 5'000.-- als Sicherheitsleistung hinterlegt hat, wird die Bundesgerichtskasse der Beschwerdegegnerin die Parteientschädigung auszahlen mit der Folge, dass die Beschwerdeführerin von der Leistungspflicht entbunden wird und jeden Anspruch auf die Sicherheitsleistung verliert.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 4'000.-- wird der Beschwerdeführerin auferlegt.
3.- Die Parteientschädigung, die die Beschwerdeführerin der Beschwerdegegnerin für das bundesgerichtliche Verfahren schuldet, wird auf Fr. 5'000.-- festgesetzt. Sie wird unter Verwendung der von der Beschwerdeführerin erbrachten Sicherheitsleistung durch die Bundesgerichtskasse ausgezahlt.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug (zivilrechtliche Abteilung) schriftlich mitgeteilt.
_
Lausanne, 3. April 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: