Sachverhalt:
A.
A.a. Die X._ Finanz AG mit Sitz in A._/ZG ist eine 100-prozentige Tochtergesellschaft der X._ Holding AG (ebenfalls mit Sitz in A._/ZG) und bezweckt im Wesentlichen die "Erbringung von Dienstleistungen hauptsächlich im Finanzbereich an Konzerngesellschaften der X._-Gruppe". Gemäss eigener Darstellung unterhält die X._ Finanz AG zu diesem Zweck eine Betriebsstätte auf den Cayman Islands; dort gehen vier Teilzeit-Mitarbeitende (mit je 20 Stellenprozent) in gemieteten Büros ihrer Arbeit nach.
A.b. Mit einem "Ruling" vom 10. August 1999 zwischen der X._ Holding AG und der Steuerverwaltung des Kantons Zug wurden für den Fall, dass die Finanzierung über eine ausländische Betriebsstätte einer Schweizer Finanzierungsgesellschaft erfolge, "die der ausländischen Betriebsstätte zuzurechnenden Gewinne von der Besteuerung (...) in der Schweiz ausgenommen". Bis und mit Steuerjahr 2004 schied die Steuerverwaltung den Nettofinanzertrag der X._ Finanz AG aus der Darlehensgewährung gegenüber den Gruppengesellschaften vollständig zu Gunsten der Betriebstätte auf den Cayman Islands aus. Im Verlauf des Jahres 2004 nahm die kantonale Steuerverwaltung auf Anweisung der Eidgenössischen Steuerverwaltung (ESTV) Abklärungen betreffend den Bestand der Betriebsstätte vor. Mit Schreiben vom 9. Februar 2005 teilte die kantonale Steuerverwaltung der X._ Finanz AG mit, dass die ESTV der Auffassung sei, auf den Cayman Islands werde keine Geschäftstätigkeit im Sinne einer Betriebsstätte ausgeübt; entsprechend habe die ESTV die kantonale Steuerverwaltung aufgefordert, die internationale Steuerausscheidung im Verhältnis zur Zweigniederlassung auf den Cayman Islands ab 1. Januar 2005 zu verweigern.
A.c. Mit Veranlagungsverfügungen vom 27. Mai 2008 wurde für die direkte Bundessteuer 2005 und 2006 ein vollständig in der Schweiz zu versteuernder Reingewinn von Fr. 8'643'000.-- (2005) bzw. Fr. 9'468'300.-- (2006) festgestellt. Bei einem Steuersatz von 8.5% resultierte dabei eine Gewinnsteuer in der Höhe von Fr. 734'655.-- (2005) bzw. Fr. 804'805.50 (2006).
B.
Gegen diese Veranlagungsverfügungen erhob die X._ Finanz AG Einsprache und verlangte die Zulassung einer Steuerausscheidung im Verhältnis zu den Cayman Islands für die Steuerperioden 2005 und 2006. Nach Durchführung einer Einspracheverhandlung hiess die Rechtsmittelkommission der kantonalen Steuerverwaltung am 23. November 2009 die Einsprache gut. Demzufolge wurde der Nettofinanzertrag aus der Darlehensgewährung gegenüber den Gruppengesellschaften der X._ Finanz AG vollumfänglich zu Gunsten der Betriebsstätte auf den Cayman Islands ausgeschieden und der steuerbare Reingewinn der X._ Finanz AG für die Steuerperioden 2005 und 2006 auf Fr. 0.-- festgelegt. Eine dagegen von der ESTV erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug, Abgaberechtliche Kammer, mit Urteil vom 21. Juli 2011 ab. Es bejahte einerseits den Betriebsstättencharakter der Einrichtungen auf den Cayman Islands und erblickte in der gewählten Rechtsgestaltung keine Steuerumgehung; nicht geprüft hat die Vorinstanz die Frage, ob sich die Beschwerdegegnerin gestützt auf das "Ruling" auf den Vertrauensschutz berufen konnte.
C.
Am 12. September 2011 hat die ESTV Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Sie beantragt, das Urteil des Verwaltungsgerichts des Kantons Zug vom 21. Juli 2011 sei aufzuheben. Weiter sei die X._ Finanz AG für die direkte Bundessteuer in der Steuerperiode 2005 mit einem Gewinn von Fr. 8'643'000.-- und in der Steuerperiode 2006 mit einem Gewinn von Fr. 9'468'300.-- zu veranlagen; eine internationale Steuerausscheidung sei zu unterlassen.
D.
Das Verwaltungsgericht des Kantons Zug beantragt, die Beschwerde sei abzuweisen, während die kantonale Steuerverwaltung auf eine Vernehmlassung verzichtet. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Für den Fall einer Gutheissung sei die Sache zwecks Vervollständigung der Akten an die Vorinstanz zurückzuweisen.
Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 5. Oktober 2012 an einer öffentlichen Sitzung beraten.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid betreffend die direkte Bundessteuer. Dagegen steht gemäss Art. 82 ff. BGG in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf die form- und fristgerecht eingereichte Beschwerde der gemäss Art. 89 Abs. 2 lit. a BGG in Verbindung mit Art. 146 DBG zur Beschwerde an das Bundesgericht legitimierten Eidgenössischen Steuerverwaltung (ESTV) ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
1.3. Heisst das Bundesgericht die Beschwerde gut, so entscheidet es gemäss Art. 107 Abs. 2 BGG in der Sache selbst oder weist diese zu neuer Beurteilung an die Vorinstanz zurück. Es kann die Sache auch an die Behörde zurückweisen, die als erste Instanz entschieden hat. Das Bundesgericht hebt den angefochtenen Entscheid auf und weist die Sache zurück, wenn es aus vorab tatsächlichen, seltener rechtlichen Gründen, nicht in der Lage ist, ein abschliessendes Urteil in der Sache zu sprechen und die blosse Kassation zur Erledigung des Streits nicht ausreicht. Diese Rückweisung kommt vor allem dann in Frage, wenn die tatsächliche Beurteilungsgrundlage fehlt, die Vorinstanz demnach den rechtserheblichen Sachverhalt offensichtlich unrichtig, unvollständig oder in Begehung einer Bundesrechtsverletzung festgestellt hat, ohne dass das Bundesgericht selber zur Vervollständigung des Sachverhalts schreitet (Urteil 2C_752/2010 vom 17. Dezember 2011 E. 1.2).
2.
Vorliegend ist strittig, ob die Beschwerdegegnerin auf den Cayman Islands in der vorliegend relevanten Steuerperiode eine Betriebsstätte unterhalten hat. Während die Beschwerdegegnerin eine solche behauptet und die Vorinstanz diese Auffassung geschützt hat, ist die Beschwerdeführerin der Ansicht, es fehle an den notwendigen Voraussetzungen für die Annahme einer Betriebsstätte.
2.1. Zwischen der Schweiz und den Cayman Islands, die seit 1962 eine selbständige britische Kolonie bilden, besteht kein Doppelbesteuerungsabkommen (DBA) : Das Abkommen zwischen der Schweizerischen Eidgenossenschaft und dem Vereinigten Königreich von Grossbritannien und Nordirland zur Vermeidung der Doppelbesteuerung auf dem Gebiete der Steuern vom Einkommen vom 30. September 1954 (SR 0.672.936.711) ist gemäss diversen Notenwechseln zwar auf überseeische Gebiete ausgedehnt worden, für die es gemäss Art. 28 Abs. 6 des Doppelbesteuerungsabkommens vom 8. Dezember 1977 mit Grossbritannien (SR 0.672.936.712) weiter gilt. Keine derartige Ausdehnung erfolgte jedoch in Bezug auf die Cayman Islands (vgl. BBl 1978 I S. 222).
Das Doppelbesteuerungsverbot der Bundesverfassung (Art. 127 Abs. 3 BV) bezieht sich sodann auf interkantonale und nicht auf internationale Verhältnisse (vgl. Urteil 2P.92/1999 vom 15. März 2000 E. 3a). Der vorliegende Fall, in dem es ausschliesslich um die unbeschränkte Steuerpflicht und den Umfang der Besteuerung einer juristischen Person zufolge persönlicher Zugehörigkeit im internationalen Verhältnis geht, ist daher bloss nach den (internen) Vorschriften der Steuergesetzgebung des Bundes zu beurteilen.
2.2. Das Bundesgesetz über die direkte Bundessteuer regelt die Besteuerung der juristischen Personen im dritten Teil. Dessen erster Titel befasst sich einerseits mit der "Steuerlichen Zugehörigkeit" - in Art. 50 und 51 DBG - und andererseits mit dem "Umfang der Steuerpflicht" in Art. 52 DBG. Aufgrund persönlicher Zugehörigkeit steuerpflichtig ist eine juristische Person, wenn sich ihr Sitz oder ihre tatsächliche Verwaltung in der Schweiz befindet (Art. 50 DBG; sog. Hauptsteuerdomizil). Lediglich aufgrund wirtschaftlicher Zugehörigkeit steuerpflichtig ist eine juristische Person dagegen u.a., wenn sie in der Schweiz eine Betriebsstätte unterhält (Art. 51 Abs. 1 lit. b DBG; sog. Nebensteuerdomizil). Art. 52 DBG regelt sodann, was der Umfang der Steuerpflicht ist, sofern eine solche in der Schweiz besteht: Dabei hält Abs. 1 der Bestimmung für den Fall der persönlichen Zugehörigkeit nach Art. 50 DBG fest, dass die Steuerpflicht grundsätzlich unbeschränkt ist, wobei jedoch u.a. der Gewinn ausgenommen ist, welcher einer Betriebsstätte im Ausland zuzuordnen ist. Nach Abs. 2 der Bestimmung beschränkt sich die Steuerpflicht bei wirtschaftlicher Zugehörigkeit nach Art. 51 DBG auf den Gewinn, für den nach Art. 51 DBG eine Steuerpflicht in der Schweiz besteht, also beispielsweise auf den Gewinn aus einer Betriebsstätte. Als Betriebsstätte gilt gemäss Art. 51 Abs. 2 DBG eine feste Geschäftseinrichtung, in der die Geschäftstätigkeit eines Unternehmens ganz oder teilweise ausgeübt wird. Betriebsstätten sind insbesondere Zweigniederlassungen, Fabrikationsstätten, Werkstätten, Verkaufsstellen, ständige Vertretungen, Bergwerke und andere Stätten der Ausbeutung von Bodenschätzen sowie Bau- oder Montagestellen von mindestens zwölf Monaten Dauer.
2.3. Im vorliegenden Fall ist unbestritten, dass die Beschwerdegegnerin gestützt auf Art. 50 DBG in Verbindung mit Art. 52 Abs. 1 DBG aufgrund ihres Sitzes in der Schweiz unbeschränkt steuerpflichtig ist. Am Ort der unbeschränkten Steuerpflicht unterliegt grundsätzlich das weltweite Einkommen des Steuerpflichtigen der Besteuerung durch die Gebietshoheit (Athanas/Giglio, in: Kommentar zum Schweizerischen Steuerrecht, Bundesgesetz über die direkte Bundessteuer, Band I/2a, 2. Aufl. 2008, Art. 52 DBG N. 5 mit Verweis auf Art. 6 DBG N. 5). Umstritten ist hingegen, ob ein Teil dieses Gesamteinkommens einem Nebensteuerdomizil im Ausland zuzuordnen ist. Mit anderen Worten ist zu prüfen, ob die Beschwerdegegnerin auf den Cayman Islands über eine Betriebsstätte im Ausland verfügt.
Die Vorinstanz hat die Existenz einer solchen Betriebsstätte gestützt auf die Betriebsstättendefinition in Art. 51 Abs. 2 DBG bejaht. Demgegenüber vertritt die Beschwerdeführerin die Meinung, für den Nachweis einer Betriebsstätte im Ausland sei gemäss Art. 52 Abs. 3 DBG auf die Grundsätze des Bundesrechts über das Verbot der interkantonalen Doppelbesteuerung abzustellen. Sie begründet diese Auffassung damit, im DBG fehle betreffend juristische Personen mit unbeschränkter Steuerpflicht eine Definition der Betriebsstätte im Ausland. Gestützt auf die Betriebsstättenkriterien nach der bundesgerichtlichen Rechtsprechung zur interkantonalen Doppelbesteuerung gelangt sie zum Ergebnis, die Betriebsstättenqualität des Betriebsteils auf den Cayman Islands sei zu verneinen, werde doch dort nicht ein quantitativ und qualitativ notwendiger Teil der Geschäftstätigkeit abgewickelt. Umstritten ist damit vorab, ob die Betriebsstätte unterschiedlich definiert ist, je nachdem ob es sich um eine Betriebsstätte eines ausländischen Unternehmens im Inland oder eine Betriebsstätte eines inländischen Unternehmens im Ausland handelt und inwieweit der Betriebsstättenbegriff allenfalls unterschiedlich zu verstehen ist.
2.4. Im Folgenden sind somit die einschlägigen Normen des Bundesrechts auszulegen. Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Ordnung zu unterstellen. Die Gesetzesmaterialien können beigezogen werden, wenn sie auf die streitige Frage eine klare Antwort geben (<ref-ruling> E. 6.6.2.1 S. 37; <ref-ruling> E. 7.1 S. 203; <ref-ruling> E. 5.1 S. 53; <ref-ruling> E. 5.2 S. 311).
2.4.1. Vorab ist festzustellen, dass das DBG die Betriebsstätte juristischer Personen lediglich in einer Bestimmung definiert, nämlich wie bereits erwähnt in Art. 51 Abs. 2 DBG. Entgegen der Ansicht der Beschwerdeführerin lässt sich demgegenüber aus Art. 52 Abs. 3 DBG kein Hinweis auf die Definition der Betriebsstätte entnehmen. Diese Bestimmung regelt vielmehr unter der Marginalie "Umfang der Steuerpflicht", wie die Steuerausscheidung zwischen mehreren Steuerdomizilen vorzunehmen ist. Sie nimmt dabei sowohl auf die in Abs. 1 des Artikels geregelte unbeschränkte Steuerpflicht aufgrund persönlicher Zugehörigkeit Bezug, wie auch auf die in Abs. 2 des Artikels geregelte beschränkte Steuerpflicht aufgrund wirtschaftlicher Zugehörigkeit. Für beide Arten der Steuerpflicht bestimmt sie, dass die Abgrenzung der Steuerpflicht für Geschäftsbetriebe, Betriebsstätten und Grundstücke im Verhältnis zum Ausland nach den Grundsätzen des Bundesrechts über das Verbot der interkantonalen Doppelbesteuerung erfolgt (vgl. diesbezüglich auch die Ausführungen des Bundesrates in der Botschaft vom 25. Mai 1983 über die Steuerharmonisierung zu Art. 6 DBG in BBl 1983 III 157: "Diese Bestimmung umschreibt den sachlichen Umfang der Steuerpflicht bei unbeschränkter und bei beschränkter Steuerpflicht. Dabei wird in Absatz 3 zur Abgrenzung der Steuerpflicht für geschäftliche Betriebe, Betriebsstätten und Grundstücke im Verhältnis zum Ausland auf die Grundsätze des interkantonalen Doppelbesteuerungsrechtes verwiesen."). Bereits daraus ergibt sich, dass dieser Bestimmung keine Regelung für nur gerade einer der beiden möglichen Sachverhaltssituationen, d.h. eine ausländische Betriebsstätte einer inländischen juristischen Person, entnommen werden kann. Hinzu kommt, dass die Interpretation von Art. 52 Abs. 3 DBG durch die Beschwerdeführerin auch die Systematik der gesetzlichen Regelungen missachtet. Das Gesetz definiert zuerst die Begriffe der persönlichen und wirtschaftlichen Zugehörigkeit und danach den sich daraus ergebenden Umfang der Steuerpflicht. Erst als Drittes erfolgt sodann die Bestimmung, wie die Abgrenzung der Steuerpflicht für verschiedene Nebensteuerdomizile, d.h. die Vornahme der Steuerausscheidung, im Verhältnis zum Ausland erfolgen soll.
2.4.2. Die Beschwerdeführerin erachtet die Bezugnahme auf Art. 52 Abs. 3 DBG wie erwähnt als erforderlich, weil es an einer Definition der Betriebsstätte für den vorliegend relevanten Fall einer Unternehmung im Inland mit (behaupteter) Betriebsstätte im Ausland im Gesetz fehle. Sie begründet dies damit, die Betriebsstättendefinition sei in Abs. 2 des Art. 51 DBG enthalten, welcher die Marginalie "Wirtschaftliche Zugehörigkeit" trägt. Sie schliesst daraus, diese Definition könne sich lediglich auf die Situation beziehen, bei der es um eine Schweizer Geschäftseinrichtung einer ausländischen Unternehmung gehe.
Dieser Auffassung kann nicht gefolgt werden. Abgesehen von der systematischen Einordnung der Begriffsumschreibung sind keinerlei Anhaltspunkte dafür ersichtlich, dass der Gesetzgeber den Begriff der Betriebsstätte unterschiedlich festlegen wollte, je nachdem ob sich die Betriebsstätte im In- oder Ausland befindet. Den Materialien lässt sich nichts Derartiges entnehmen. Im Gegenteil weisen die bereits zitierten Ausführungen des Bundesrates zur Steuerausscheidung darauf hin, dass von einem einheitlichen Begriff auszugehen ist. In diesem Zusammenhang erscheint es als relevant, dass der Bundesratsbeschluss über die Erhebung der direkten Bundessteuer vom 9. Dezember 1940 (BdBSt) noch einen eigenen Artikel 6 kannte, welcher die Betriebsstätte definierte. Diese Definition galt in identischer Weise für die nach Art. 3 Ziff. 2 BdBSt unbeschränkt steuerpflichtigen juristischen Personen, wie für die nach Ziff. 3 dieser Bestimmung beschränkt steuerpflichtigen Personen (vgl. Ernst Känzig, Die eidgenössische Wehrsteuer, I. Teil, 2. Aufl. 1983, N. 1 zu Art. 6: "Der Begriff der "Betriebsstätte" ist im Rahmen des Wehrsteuerrechts stets in gleicher Weise zu verstehen, handle es sich um die Feststellung der Inlandsfaktoren ausländischer oder um die Feststellung der Auslandsfaktoren inländischer Stpfl."). Mangels jeglicher diesbezüglicher Anhaltspunkte ist nicht anzunehmen, dass der Gesetzgeber beabsichtigte, in dieser Frage etwas zu ändern und neu zu unterscheiden zwischen inländischen und ausländischen Betriebsstätten. Vielmehr ist mit der überwiegenden Lehre festzustellen, dass die gesetzliche Einordnung des Betriebsstättenbegriffes unter Art. 51 DBG (wirtschaftliche Zugehörigkeit) zwar unglücklich gewählt wurde, sich daraus jedoch keinerlei weitergehende Schlüsse ziehen lassen (vgl. Athanas/Giglio, a.a.O., Art. 51 DBG N. 27; Peter Locher, Kommentar zum DBG, I. Teil, 2001, Art. 52 DBG N. 11; Jean-Blaise Paschoud, in: Commentaire Romand, Impôt fédéral direct, 2008, Art. 4 DBG N. 6 und Art. 6 DBG N. 8; Peter Brülisauer, Gewinnabgrenzung zwischen Stammhaus und Betriebsstätte im internationalen Steuerrecht der Schweiz, 2006, S. 12.; Stefan G. Widmer, Die Betriebsstättebegründung des Principals nach der allgemeinen Betriebsstättedefinition, IFF Forum für Steuerrecht 2005, S. 95; Stefan G. Widmer, Die Vertreterbetriebsstätte im internationalen Steuerrecht der Schweiz, ASA 72 S. 100; im Ergebnis gleich, indem nicht zwischen Betriebsstätten im In- und Ausland unterschieden wird: Xavier Oberson, Précis de droit fiscal international, 3. Aufl. 2009, N. 399; Stefan Widmer, Is there a permanent establishment?, Branch report Switzerland, in: cahiers de droit fiscal international, Vol. 94a 2009, S. 632; Peter Brülisauer, Gewinnabgrenzung bei Betriebsstätten, ASA 75 S. 337 ff., insb. S. 340; Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2. Aufl. 2009, N. 8 zu Art. 6 DBG; abweichend: Daniel de Vries Reilingh, Le droit fiscal intercantonal et le droit fiscal international de la Suisse, 2011, S. 119 f.).
2.4.3. Zusammenfassend ist damit festzuhalten, dass grundsätzlich von einem einheitlichen Begriff der Betriebsstätte auszugehen ist, sowohl was die Betriebsstätte einer ausländischen Unternehmung in der Schweiz betrifft, wie auch den umgekehrten Fall der ausländischen Betriebsstätte einer schweizerischen Unternehmung. Diese Sichtweise liegt im Übrigen auch der neuesten bundesrechtlichen Gesetzgebung im Steuerbereich, dem Mehrwertsteuergesetz vom 12. Juni 2009 (MWSTG; SR 641.20) zugrunde. Dieses bestimmt beispielsweise als einen Ort der Leistung die Betriebsstätte (für Lieferungen Art. 7 Abs. 2 MWSTG, für Dienstleistungen Art. 8 Abs. 1 MWSTG), ohne dabei zwischen Betriebsstätten im Inland und solchen im Ausland zu differenzieren (vgl. dazu auch Baumgartner/Clavadetscher/Kocher, Vom alten zum neuen Mehrwertsteuergesetz, 2010, § 3 Rz. 12 f.). Obwohl das Mehrwertsteuergesetz den Begriff der Betriebsstätte mehrfach verwendet, enthält das Gesetz selber keine Legaldefinition. Diese findet sich jedoch im 1. Titel der allgemeinen Bestimmungen in Art. 5 der Mehrwertsteuerverordnung vom 27. November 2009 (MWSTV; SR 641.201) und entspricht weitestgehend derjenigen in Art. 51 Abs. 2 DBG (abgesehen von wenigen, vorliegend nicht relevanten Ausdehnungen und Abgrenzungen, die sich aus dem abweichenden Charakter der Mehrwertsteuer als Umsatzsteuer ergeben).
3.
3.1. Art. 51 Abs. 2 Satz 1 DBG definiert die Betriebsstätte als eine feste Geschäftseinrichtung, in der die Geschäftstätigkeit eines Unternehmens ganz oder teilweise ausgeübt wird.
3.1.1. Als feste Geschäftseinrichtungen gelten Anlagen oder Einrichtungen, in denen ständig oder doch wenigstens während einer gewissen Zeit die Tätigkeit eines Unternehmens ausgeübt wird (vgl. Urteile 2A.119/2007 vom 13. August 2007 E. 3.1 und 2A.409/1997 vom 12. November 1999 E. 2c).
Das Kriterium der festen Geschäftseinrichtung wird von der ESTV zu Recht nicht in Frage gestellt: Die Vorinstanz hat dazu verbindlich festgestellt, dass die Beschwerdegegnerin auf den Cayman Islands in den Jahren 2005 und 2006 Büroräumlichkeiten gemietet und mit vier Teilzeitangestellten eine Organisation betrieben hat (vgl. angefochtener Entscheid E. 4a). Damit hat die Beschwerdegegnerin die Existenz einer ständigen körperlichen Anlage oder Einrichtung beweismässig genügend dargetan.
3.1.2. Umstritten ist dagegen, ob die Beschwerdegegnerin in diesen Einrichtungen teilweise ihre Geschäftstätigkeit, im Sinne der in Art. 51 Abs. 2 DBG definierten Regelung, ausgeübt hat.
Im Gegensatz zum BdBSt stellt die Betriebsstättenumschreibung in Art. 51 Abs. 2 DBG keine Anfordernisse (mehr) an die qualitative oder quantitative Erheblichkeit der in der festen Einrichtung ausgeübten Tätigkeit. Unter der Wendung "in der die Geschäftstätigkeit [...] ganz oder teilweise ausgeübt wird" lassen sich grundsätzlich sämtliche mit der Erfüllung des statutarischen Zweckes im weitesten Sinn in Zusammenhang stehende Aktivitäten subsumieren ungeachtet ihrer Bedeutung innerhalb der Gesamtunternehmung. In dieser Hinsicht geht der Betriebsstättenbegriff des DBG in Art. 51 Abs. 2 über denjenigen des alten Bundessteuerrechts bzw. des interkantonalen Rechts hinaus (Athanas/Giglio, a.a.O., Art. 51 DBG N. 36; Daniel de Vries Reilingh, in: Kommentar zum Schweizerischen Steuerrecht, Interkantonales Steuerrecht, 2011, § 11 N. 42). Indessen ist bei der Auslegung dieser unbestimmten Begriffe zu beachten, welche Funktion der unilateralen Regelung im Schweizer Steuerrecht zukommt: Soweit es um die Definition einer Betriebsstätte einer ausländischen Unternehmung in der Schweiz geht, soll geregelt werden, wann und in welchem Umfange die Schweiz einen Teil des Betriebsergebnisses zur Besteuerung heranziehen darf. Umgekehrt geht es bei der Definition einer ausländischen Betriebsstätte einer Schweizer Unternehmung darum festzulegen, wann und in welchem Umfange das Betriebsergebnis einer Schweizer Unternehmung hier von der Besteuerung ausgenommen werden muss. Diese unterschiedlichen Zielsetzungen der unilateralen Regelung sind insbesondere auch im Zusammenhang mit den doppelbesteuerungsrechtlichen Regelungen zu beachten, die sich - wenn auch nicht im vorliegenden Fall, jedoch sehr häufig - aufgrund der Zuweisung von Besteuerungsbefugnissen durch Doppelbesteuerungsabkommen ergeben. Daraus ergibt sich, dass die unilateralen Regelungen, mit denen einseitig eine Doppelbesteuerung vermieden werden soll, tendenziell eher zugunsten des Besteuerungsrechts der Schweiz auszulegen sind, greift doch bei einer zu starken Ausdehnung dieses Besteuerungsrechts im Allgemeinen - d.h. soweit ein Abkommen Anwendung findet - die abkommensrechtliche Regelung korrigierend ein (vgl. de Vries Reilingh, a.a.O., S. 120). Die sich daraus ergebende Differenzierung, je nachdem ob das Vorliegen einer Betriebsstätte im Inland oder einer solchen im Ausland zu beurteilen ist, ergibt sich demnach aus teleologischen Überlegungen: Es soll mit unilateralen Massnahmen zwar eine Regelung getroffen werden, welche die Gefahr einer doppelten Besteuerung vermindert, dabei soll jedoch nach Möglichkeit verhindert werden, dass aufgrund dieser Regelung eine doppelte Nichtbesteuerung resultiert, wird doch Letzteres durch bilaterale Doppelbesteuerungsabkommen, denen keineswegs allgemein der Gedanke zugrunde liegt, doppelte Nichtbesteuerung zu vermeiden, höchstens in bestimmten Konstellationen ausgeschlossen (vgl. Michael Lang, Double non-taxation, Generalbericht, in: cahier de droit fiscal international, Vol 89a 2004). In Bezug auf die Betriebsstättendefinition ergibt sich daraus, dass für Betriebsstätten im Ausland die Anforderungen etwas höher gesteckt werden dürfen als für Betriebsstätten in der Schweiz. Betriebsstätten im Ausland sind daher in zweifelhaften Fällen aufgrund der unbeschränkten Steuerpflicht in der Schweiz tendenziell der Steuerpflicht in der Schweiz zu unterwerfen und einer allenfalls drohenden Doppelbesteuerung ist in solchen Fällen mittels Heranziehung entsprechender DBA entgegenzutreten, soweit solche bestehen.
3.2. Näher zu prüfen ist unter den ausgeführten Prämissen damit die Qualifikation der Geschäftstätigkeit auf den Cayman Islands, d.h. die Frage, ob sich in der Betriebsstätte ein steuerlich relevanter Teil des Betriebs vollzieht (vgl. allgemein zur Problematik der Art der Aktivität auch "OECD Model Tax Convention on Income and on Capital 2010, R [19]. Issues arising under Article 5 [permanent establishment] of the Model Tax Convention, Issue 2.5: Active v. passive activity"). Die Vorinstanz hat dies - unter Bezugnahme auf die Richtlinie "Niederländische Finanzgesellschaften mit schweizerischer Betriebsstätte" der ESTV aus dem Jahre 1991 - bejaht (vgl. angefochtener Entscheid E. 4b-4g). In Bezug auf quantitative Kriterien führte die Vorinstanz aus, anhand der Jahresabschlüsse 2005 und 2006 zeige sich, dass nahezu sämtliche Bilanzposten Darlehen betreffen würden. Unter den Aktiven und Passiven erschienen im Wesentlichen Darlehen an Schwestergesellschaften innerhalb der X._-Gruppe bzw. von der X._ Holding AG. In der Erfolgsrechnung setzten sich die Erträge ausschliesslich aus Zinseinnahmen zusammen und beim Aufwand stelle der Zinsaufwand den mit Abstand grössten Posten dar (vgl. angefochtener Entscheid E. 4e). Die Vorinstanz hat auch eine qualitative Wesentlichkeit der Geschäftstätigkeit bejaht: Die Beschwerdegegnerin habe die Darlehensvergabe, das Aushandeln von Vertragsbedingungen betreffend Höhe, Laufzeit und Verzinsung, die Überwachung, die Buchführung und das Inkasso auf die Cayman Islands ausgelagert. An ihrem Sitz in A._/ZG verfüge sie hingegen weder über Personal noch über eine Infrastruktur. Die Beschwerdegegnerin habe damit ihre Geschäftstätigkeit vollständig auf die Cayman Islands ausgelagert und die gesamte Wertschöpfung finde auf den Cayman Islands statt (vgl. angefochtener Entscheid E. 4f und g). Diese Ausführungen der Vorinstanz im angefochtenen Entscheid vermögen bei näherer Betrachtung nicht zu überzeugen:
3.2.1. Zwar ist festzuhalten, dass die Finanzierungstätigkeit in einem international tätigen Konzern grundsätzlich ohne Weiteres auch im Rahmen einer ausländischen Betriebsstätte wahrgenommen werden kann und häufig die Konzerngestaltung auch entsprechend vorgenommen wird. Im Grundsatz ist sodann von der Gestaltungsfreiheit der steuerpflichtigen Person auszugehen. Sind die Schranken, bei deren Überschreiten die Steuerbehörde zwingend einschreiten muss, nicht klarerweise tangiert, bleibt es dabei, dass die Steuerbehörde ihr eigenes Ermessen nicht an die Stelle jenes des Geschäftsführers zu setzen hat. Dementsprechend darf auch das Gericht nur mit Zurückhaltung in den erheblichen Ermessensspielraum eingreifen, der dem Unternehmen zukommt (vgl. Urteile 2C_272/2011 vom 5. Dezember 2011 E. 3.2.3 und 2A.71/2004 vom 4. Februar 2005 E. 2).
Vorliegend stellt sich die Sachlage jedoch so dar, dass die Tätigkeit der Beschwerdegegnerin in den Steuerperioden 2005 und 2006 in der Gewährung von konzerninternen Darlehen für die Gruppengesellschaften des rein schweizerischen Konzerns bestand. Sie beschäftigte dazu in den Steuerperioden 2005 und 2006 jedoch bloss vier Teilzeitmitarbeitende mit Arbeitspensen von je 20%, welche mit pauschalen Jahressalären zwischen $ 10'000.-- (drei Mitarbeitende) und $ 20'000.-- (ein Mitarbeitender) entschädigt wurden. Gemäss den Arbeitsverträgen war es diesen Mitarbeitenden zudem ausdrücklich erlaubt, anderen Erwerbstätigkeiten nachzugehen. Diese schlanken Strukturen stehen damit in deutlichem Kontrast zu den Zahlen in den Jahresabschlüssen der "Cayman-Branch": So betrug die Bilanzsumme Fr. 365'944'497.28 (Ende 2005) bzw. Fr. 520'394'471.36 (Ende 2006). Unter den Aktiven erscheinen Darlehen an die Schwestergesellschaften der X._-Gruppe in der Höhe von rund Fr. 497'000'000.-- (Ende 2005) bzw. rund Fr. 647'000'000.-- (Ende 2006). Die Erträge setzen sich ausschliesslich aus Zinseinnahmen zusammen (2005: rund Fr. 16'000'000.--; 2006: rund Fr. 18'000'000.--). Damit steht wohl fest, dass die Beschwerdegegnerin Darlehen in beträchtlicher Höhe an ihre Schwestergesellschaften in der Schweiz gewährt hat; unklar bleibt letztlich aber, was die auf den Cayman Islands vorhandenen Einrichtungen im Einzelnen konkret zur Wertschöpfung beigetragen haben.
3.2.2. Nichts zu ihren Gunsten kann die Beschwerdegegnerin sodann aus dem Umstand ableiten, dass sie an ihrem Hauptsitz in der Schweiz kein Personal beschäftigt: Einerseits ist vorliegend ausschliesslich zu prüfen, ob die behauptete Betriebsstätte auf den Cayman Islands steuerlich anzuerkennen ist, und steht die Beurteilung der Tätigkeit der Beschwerdeführerin in der Schweiz nicht zur Diskussion. Andererseits genügt es für die Begründung der unbeschränkten Steuerpflicht in der Schweiz schon, wenn nur der statutarische Sitz in der Schweiz liegt, ohne dass gleichzeitig Verwaltungs- oder andere Geschäftsaktivitäten an diesem Ort stattfinden müssen ( RICHNER/FREI/ KAUFMANN/MEUTER, a.a.O., N. 7 zu Art. 50 DBG). Damit kommt dem von der Beschwerdegegnerin angestellten Vergleich der Tätigkeiten in der Schweiz und auf den Cayman Islands keine entscheidende Bedeutung zu. Die Argumentation der Beschwerdegegnerin würde - wie die ESTV zu Recht ins Feld führt - im Ergebnis dazu führen, dass eine Ansiedlung von völlig nebensächlichen Funktionen in Niedrigsteuerländern eine vollumfängliche Steuerausscheidung zu Lasten der Schweiz und damit einhergehend eine weitgehende Freistellung von jeglicher Gewinnbesteuerung in der Schweiz bewirken würde, was kaum der Absicht des Gesetzgebers entsprochen haben dürfte.
3.2.3. Zusammenfassend ist festzustellen, dass es vorliegend den Aktivitäten auf den Cayman Islands an der hinreichenden Substanz fehlt und sie damit das Kriterium der Ausübung einer Geschäftstätigkeit einer Schweizer Unternehmung in einer ausländischen Betriebsstätte nicht erfüllen. Damit hat die Beschwerdegegnerin insgesamt beweismässig nicht genügend darlegen können, dass ihre angebliche Betriebsstätte auf den Cayman Islands eine relevante Geschäftstätigkeit entfaltet. Entgegen der Auffassung der Beschwerdegegnerin liegt damit aber keine konzernrechtliche Betrachtungsweise vor, denn es geht hier nicht darum, mit einem sog. Durchgriff die Erträge der ausländischen Betriebsstätte der Konzernspitze zurechnen zu wollen.
4.
4.1. Als erstes Ergebnis steht somit fest, dass die Beschwerdegegnerin die Existenz einer Betriebsstätte auf den Cayman Islands im Sinne von Art. 52 Abs. 1 DBG beweismässig nicht genügend dargetan hat. Damit sind die in den Steuerperioden 2005 und 2006 erwirtschafteten Gewinne - die in ihrer Höhe von keiner Seite bestritten worden sind (vgl. angefochtener Entscheid E. 3) - im Rahmen der direkten Bundessteuer grundsätzlich vollständig in der Schweiz zu versteuern.
4.2. Bei diesem Ergebnis kann somit auf eine Überprüfung des vorliegenden Sachverhalts unter dem Aspekt der Steuerumgehung (vgl. angefochtener Entscheid E. 5 bzw. Beschwerdeschrift Ziff. 3) verzichtet werden.
4.3. Näher zu prüfen bleibt jedoch, ob sich die Beschwerdegegnerin aufgrund des "Rulings" vom August 1999 mit der Steuerverwaltung des Kantons Zug auf den Vertrauensschutz berufen kann.
4.3.1. Die ESTV stellt sich auf den Standpunkt, das "Ruling" sei nicht korrekt umgesetzt worden, weshalb sich die Beschwerdegegnerin weder für die Steuerperiode 2005 noch für die Steuerperiode 2006 auf den Vertrauensschutz berufen könne (vgl. Beschwerdeschrift Ziff. 4). Die Beschwerdegegnerin führt dagegen aus, zwischen 1999 und 2004 seien die Betriebsstätte anerkannt und die Gewinne entsprechend verlegt worden. Es sei unverständlich, im Februar 2005 eine bestehende Zusage ab Beginn des Jahres 2005 aufheben zu wollen. Der Vertrauensschutz müsse eine angemessene Anpassungsfrist inklusive Kündigungsmöglichkeit von Mitarbeitenden und Möglichkeit der Überführung in eine den neuen steuerlichen Rahmenbedingungen entsprechenden Organisationsstruktur beinhalten (vgl. Stellungnahme der Beschwerdegegnerin Ziff. 51 ff.).
4.3.2. Die Vorinstanz hat im angefochtenen Entscheid - aufgrund der Abweisung der Beschwerde - auf die Prüfung einer allfälligen Bindungswirkung des "Rulings" gänzlich verzichtet (vgl. angefochtener Entscheid E. 6). Insbesondere hat sie sich nicht mit der Frage der Bindung der ESTV an Steuerrulings der kantonalen Steuerverwaltung (vgl. dazu Schreiber/Jaun/Kobierski, Steuerruling - Eine systematische Auslegeordnung unter Berücksichtigung der Praxis, ASA 80 S. 330 ff.) befasst. So ist etwa unklar, ob die ESTV für die Erteilung der Steuerauskunft miteinbezogen worden ist, was eine direkte Wirkung des Vertrauensschutzes des Steuerpflichtigen auch gegenüber der ESTV entfalten würde (Schreiber/Jaun/Kobierski, a.a.O., S. 331). Aus den Akten ergibt sich einzig, dass das Steuerruling von der kantonalen Steuerverwaltung genehmigt und unterzeichnet worden ist, soweit ersichtlich jedoch nicht von der ESTV.
Mit anderen Worten liegt bezüglich der Geltendmachung des Vertrauensschutzes bzw. der Frage der Bindungswirkung des "Rulings" vom August 1999 eine unvollständige Sachverhaltsfeststellung durch die Vorinstanz vor (vgl. E. 1.3 hiervor), weshalb die Sache - wie von der Beschwerdegegnerin beantragt (vgl. Stellungnahme Ziff. 10) - an die Vorinstanz zur näheren sachverhaltlichen Abklärung und Prüfung zurückzuweisen ist. Falls die ESTV in Bezug auf das Ruling einbezogen worden ist, wäre insbesondere zu prüfen, ob die rückwirkende Aufhebung des Rulings per 1. Januar 2005 nicht gegen den Grundsatz von Treu und Glauben verstösst. Die Vorinstanz wird konkret untersuchen müssen, ab welchem Stichtag die Aufhebung des Rulings durch die ESTV Wirkung entfalten kann.
Auf die von der Beschwerdegegnerin ebenfalls beantragte Einholung eines Amtsberichts zum Thema Behandlung von Finanzbetriebsstätten in der Schweiz kann die Vorinstanz hingegen angesichts des Ausgangs des Verfahrens vor dem Bundesgericht verzichten.
5.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich demnach als begründet. Sie ist gutzuheissen und das angefochtene Urteil aufzuheben. Die Sache ist zur weiteren Abklärung und Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zug vom 21. Juli 2011 aufgehoben. Die Sache wird zur weiteren Abklärung und Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zug zurückgewiesen.
2.
Die Gerichtskosten von Fr. 10'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, der Steuerverwaltung und dem Verwaltungsgericht des Kantons Zug, Abgaberechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 5. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger