Sachverhalt:
A.
Am 14. September 2007 reichte A._ seine Steuererklärung 2005 mit einem steuerbaren Einkommen und einem steuerbaren Vermögen von je Fr. 0.-- ein.
B.
Dagegen nahm die Steuerverwaltung des Kantons Graubünden beträchtliche Aufrechnungen beim steuerbaren Einkommen (direkte Bundessteuer und Kantons- sowie Gemeindesteuern) sowie beim steuerbaren Vermögen (Staatssteuer) vor. Diese Aufrechnungen gingen auf Untersuchungen und Abklärungen der Abteilung Strafsachen und Untersuchungen (ASU) der Eidgenössischen Steuerverwaltung zurück. Am 19. Mai 2010 hatte der Vorsteher des Eidgenössischen Finanzdepartements (EFD) der Eidgenössischen Steuerverwaltung auf deren Antrag die Ermächtigung zur Durchführung einer besonderen Steueruntersuchung nach <ref-law> gegen A._, B._ sowie gegen drei Kapitalgesellschaften, an denen die beiden indirekt über weitere Kapitalgesellschaften beteiligt waren, gegeben. In ihrem abschliessenden Bericht vom 9. Mai 2014 kam die ASU zum Schluss, dass A._ in den Jahren 2003 - 2008 in grossem Umfang steuerbare Einkünfte und Vermögen nicht deklariert habe.
C.
Mit Einspracheentscheiden vom 22. Januar 2019 nahm die kantonale Steuerverwaltung gegenüber A._ für die Periode 2005 beim steuerbaren Einkommen Aufrechnungen von Fr. 105'033'984.-- (Bund) bzw. Fr. 105'031'584.-- (Kanton und Gemeinde) vor. Beim steuerbaren Vermögen beliefen sich die Aufrechnungen auf Fr. 102'180'900.--. Mit Urteil vom 16. Dezember 2019 bestätigte das Verwaltungsgericht des Kantons Graubünden all diese Aufrechnungen auf Beschwerde von A._ hin.
D.
Am 31. Januar 2020 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, in Gutheissung der Beschwerde sowie Aufhebung des angefochtenen Urteils von jeglicher Aufrechnung (sei es nun beim steuerbaren Einkommen oder beim steuerbaren Vermögen) abzusehen und die steuerliche Bemessungsgrundlage in beiderlei Hinsicht auf Null festzusetzen. Eventualiter seien die sich aus <ref-ruling> ergebenden Steuerschulden für die Periode 2003 von der Vermögensbemessungsgrundlage 2005 in Abzug zu bringen. Subeventualiter sei das verwaltungsgerichtliche Urteil aufzuheben und die Sache zur Gewährung des rechtlichen Gehörs sowie Vervollständigung des Sachverhalts an die Vorinstanz zurückzuweisen.
E.
Die kantonale Steuerverwaltung schliesst auf Abweisung des Haupt- und Subeventualantrags, dagegen auf Gutheissung des Eventualantrags. Zudem ersucht sie das Bundesgericht, neben den Steuerfaktoren auch die jeweiligen Steuerbeträge für Bund, Kanton und Stadt Chur festzulegen. Das Verwaltungsgericht des Kantons Graubünden beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
F.
Mit Replik vom 27. April 2020 hat der Beschwerdeführer an seinen Rechtsbegehren festgehalten, ebenso wie mit zwei weiteren, unaufgefordert eingereichten und jeweils "Ergänzung zur Replik" bezeichneten Eingaben vom 18. Mai 2020 sowie vom 4. Juni 2020.
G.
Mit Verfügung vom 11. März 2020 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt und am 7. Mai 2020 ein Gesuch des Beschwerdeführers um Sistierung des vorliegenden Verfahrens (bis zum Urteil des Verwaltungsgerichts des Kantons Graubünden über die bei diesem gegen das Urteil vom 16. Dezember 2019 eingereichte Revision) abgewiesen.

Erwägungen:
I. Prozessuales
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid über die direkte Bundessteuer sowie die Kantons- und Gemeindesteuern. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) und Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde legitimiert. Auf sein frist- und formgerecht eingereichtes Rechtsmittel ist - mit nachfolgendem Vorbehalt (vgl. unten E. 1.4) - einzutreten (Art. 42 und 100 BGG).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht und Völkerrecht gerügt werden. Bei der Prüfung verfügt das Bundesgericht über volle Kognition und wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 2 S. 89 unten; <ref-ruling> E. 1.1 S. 137 f.).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zu Grunde (<ref-law>).
1.3.1. Die Sachverhaltsfeststellung der Vorinstanz kann von Amtes wegen oder auf Rüge hin berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, <ref-law>). Offensichtlich unrichtig festgestellt ist ein Sachverhalt, wenn er willkürliche Feststellungen beinhaltet (<ref-ruling> E. 4.1.2 S. 62).
1.3.2. Obwohl nicht ausdrücklich im Gesetz erwähnt, beruht auch eine unvollständige Sachverhaltsfeststellung auf einer Rechtsverletzung. Was rechtserheblich ist, bestimmt das materielle Recht; eine in Verkennung der Rechtserheblichkeit unvollständige Erstellung der für die rechtliche Beurteilung massgeblichen Tatsachen stellt demzufolge eine Verletzung materiellen Rechts dar (<ref-ruling> E. 1.4 S. 68; <ref-ruling> E. 4.3 S. 62).
1.3.3. Die dem Bundesgericht eingeräumte Befugnis zur Sachverhaltsergänzung oder -berichtigung entbindet die Beschwerdeführerin nicht von ihrer Rüge- und Substanziierungspflicht (<ref-ruling> E. 6.2 S. 288). Sie muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinne mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in Verbindung mit Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- bzw. Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
1.4. Inwiefern hier auf die unaufgefordert eingereichten und jeweils als "Ergänzung zur Replik" bezeichneten Eingaben des Beschwerdeführers (vgl. oben Sachverhalt/F.) eingetreten werden kann, muss hier nicht näher geprüft werden. Ihr Inhalt beschränkt sich von der Substanz her auf längst und wiederholt Vorgebrachtes.
II. Direkte Bundessteuer
2.
2.1. Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte (<ref-law>). Zu den steuerbaren Einkünften gehören namentlich Erträge aus beweglichem und unbeweglichem Vermögen (Art. 20 und 21 DBG). Als Erträge aus beweglichem Vermögen sind insbesondere steuerbar Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art (<ref-law>).
2.2. In Anwendung dieser Bestimmungen hat das Verwaltungsgericht infolge mehrerer Transaktionen Aufrechnungen beim steuerbaren Einkommen des Beschwerdeführers vorgenommen:
2.2.1. Am 28. April 2005 kaufte die C._ AG (nachfolgend: C._ AG) aus dem Nachlass von "D._" 100 % der Aktien der E._ AG (nachfolgend: E._ AG) zum Preis von Fr. 160.654 Mio. Nach dem Kauf der E._ AG-Beteiligung durch die C._ AG erwarb die F._ AG (nachfolgend: F._ AG) am 28. April 2005 von der E._ AG deren Liegenschaften zum Verkehrswert von Fr. 361.464 Mio.
2.2.2. Aktionäre der C._ AG und der F._ AG waren zum damaligen Zeitpunkt zu 34 % die G._ AG (mit dem Beschwerdeführer als Alleinaktionär) und zu je 33 % die H._ Inc. (mit B._ als Alleinaktionär) sowie die I._ AG (mit J._ als Alleinaktionär; vgl. dazu näher unten E. 4.6). Die C._ AG war ihrerseits Muttergesellschaft der E._ AG und diese Muttergesellschaft der K._ SA (nachfolgend: K._ SA).
2.2.3. Auf den Liegenschaften der E._ AG wurde im Jahr 2005 zufolge deren Verkaufs ein Gewinn von rund Fr. 200 Mio. erzielt. Die Vorinstanz hat festgehalten, dass der Beschwerdeführer im Zusammenhang mit den beiden Rechtsgeschäften (Kauf der Aktien der E._ AG durch die C._ AG und Kauf der Immobilien der E._ AG durch die F._ AG) im Umfang von Fr. 99'127'220.-- bereichert war (vgl. E. 6.1 u. 14.1 a.U. [Abkürzung für angefochtenes Urteil]).
3.
Die beim steuerbaren Einkommen des Beschwerdeführers erfolgten Aufrechnungen werfen in erster Linie die Frage auf, wie das Verwaltungsgericht seine Sachverhaltsermittlung und Beweiswürdigung vorgenommen hat.
3.1. Dem Erwerb der Aktien und dann der Immobilien der E._ AG ging, wie die Vorinstanz festgehalten hat, am 25. April 2005 ein bankgeldmässiges Nullsummenspiel voraus: B._ liess der C._ AG einen Betrag von Fr. 201.36 Mio. zukommen, im Umfang von Fr. 171 Mio. über die F._ AG. Gleichentags überwies die C._ AG B._ ebenfalls einen Betrag von Fr. 201.36 Mio. über die beiden liechtensteinischen Anstalten L._ und M._ (vgl. dazu schon das Bundesgerichtsurteil 2C_450/2018 vom 1. Mai 2020 E. 5.1 u. 5.2). Für den (Teil-) Betrag von Fr. 171 Mio. gingen die Überweisungen also von B._ an die F._ AG, von dieser an die C._ AG und von letzterer wiederum über die Anstalten an B._ zurück (vgl. dazu auch unten u.a. E. 3.4.1 u. 3.5.2).
Der Betrag von Fr. 171 Mio. blieb, wie das Verwaltungsgericht festgehalten hat, bei den verschiedenen Beteiligten über den 25. April 2005 hinaus (jeweils als Darlehensforderung und/oder -schuld) im Wesentlichen weiter verbucht, obwohl nach dem Nullsummenspiel die wirtschaftlichen Folgen so waren, wie wenn die Überweisungen überhaupt nicht stattgefunden hätten (vgl. dazu näher unten E. 3.4.1, 3.4.3 u. 3.5.6; siehe auch E. 8.1.7, 8.1.8.2, 8.1.9.3 u. 8.2.2.2 a.U.).
3.2. In Bezug auf den Erwerb der Aktien der E._ AG hat das Verwaltungsgericht seiner Sachverhaltsermittlung und Beweiswürdigung (vgl. oben E. 1.3) genaue Fakten-Feststellungen zugrunde gelegt.
3.2.1. Im Hinblick auf den gleichentags erfolgten Beteiligungskauf (vgl. oben E. 2.2.1) finanzierte sich die C._ AG am 28. April 2005 durch einen kurzfristigen Kredit bei der liechtensteinischen N._ AG (nachfolgend: N._ AG; Tageskredit vom 28. April 2005) und erwarb damit Checks im Betrag von Fr. 157.654 Mio. Mit diesen Checks und unter Verwendung eines von B._ auf Rechnung der F._ AG an die C._ AG ausbezahlten Darlehens von Fr. 3 Mio. erwarb die C._ AG die E._ AG-Beteiligung dann von "D._" für den genannten Kaufpreis von Fr. 160.654 Mio. (vgl. E. 9.2.1 a.U.; siehe auch oben E. 2.2.1).
3.2.2. Der Kaufvertrag für den Erwerb der E._ AG-Aktien für Fr. 160.654 Mio. (vgl. oben E. 2.2.1) koppelte den Beteiligungserwerb an die Amortisation von Darlehen in der Höhe von Fr. 42.6 Mio., welche die "D._" der E._ AG zuvor gewährt hatte.
Dabei löste die F._ AG am 28. April 2005 nach den behördlichen und vorinstanzlichen Feststellungen (vgl. E. 6.3.2.1 u. 12.1.1 a.U.) Fr. 12.51 Mio. Schulden der E._ AG gegenüber Gesellschaften der "D._" ab. Sie refinanzierte das Darlehen an die E._ AG, indem sie bei B._ und beim Beschwerdeführer ein Darlehen von Fr. 12.51 Mio. aufnahm. Diese Verbindlichkeit gegenüber den beiden Anteilsinhabern (vgl. oben E. 2.2.2) wies sie auf dem Konto "Darlehen Dr. B._, Konto 250100" ihrer Finanzbuchhaltung 2005 aus.
Zudem lösten B._ und der Beschwerdeführer am 28. April 2005 ihrerseits Schulden von Fr. 30.09 Mio. der E._ AG gegenüber Gesellschaften der "D._" ab. E._ AG wies somit gegenüber B._ und dem Beschwerdeführer neu eine Schuld von Fr. 30.09 Mio. aus. Diese wurde in der Finanzbuchhaltung der E._ AG als "Kontrollkonto Neu-Investor" bezeichnet.
B._ und der Beschwerdeführer refinanzierten die Fr. 12.51 Mio. sowie die Fr. 30.09 Mio., indem sie bei der N._ AG bzw. der Bank O._ (nachfolgend: O._) einen Kredit von Fr. 42.6 Mio. aufnahmen.
3.3. In Bezug auf den Kauf der Immobilien der E._ AG durch die F._ AG (vgl. oben E. 2.2.1) hat die Vorinstanz ebenfalls Feststellungen getroffen.
3.3.1. Die Abwicklung und Finanzierung des Kaufs der Immobilien der E._ AG durch die F._ AG resp. die Begleichung des Kaufpreises von Fr. 361.464 Mio. erfolgte so: Fr. 188.3 Mio. wurden in Form einer Banküberweisung getilgt. Die F._ AG finanzierte die Zahlung dadurch, dass sie auf den Immobilien bei der P._ ein hypothekarisch gesichertes Darlehen von Fr. 188.3 Mio. aufnahm. Daneben wurden Fr. 173.164 Mio. in Form eines Verkäuferdarlehens (von der E._ AG an die F._ AG) beglichen. Die E._ AG verrechnete die ihrerseits gegenüber der F._ AG im Umfang von Fr. 12.51 Mio. bestehende Schuld (aufgrund der Ablösung der früheren "D._"-Darlehen gegenüber der E._ AG; vgl. oben E. 3.2.2) mit ihrer Restkaufpreisforderung gegenüber der F._ AG von Fr. 173.164 Mio. aus dem Liegenschaftsverkauf, so dass netto noch eine Forderung der E._ AG gegenüber der F._ AG von Fr. 160.654 Mio. resultierte (vgl. E. 6.4.2 a.U.).
3.3.2. Ebenfalls am 28. April 2005 überwiesen die E._ AG (Fr. 188.3 Mio. aus dem Verkauf der Immobilien) und die K._ SA (Fr. 10 Mio.) flüssige Mittel von insgesamt Fr. 198.3 Mio. ohne Gegenleistung an die C._ AG (bzw. auf ein erstes Konto, Nr. 341.249.013 mit der Rubrik "E._ AG", bei der N._ AG; dann von dort und im Umfang des gesamten Betrags von Fr. 198.3 Mio. auf ein zweites Konto der C._ AG, Nr. 341.249.010 mit der Rubrik "Kontokorrent", ebenfalls bei der N._ AG; vgl. u.a. E. 9.3 u. 12.1.1 a.U.).
Die C._ AG verwendete die erhaltenen Mittel wie folgt:
• Im Umfang von Fr. 157.654 Mio. wurde am 28. April 2005 der kurzfristige Kredit von Fr. 157.654 Mio. amortisiert, den die N._ AG der C._ AG gewährt hatte (vgl. oben E. 3.2.1).
• Für Fr. 37.6 Mio. wurden die flüssigen Mittel am 28. April 2005 (Fr. 35.5 Mio.; zuerst vom zweiten Konto, Nr. 341.249.010 der C._ AG zurück auf das erste, Nr. 341.249.013, dann von dort aus weiter) bzw. am 29. April 2005 (Fr. 2.1 Mio., ausgehend vom zweiten Konto, Nr. 341.249.010) von der C._ AG auf ein durch B._ und den Beschwerdeführer gemeinsam gehaltenes Konto bei der N._ AG (Konto Nr. 341.230.010) überwiesen und letztlich zur Amortisation der Hypothekarschuld der F._ AG gegenüber der P._ verwendet (vgl. oben E. 3.2.1 u. 3.2.2 sowie unten 3.3.3).
• Im Betrag von Fr. 3 Mio. erfolgte am 22. Juni 2005 eine Zahlung an B._ (vgl. unten E. 4.4).
• Im Ausmass des Restbetrags von Fr. 0.046 Mio. liess sich die Verwendung nicht nachverfolgen (vgl. E. 6.4.3.1, 6.4.4 u. ausführlich E. 9.3 a.U.).
3.3.3. Am 29. April 2005 hatte die F._ AG den P._-Kredit von Fr. 188.3 Mio. (vgl. oben E. 3.3.1) um Fr. 40 Mio. zu amortisieren, was wie folgt geschah: B._ stellte der F._ AG ein Darlehen von Fr. 40 Mio. zur Verfügung. Mit Valuta 29. April 2005 wurde besagter Betrag von einem gemeinsamen Konto von B._ und dem Beschwerdeführer bei der N._ AG an B._ überwiesen (vgl. oben E. 3.3.2) und von dort gleichentags als Darlehen an die F._ AG. Diese wies die Verbindlichkeit von Fr. 40 Mio. gegenüber B._ auf dem Konto "Darlehen Dr. B._, Konto 250100" ihrer Finanzbuchhaltung 2005 aus (vgl. E. 6.4.2 a.U.; siehe auch oben E. 3.2.2).
3.4. Aufgrund der drei Transaktions-Ketten (Nullsummenspiel, vgl. oben E. 3.1; Erwerb der E._ AG-Aktien, vgl. oben E. 3.2; Kauf der E._ AG-Immobilien, vgl. oben E. 3.3) hat die Vorinstanz somit Auszahlungen aus der E._ AG (bzw. deren Tochtergesellschaft K._ SA) von insgesamt Fr. 198.3 Mio. angenommen, die über zahlreiche und Verwirrung bezweckende bzw. verursachende buchhalterische Operationen letztendlich vollumfänglich den Beteiligungsinhabern zuzurechnen waren. Deshalb hat das Gericht beim Beschwerdeführer im Wesentlichen drei gegenleistungslos erhaltene Leistungen (je zur Hälfte von Fr. 157.654 Mio., Fr. 37.6 Mio. und Fr. 3 Mio.) und somit eine Bereicherung von insgesamt Fr. 99'127'220.-- angenommen (vgl. E. 6.1 u. 14.1 a.U.). Hier ist noch einmal kurz darzustellen, wie diese drei Leistungen mit den drei Transaktions-Ketten verbunden waren.
3.4.1. In Bezug auf den ersten Leistungszufluss von insgesamt Fr. 157.654 Mio. ist auf das Nullsummenspiel vom 25. April 2005 zurückzukommen. Zumindest im Umfang dieses Betrags blieben bei der F._ AG eine Darlehensschuld (gegenüber B._) und eine entsprechende Forderung zulasten der C._ AG über den 29. April 2005 hinaus weiter verbucht, obwohl das Nullsummenspiel vom 25. April 2005 keine wirtschaftlichen Folgen hatte (vgl. E. 6.3.1 a.U.). Der ursprünglich verbuchte Betrag von Fr. 171 Mio. wurde am 28. April 2005 um Fr. 835'225 nach unten korrigiert. Am gleichen Tag flossen aus der F._ AG Fr. 12.51 Mio. zur E._ AG ab, um dort zum Teil zuvor von Gesellschaften der "D._" gewährleistete Darlehen abzulösen. Die F._ AG refinanzierte sich für denselben Betrag von Fr. 12.51 Mio. (immer noch am 28. April 2005) bei B._ und beim Beschwerdeführer (vgl. oben E. 3.2.2). Als Ergebnis waren bei der F._ AG auf dem Konto "Darlehen Dr. B._, Konto 250110" u. a. die beiden folgenden Beträge verbucht: Fr. 157.654 Mio. und Fr. 12.51 Mio. Der erste entsprach nach dem Nullsummenspiel vom 25. April 2005 in seinem gesamten Umfang einer gegenleistungslos ausgerichteten Leistung an die am besagten Konto wirtschaftlich Berechtigten (vgl. E. 9.2.1 a.U.).
Der Betrag von Fr. 157.654 Mio. war sodann beim Erwerb der E._ AG-Aktien von Belang (vgl. oben E. 3.2.1). Der dafür aufgebrachte gesamte Kaufpreis von Fr. 160.654 Mio. wurde nur im Umfang von Fr. 3 Mio. mit einem Darlehen von B._ über die F._ AG an die C._ AG finanziert, daneben aber mit einem Kredit über Fr. 157.654 Mio., der entgegen dem erweckten Anschein nicht von B._ (über die F._ AG) ausging, sondern seitens der N._ AG gewährt wurde. Wenn also über den 25. April 2005 hinaus eine Darlehenskette im Betrag von Fr. 160.654 Mio. von B._ über die F._ AG und von dieser weiter zur C._ AG verbucht blieb, obwohl das wirklich eingebrachte Darlehen über diese Kette sich nur auf Fr. 3 Mio. belief, so ergab sich daraus eine gegenleistungslose Leistung von Fr. 157.654 Mio. an die Kontoinhaber (vgl. E. 9.2.1 a.U.).
3.4.2. In Bezug auf die zweite vom Verwaltungsgericht angenommene gegenleistungslose Leistung von Fr. 37.6 Mio. ist auf folgende Feststellungen des Gerichts (vgl. u.a. E. 9.3 a.U.) zurückzukommen:
Im Rahmen des Erwerbs der E._ AG-Immobilien überwiesen die E._ AG und deren Tochtergesellschaft insgesamt Fr. 198.3 Mio. an die C._ AG. Wie die Vorinstanz hervorgehoben hat, handelte es sich dabei vollumfänglich um eine gegenleistungslos zugeflossene Leistung, da bei der E._ AG ("Escrow Account Dr. Q._") und der K._ SA ("Tiers", d.h. Forderungen gegenüber Dritten) der ganze Betrag über den 28. April 2005 (bis zum 22. Juni 2005) hinaus und sogar bis zum 31. Dezember 2005 als Aktivposten bilanziert blieb. Von diesen Fr. 198.3 Mio. überwies die C._ AG ebenfalls am 28. April 2005 Fr. 37.6 Mio. auf ein gemeinsames Konto von B._ und dem Beschwerdeführer bei der N._ AG (vgl. oben E. 3.3.2). Diese Teilüberweisung erfolgte somit ebenfalls ohne Gegenleistung.
Am Tag danach, dem 29. April 2005, hatte die F._ AG ihre Hypothekarschuld von Fr. 188.3 Mio. gegenüber der P._ um Fr. 40 Mio. zu amortisieren. Sie refinanzierte sich so: B._ stellte der F._ AG ein Darlehen von Fr. 40 Mio. zur Verfügung. Mit Valuta 29. April 2005 wurden die genannten Fr. 37.6 Mio. (nebst Fr. 2.4 Mio. Zusatzkredit seitens der N._ AG) vom gemeinsamen Konto von B._ und dem Beschwerdeführer an B._ überwiesen (vgl. oben E. 3.3.3) und von dort gleichentags als Darlehen an die F._ AG. Diese wies die Verbindlichkeit von 40 Mio. gegenüber B._ auf dem Konto "Darlehen Dr. B._, Konto 250100" ihrer Finanzbuchhaltung 2005 aus. All diese Nachfolgeüberweisungen änderten jedoch - wie das Verwaltungsgericht festgehalten hat - nichts am Umstand, dass der Zufluss von Fr. 37.6 Mio. von der E._ AG/K._ SA über die C._ AG an die beiden Beteiligungsinhaber ohne Gegenleistung erfolgt war.
3.4.3. Hinsichtlich der dritten Leistung ohne Gegenleistung, im Gesamtbetrag von Fr. 3 Mio. zugunsten der Beteiligungsinhaber, ist noch einmal auf den Erwerb der E._ AG-Aktien durch die C._ AG zurückzukommen. Diese finanzierte sich - nebst dem kurzfristigen Kredit der N._ AG (im Betrag von Fr. 157.654 Mio.) - durch eine Darlehenskette, die von B._ über die F._ AG lief. Diese Kette blieb bei den Beteiligten (sei es nun als Forderung oder als Schuld) über den 22. Juni 2005 hinaus verbucht, obwohl die C._ AG an jenem Tag (aus den von der E._ AG bzw. der K._ SA gesamthaft überwiesenen Fr. 198.3 Mio.) Fr. 3 Mio. an B._ weiterleitete (vgl. E. 13.1.1 u. 13.1.3 a.U.; siehe auch oben E. 3.3.2). Darin lag eine Leistung ohne Gegenleistung.
3.5. Gegen die vom Verwaltungsgericht festgestellten Transaktionen und gegenleistungslos eingegangenen Verbindlichkeiten zugunsten des Beschwerdeführers hat dieser im vorinstanzlichen Verfahren eine kaum mehr überschaubare Vielzahl von Einwendungen und Faktenbehauptungen eingebracht, auf die im angefochtenen Urteil gründlich eingegangen wird. Im Zusammenhang mit dem Erwerb der Aktien der E._ AG hat er eine erste Forderungskette geltend gemacht, die zwischen der C._ AG und Q._, danach zwischen diesem und den beiden Anstalten L._ sowie M._ bestanden habe. Das Verwaltungsgericht hat eine solche Forderungskette im Rahmen seiner umfassenden und sorgfältigen Beweiswürdigung als nicht tatsächlich begründet beurteilt (vgl. dazu eingehend E. 8.1 a.U.).
3.5.1. Der Beschwerdeführer wendet sich gegen die Feststellung des Verwaltungsgerichts, dass bei der Abwicklung bzw. Finanzierung des Erwerbs der Aktien der E._ AG durch die C._ AG am 25. April 2005 ein Nullsummenspiel stattfand (vgl. oben E. 3.1). Anstelle dieses Nullsummenspiels macht er eine Forderungskette geltend, die von der C._ AG zu Q._ und von diesem weiter zu den beiden liechtensteinischen Anstalten L._ und M._ gegangen sei:
Q._ habe die C._ AG beauftragt, in seinem Namen und auf seine Rechnung Fr. 201.36 Mio. an B._ zu überweisen. B._ wiederum sei beauftragt worden, diese Mittel auf Rechnung von Q._ an die Anstalten L._ (Fr. 100.68 Mio.) und M._ (Fr. 100.68 Mio.) weiterzuleiten. Mit diesem Mittelfluss habe Q._ seine Forderungen gegenüber den beiden Anstalten L._ und M._ entsprechend den Kreditverträgen vom 1. Mai 2005 über Fr. 188.3 Mio. und Fr. 7.7 Mio. begründet. Die beiden Anstalten hätten anschliessend B._ einen Kredit von je Fr. 100.68 Mio. gewährt, damit er sein Darlehen an die F._ AG habe erfüllen können.
Eine Zahlung vom Konto der C._ AG auf ein Konto von B._ habe zu einer solchen vom Konto von B._ auf ein Konto der L._ Anstalt und der M._ Anstalt geführt. Der zweiten Zahlung hätten Kreditverträge zugrunde gelegen, die am 1. Mai 2005 zwischen Q._ und den beiden Anstalten abgeschlossen worden seien.
3.5.2. Gegen die so behauptete Forderungskette ist festgehalten worden, dass mit einem Teil der Bankbelege, die anlässlich des in Wirklichkeit erfolgten Nullsummenspiels produziert wurden, der Anschein erweckt werden sollte, B._ habe der F._ AG und dann die F._ AG der C._ AG flüssige Mittel zwecks Erwerbs der E._ AG-Beteiligung zur Verfügung gestellt (vgl. stattdessen oben E. 3.1 u. 3.2.1; siehe auch unten E. 4.2.1 u. 4.4).
Weder am 25. April 2005 noch zu irgendeinem anderen Zeitpunkt, so die Vorinstanz weiter, wurde in der Finanzbuchhaltung der C._ AG eine Forderung von Fr. 201.36 Mio. gegenüber Q._ aktiviert (vgl. stattdessen oben E. 3.2.1, 3.3.1 u. 3.3.2). Für dieses behauptete, angeblich am 25. April 2005 begründete Forderungsverhältnis wurde auch kein Vertrag beigebracht. Selbst wenn die vom Beschwerdeführer so geltend gemachte Forderung nicht in der Bilanz der Gläubigerin C._ AG hätte erfasst werden müssen, so hätte die Zahlung unter Berücksichtigung der Grundsätze ordnungsgemässer Rechnungslegung in der Buchhaltung vollständig, wahrheitsgetreu und systematisch abgebildet werden müssen (vgl. Art. 957 f. OR). Es widersprach jeglicher Geschäftsusanz, Darlehensverträge in der Höhe von Fr. 201.36 Mio. rein mündlich abzuschliessen, selbst wenn das Gesetz für die Gültigkeit eines solchen Vertrags keine besondere Form vorschreibt (vgl. zum Ganzen u.a. E. 8.1.2.3 a.U.).
Das Verwaltungsgericht hat es als unbestritten erachtet, dass am 28. April 2005 keine Zahlungen von Konten der E._ AG/K._ SA auf ein Konto von Q._ oder von einem Konto von Q._ auf Konten der Anstalten L._ und M._ erfolgten (vgl. E. 8.2.1 a.U.; siehe auch oben E. 3.2.1 u. E. 3.3.2). Demzufolge hat es angenommen, dass der Beschwerdeführer nicht nachzuweisen vermochte, das Konto der C._ AG bei der N._ AG, (Nr. 341.249.013 mit der Rubrik "E._ AG"; vgl. oben E. 3.3.2) habe sich je im Verfügungsbereich von Q._ befunden (vgl. E. 8.2.2.2 a.U.).
Dass die C._ AG ein Treuhand-/Klientenkonto für Q._ eingerichtet hätte, erschien als äusserst ungewöhnlich und ging weder aus der Kontobezeichnung noch aus der Kontorubrik hervor. Daraus hat die Vorinstanz den Schluss gezogen, dass vielmehr von einem reinen Kontoübertrag zwischen zwei auf die C._ AG lautenden Konten auszugehen war, welcher nicht zur Tilgung einer angeblichen Schuld von Q._ gegenüber der C._ AG führen konnte. Das galt umso mehr, als die behauptete Rückzahlung im Umfang von Fr. 198.3 Mio. durch Q._ am 28. April 2005 nicht in der Finanzbuchhaltung der C._ AG erfasst wurde (vgl. oben E. 3.3.2 u. unten E. 4.3.1).
3.5.3. Für das behauptete, angeblich am 25. April 2005 begründete Vertragsverhältnis zwischen Q._ und den Anstalten L._ sowie M._ liegen zwar schriftliche Verträge vor. Diese datieren allerdings erst vom 1. Mai 2005. Das Verwaltungsgericht hat erwogen, dass diese Kreditverträge auf den genannten Tag zurückdatiert waren, in Wirklichkeit aber erst zu einem Zeitpunkt nach dem 22. Dezember 2006 erstellt wurden.
Das hat das Gericht aus einer E-Mail des Beschwerdeführers vom 22. Dezember 2006 an B._, R._ und Q._ mit dem Betreff "S._" geschlossen. Darin wurden Escrow-Vertragsentwürfe erwähnt, welche die Escrow-Einlagen dokumentieren, die Escrow-Ausleihung legalisieren und die Escrow-Kreditbeanspruchung definieren würden. Das deutete darauf hin, dass die Darlehensverträge zwischen Q._ und den Anstalten erst zu einem Zeitpunkt nach dem 22. Dezember 2006 erstellt und auf den 1. Mai 2005 zurückdatiert wurden (vgl. E. 8.1.3.3 a.U.).
Es ist weiter hervorzuheben, dass die erwähnten Darlehensverträge zwischen Q._ und den beiden Anstalten keinerlei Bezug auf die Zahlung vom 25. April 2005 nahmen, welche die Auszahlung der Darlehensvaluta von Q._ an die beiden Anstalten begründet haben soll. Daneben bestanden Unstimmigkeiten in den Beträgen: Die Überweisung vom 25. April 2005 von der C._ AG an B._ betrug Fr. 201.36 Mio. und auch die Überweisung vom 25. April 2005 von B._ an die Anstalten L._ und M._ betrug Fr. 201.36 Mio. (2 x Fr. 100.680 Mio.; vgl. für beide Überweisungen oben E. 3.1). Gemäss den besagten Darlehensverträgen zwischen Q._ und M._/ L._ habe Q._ aber Fr. 196 Mio. (Fr. 188.3 Mio. + Fr. 7. 7 Mio.) an die Anstalten L._ und M._ verliehen (vgl. E. 8.1.4.1 u. 8.1.4.3 a.U.).
3.5.4. In all dem hat die Vorinstanz zusätzliche Indizien gegen die Behauptung des Beschwerdeführers gesehen, dass am 25. April 2005 eine Forderungskette C._ AG - Q._ - Anstalten L._ und M._ begründet worden wäre. In Übereinstimmung damit verneinte Q._ in einer eidesstattlichen Erklärung selbst, dass die Valuta für das behauptete Darlehen von ihm an die Anstalten L._ und M._ ausbezahlt worden sei: "Ich erkläre hiermit, dass es im Zusammenhang mit dem am 1. Mai 2005 erstellten Escrow-Vertrag kein von mir aktiv verwaltetes Konto gegeben hat. Die gemäss Escrow-Vertrag von mir verwalteten Mittel in Höhe von Fr. 196 Mio. standen mir zu keinem Zeitpunkt zur Verfügung. Inwiefern derartige Mittel existierten, entzieht sich meiner Kenntnis. Dennoch unterschrieb ich eine Bestätigung, dass Mittel in vollem Umfang an die Liechtensteiner Anstalten L._ und M._ überwiesen worden waren." (vgl. E. 8.1.5.1 u. 8.1.5.3 a.U.).
3.5.5. Im Zusammenhang mit dem Erwerb der E._ AG-Beteiligung beruft sich der Beschwerdeführer weiter darauf, dass er und B._ am 28. April 2005 für die Ablösung der Schulden der E._ AG gegenüber "D._" Fr. 42.6 Mio. an die C._ AG überwiesen hätten (vgl. oben E. 3.2.2). Er macht geltend, dass die C._ AG die am 28. April 2005 vom Gemeinschaftskonto (vgl. oben. E. 3.3.2) erhaltenen Mittel nicht benötigt habe, weshalb sie diese in den nachfolgenden Tagen weitestgehend wiedererstattet habe.
Das Verwaltungsgericht hat dazu hervorgehoben, dass als äusserst ungewöhnlich einzustufen wäre, wenn Darlehen in der Höhe von Fr. 42.6 Mio. aufgenommen und anschliessend - wie vom Beschwerdeführer geltend gemacht - gar nicht benötigt würden. Stattdessen ist das Gericht davon ausgegangen, dass am 25. April 2005 tatsächlich das von ihm festgehaltene Nullsummenspiel stattfand (vgl. oben E. 3.1) und die Mittel von Fr. 42.6 Mio. benötigt wurden, um die Schulden der E._ AG gegenüber dem "D._"-Nachlass abzulösen (vgl. oben E. 3.2.2). Unbestrittenermassen verwendeten die Investoren für die gesamte Transaktion (Kauf der Aktien der E._ AG durch die C._ AG und Kauf der Immobilien der E._ AG durch die F._ AG) Kredite der N._ AG (Fr. 15 Mio.) und O._ (Fr. 30 M io.) von insgesamt Fr. 45 Mio. Da die Kredite der N._ AG und O._ im Umfang von Fr. 42.6 Mio. bereits zur Ablösung der Schulden der E._ AG gegenüber dem "D._"-Nachlass gebraucht worden waren, konnten sie von vornherein nur im Umfang von Fr. 2.4 Mio. der Teilamortisation der P._-Hypothek dienen (vgl. zum Ganzen E. 8.1.6.2 a.U.; siehe auch oben E. 3.3.3).
3.5.6. Gesamthaft vermag diese erste vom Beschwerdeführer behauptete Forderungskette die vorinstanzlichen Feststellungen zu den Transaktionen vom 25. April 2005 (vgl. oben E. 3.1 u. 3.4.1 mit den dortigen Hinweisen auf das angefochtene Urteil) keineswegs in Zweifel zu ziehen. Mit einem Teil der Bankbelege aus dem Nullsummenspiel sollte der wirklichkeitswidrige Anschein erweckt werden, der Erwerb der E._ AG-Aktien durch die C._ AG sei bei dieser vollumfänglich (d.h. über die gesamten Fr. 160.654 Mio. des Kaufpreises für die Beteiligung) durch eine Darlehenskette finanziert worden, die von B._ ausgegangen und über die F._ AG gelaufen sei. Das widersprach jedoch in doppelter Hinsicht dem tatsächlichen Ablauf der Transaktionen:
Zum Einen verlief die Transaktionskette vom 25. April 2005 nicht so, wie vom Beschwerdeführer behauptet (vgl. oben E. 3.4.1), sondern wie vom Verwaltungsgericht festgehalten (vgl. oben E. 3.1, 3.4.1 u. 3.4.3). Weil der Kreislauf der Überweisungen am gleichen Tag von B._ zu diesem zurückging, erwies es sich entgegen der wirklich erfolgten Zahlungsströme als unzutreffend, wenn die verschiedenen Darlehensforderungen und -verbindlichkeiten trotzdem weiter verbucht blieben.
Zum Anderen widerspricht die behauptete Forderungskette insofern der tatsächlichen Finanzierung des Erwerbs der E._ AG-Beteiligung am 28. April 2005, als das verwendete Darlehen von B._ (über die F._ AG an die C._ AG) sich eben nicht - wie behauptet - auf Fr. 160.654 Mio. belief, sondern nur auf Fr. 3 Mio. (vgl. oben E. 3.1, 3.2.1 u. 3.4.1), während die restlichen Fr. 157.654 Mio. auf einem Kredit der N._ AG beruhten. Und selbst in Bezug auf das tatsächlich gewährte Darlehen von Fr. 3 Mio. hat das Verwaltungsgericht festgestellt, dass diese Darlehenskette über den 22. Juni 2005 hinaus verbucht blieb, obwohl derselbe Betrag an jenem Tag an B._ zurückfloss (vgl. u.a. E. 11. a.U. u. oben E. 3.3.2 u. 3.4.3). In der unbegründeten Weiterverbuchung lag eine gegenleistungslose Leistung.
3.6. Im Rahmen seiner gesamten Sachverhaltsermittlung und Beweiswürdigung hat sich das Verwaltungsgericht noch mit einer zweiten, vom Beschwerdeführer behaupteten Forderungskette auseinandergesetzt und diese als ebenfalls nicht faktenmässig gegeben eingestuft (vgl. dazu umfassend E. 8.2.1 - 8.2.7 a.U.).
3.6.1. Im Zusammenhang mit der Abwicklung bzw. Finanzierung des Erwerbs der Immobilien der E._ AG durch die F._ AG behauptet der Beschwerdeführer, dass die Positionen "Escrow-Account Dr. Q._" und "Tiers" in der Bilanz der E._ AG/K._ SA (vgl. oben E. 3.3.1, 3.3.2 u. 3.4.2) keine Nonvaleurs dargestellt hätten. Vielmehr sei am 28. April 2005 eine Forderungskette von der E._ AG/K._ SA zu Q._ und von diesem weiter zu den Anstalten L._ und M._ begründet worden, die auf folgenden Transaktionen beruht habe: Die E._ AG (Fr. 188.3 Mio.) und die K._ SA (Fr. 10 Mio.) hätten Q._ als Escrow-Agent insgesamt Fr. 198.3 Mio. auf ein Konto der C._ AG bei der N._ AG überwiesen, das auf Rechnung von Q._ geführt worden sei (Konto Nr. 341.249.013 mit der Rubrik "E._ AG"; vgl. oben E. 3.3.2, siehe auch schon die Behauptungen des Beschwerdeführers oben in E. 3.5.1).
Damit habe die E._ AG bzw. ihre Muttergesellschaft C._ AG die Escrow-Forderung gegenüber Q._ begründet. Anschliessend habe Q._ diese Mittel der C._ AG auf deren zweites Konto bei der N._ AG (zwecks Ausgleichs der am 25. April 2005 auf seine Rechnung veranlassten Vergütung an B._ zu Gunsten der beiden Anstalten) überwiesen und damit seine Schuld gegenüber der C._ AG mit Valuta 28. April 2005 getilgt. Ein Kontoübertrag zwischen zwei auf die C._ AG lautenden Konten (vgl. oben E. 3.3.2) wird somit als Teilrückzahlung einer angeblichen Schuld von Q._ gegenüber der C._ AG, welche am 25. April 2005 begründet worden sein soll (vgl. stattdessen oben E. 3.1), dargestellt.
3.6.2. Gegen die so behauptete Forderungskette hat das Verwaltungsgericht jedoch festgehalten: Im Zusammenhang mit den beiden Rechtsgeschäften (Kauf der Aktien der E._ AG durch die C._ AG inkl. Amortisation von Darlehen einerseits sowie Kauf der Immobilien der E._ AG durch die F._ AG andererseits) ist unbestritten, dass die E._ AG (Fr. 188.3 Mio. + Fr. 7.7 Mio.) und die K._ SA (Fr. 10 Mio.) in ihren Bilanzen unter den übrigen Forderungen per 31. Dezember 2005 insgesamt Fr. 206 Mio. aktivierten. Bei der E._ AG wurde die entsprechende Position mit "Escrow-Account Dr. Q._" und in der Bilanz der K._ SA mit "Tiers" (also als Forderungen gegenüber Dritten) bezeichnet. Darauf stützt sich die Vorinstanz, um zu urteilen, dass am 28. April 2005 keine Forderungskette E._ AG/K._ SA - Q._ - Anstalten L._ und M._ begründet wurde. Vielmehr wurde bloss der Anschein erweckt, Rechtsanwalt Q._ verwalte als Escrow-Agent für die E._ AG und die K._ SA Bankguthaben bei der N._ AG im Umfang von Fr. 206 Mio. Stattdessen flossen flüssige Mittel von insgesamt Fr. 198.3 Mio. am 28. April 2005 ohne Gegenleistung aus der E._ AG und der K._ SA ab (vgl. oben E. 3.3.2; siehe auch E. 6.4.4 a.U.).
Wie das Verwaltungsgericht weiter festgehalten hat, ist unbestritten, dass am 28. April 2005 keine Zahlungen von Konten der E._ AG/K._ SA auf ein Konto von Q._ stattfanden (vgl. E. 8.1.1 a.U.; siehe auch oben E. 3.3.2). Selbst wenn die vom Beschwerdeführer geltend gemachte Forderung der C._ AG gegenüber Q._ nicht in der Bilanz hätte erfasst werden müssen, so hätte die Zahlung unter Berücksichtigung der Grundsätze ordnungsgemässer Rechnungslegung doch in der Buchhaltung vollständig, wahrheitsgetreu und systematisch abgebildet werden müssen (vgl. Art. 957 f. OR u. E. 8.1.2.3 a.U.).
Die Abwicklung bzw. Finanzierung des Verkaufs der Immobilien der E._ AG an die F._ AG resp. die Tilgung des Kaufpreises von Fr. 361.464 Mio. erfolgte - wie bereits dargestellt (vgl. oben E. 3.3.1 u. 3.3.2) - so: Die F._ AG beglich die erste Kaufpreistranche aus dem Hypothekarkredit der P._ (Fr. 188.3 Mio.), den Rest liess die E._ AG (zunächst) als Verkäuferdarlehen stehen. Mit der Zwischenschaltung des Escrow-Agenten Q._ wurde die zweite Kaufpreistranche von der F._ AG gegenüber der E._ AG (trotz Abtretung des C._ AG-Darlehens an Zahlungs statt von der F._ AG an die E._ AG per 1. Januar 2006) nicht wirklich entrichtet. Vielmehr waren die Positionen "Escrow-Account Dr. Q._" und "Tiers" in der Bilanz der E._ AG/K._ SA als Nonvaleurs zu qualifizieren (vgl. E. 9.3 u. 11.1 a.U.).
3.6.3. Mit Bezug auf die geltend gemachte Überweisung der E._ AG an Q._ liegt zwar ein sog. Escrow-Vertrag vor. Dieser sowie die übrigen vom Beschwerdeführer erwähnten Ermächtigungen und Verträge datieren allerdings erst vom 1. Mai 2005, obwohl die Mittel-Überweisungen von der E._ AG (Fr. 188.3 Mio.) und der K._ SA (Fr. 10 Mio.) aufgrund des vom Beschwerdeführer behaupteten Ablaufs der Transaktionen bereits am 28. April 2005 stattgefunden haben sollen, zuerst diejenige auf das angeblich auf Rechnung von Q._ geführte Konto der C._ AG bei der N._ AG (Nr. 341.249.013 mit der Rubrik "E._ AG"). Gleichentags habe Q._ diese Mittel der C._ AG auf deren zweites Konto bei der N._ AG (zwecks Ausgleichs der am 25. April 2005 auf seine Rechnung veranlassten Vergütung an B._) zu Gunsten der beiden Anstalten überwiesen (womit er seine Schuld gegenüber der C._ AG mit Valuta 28. April 2005 getilgt habe; vgl. zum Ganzen stattdessen oben E. 3.3.2; siehe auch E. 8.1.3.1 a.U.).
Auch diesbezüglich widersprach es jedoch jeglicher Geschäftsusanz, Verträge über Fr. 196 Mio. (zunächst nur) mündlich abzuschliessen, selbst wenn das Gesetz für die Gültigkeit eines solchen Vertrags keine besondere Form vorschreibt. Dazu kommt Folgendes: Laut Ziff. 2.1 des Escrow-Vertrags verpflichtete sich Q._ als Escrow-Agent, Fr. 196 Mio. Rückstellungen auf der Bilanz der E._ AG treuhänderisch zu verwahren und bereit zu halten für einen Transfer zu einem Risikoträger gemäss Instruktionen der E._ AG. Daraus hat das Verwaltungsgericht unter Berufung auf die kantonale Steuerverwaltung geschlossen, dass in diesem (vermeintlichen) Escrow-Vertrag somit (wohl bewusst) ein unmöglicher Vertragsinhalt festgelegt wurde: nicht etwa eine Übertragung von Aktiven (Geldmittel, Forderungen von E._ AG/K._ SA auf Q._), sondern die Verwahrung einer Rückstellung (bzw. einer Fremdkapitalposition in der Bilanz) - und somit einer Position der Rechnungslegung, die einem Transfer zwischen Rechtssubjekten (von E._ AG an Q._) gar nicht zugänglich war (vgl. E. 8.2.4.1 u. 8.2.4.3 a.U.).
3.6.4. Gegen die Annahme der vom Beschwerdeführer behaupteten Forderungskette hat sich das Verwaltungsgericht weiter auf Aussagen der Beteiligten stützen können. Aus dem Protokoll der VR-Sitzung der E._ AG vom 14. Februar 2008 geht hervor, dass die finanzielle Lage der E._ AG zu jenem Zeitpunkt höchst angespannt war und sie Liquiditätsprobleme hatte. Dazu sagte der CEO der E._ AG, T._: "Escrow-Account ist in unserer Buchhaltung ausgewiesen. Es sollte legal möglich sein, herauszufinden, ob Geld existiert." Darauf antwortete B._: "Escrow-Account ist Phantomgeld und würde zu viel Zeit benötigen, um Existenz herauszufinden." In einer E-Mail vom 24. Mai 2007 hielt der Beschwerdeführer seinerseits fest: "Gestützt auf den Umstand, dass U._ nun genauere Angaben rund um die Escrow-Account Bonität haben möchte, sollten wir dies zum Anlass nehmen, diese synthetische Position aus der operativen Betriebsgesellschaft E._ AG auf die G._, die C._ AG zu übertragen."
Das Verwaltungsgericht hat aus diesen Aussagen der Beteiligten geschlossen, dass die Escrow-Position selbst beim Beschwerdeführer, bei B._ und dem CEO der E._ AG zumindest Fragen aufwarf. Darin hat das Gericht ein weiteres Indiz dafür gesehen, dass am 28. April 2005 keine Forderungskette E._ AG/K._ SA - Q._ - Anstalten L._ und M._ begründet wurde. Stattdessen stellten die Positionen "Escrow-Account Dr. Q._" und "Tiers" in der Bilanz der E._ AG/K._ SA Nonvaleurs dar (vgl. E. 8.2.5.1 u. 8.2.5.2 a.U.).
3.6.5. Die Vorinstanz hat im Übrigen festgehalten, dass am 12. Mai 2009 erneut ein Geldkreislauf (Nullsummenspiel) über Konten der O._ stattfand: Neben der F._ AG (Fr. 112'512'545.90) überwies auch die G._ AG (Fr. 5'654'357.41) den von der E._ AG erhaltenen Betrag an die S._, welche den Betrag von total Fr. 198'954724.50 (= Fr. 80'787'821.19 + Fr. 112'512'545.90 + Fr. 5'654'357.41) wieder auf das Konto von Q._ rückvergütete (vgl. E. 8.2.10.4 a.U.).
Dieses Nullsummenspiel beruhte auf den am gleichen Tag durchgeführten Überweisungen eines Betrages von Fr. 198'954724.50 von Dr. Q._ an die E._ AG, von dieser an die F._ AG (Fr. 112'512'545.90) und die G._ AG (Fr. 5'654'357.41), von diesen und der E._ AG (Fr. 80'787'821.19) an die S._ und von letzterer Gesellschaft wiederum an Q._. Der Umstand, dass sämtliche auf den 12. Mai 2009 datierten Transaktionen zwischen den Konten der E._ AG, der F._ AG, der S._, Q._ und der G._ AG O._-interne Überweisungen und Belastungen darstellten, die ein Nullsummenspiel und keine Mittelzuflüsse für die involvierten Gesellschaften ergaben, deutet weiter darauf hin, dass das betreffend Escrow-Position ausgewiesene Guthaben nicht vorhanden war.
3.6.6. Gesamthaft vermag die zweite vom Beschwerdeführer behauptete Forderungskette die Feststellungen im angefochtenen Urteil zum Erwerb der E._ AG-Immobilien durch die F._ AG (vgl. dazu oben u.a. E. 3.3 u. 3.4.2) keineswegs in Frage zu stellen. Wohl flossen am 28. April 2005 Fr. 188.3 Mio. von der F._ AG an die E._ AG, allerdings nicht aufgrund von Überweisungen oder Darlehen seitens des Beschwerdeführers, von B._ oder aus deren Gesellschaften, sondern mittels eines Hypothekarkredits der P._ im gleichen Betrag von Fr. 188.3 Mio. Genau dieselbe Summe floss aber gleichentags wieder aus der E._ AG an die C._ AG (zusammen mit Fr. 10 Mio. aus der K._ SA; vgl. oben E. 3.3.2 u. 3.4.2). Keines der beiden Konten der C._ AG bei der N._ AG (vgl. oben E. 3.3.2) konnte in irgendeiner Weise dem Verfügungsbereich von Q._ zugerechnet werden (vgl. oben E. 3.6.2 - 3.6.5), wie das Verwaltungsgericht festgestellt hat. Ebenso wenig kann in der vom Beschwerdeführer geltend gemachten Forderungskette auch nur teilweise eine (gleichwertige) Gegenleistung für eine der drei durch die Vorinstanz angenommenen Leistungen gesehen werden, durch die der Beschwerdeführer letztendlich je zur Hälfte bereichert war. Eine Gegenleistung war schon deshalb nicht gegeben, weil in der Bilanz der E._ AG und der K._ SA die Fr. 198.3 Mio. über die hier zu beurteilende Zeitspanne hinaus als Forderungen aktiviert blieben, obwohl der gesamte Betrag am 28. April 2005 aus den beiden Gesellschaften abgeflossen war.
3.7. Vor Bundesgericht macht der Beschwerdeführer gegen die vorinstanzliche Beweiswürdigung zuerst einmal geltend, das Verwaltungsgericht habe sich für seine rechtliche Beurteilung auf einen unvollständigen (vgl. oben E. 1.3.2) und unter Verfahrensverstössen ermittelten Sachverhalt gestützt.
3.7.1. Diese Vorbringen sind vor folgendem Hintergrund zu sehen: Die Veranlagungsverfügungen und Einspracheentscheide der kantonalen Steuerverwaltung für die Periode 2005 beruhen im Wesentlichen auf den umfassenden Untersuchungen und Aufklärungen durch die Abteilung Strafsachen und Untersuchungen (ASU) der Eidgenössischen Steuerverwaltung für die Steuerjahre 2003 bis 2008 (vgl. oben Sachverhalt/B.; siehe dazu im Einzelnen auch die beiden Urteile <ref-ruling> E. 2 S. 431 ff. sowie das Bundesgerichtsurteil 2C_450/2018 E. 2; das erste befasst sich mit der Veranlagung des Beschwerdeführers für die Periode 2003; das zweite setzt sich mit den hier im Jahr 2005 erfolgten Transaktionen unter dem Gesichtspunkt der durch die F._ AG geschuldeten Verrechnungssteuer auseinander.).
Gegen diese Sachverhaltsermittlung im erstinstanzlichen Verfahren hat sich der Beschwerdeführer vor dem Verwaltungsgericht mit zahl- und umfangreichen Rechtsschriften auseinandergesetzt (vgl. zum grossen Teil die 112 Seiten der Beschwerde vom 25. Februar 2019, die 100 Seiten der Replik vom 17. Mai 2019, die 22 Seiten der Triplik vom 15. Juli 2019, die 8 Seiten der Quintuplik vom 9. August 2019, die 5 Seiten der Septuplik vom 6. September 2019 und die 6 Seiten der Novuplik vom 27. September 2019, je passim).
3.7.2. Mit all den Fakten- und Verfahrens-Vorbringen des Beschwerdeführers hat sich das Verwaltungsgericht in seinem 114-seitigen Urteil umfassend und sorgfältig auseinandergesetzt. Zutreffend ist es namentlich zum Schluss gelangt, dass eine Gehörsverletzung oder ein sonstiger Verfahrensverstoss im erstinstanzlichen Verfahren nicht anzunehmen und somit im kantonalen Rechtsmittelverfahren auch nicht zu heilen war (vgl. E. 4 S. 15 - 33 a.U., worauf hier verwiesen werden kann).
Besonders eingehend hat sich das Gericht mit dem Vorwurf befasst, um ihn zutreffend zu verneinen, es sei gegen das Akteneinsichtsrecht des Beschwerdeführers verstossen worden, namentlich im Zusammenhang mit den ASU-Akten (bzw. der Aufarbeitung des ganzen beschlagnahmten Dokumenten-Materials; vgl. E. 4.1.1.1 bis 4.1.1.6 a.U.). Diese Erwägungen erweisen sich als überzeugend, und es ist auch ihnen nichts hinzuzufügen.
Hinsichtlich der vom Beschwerdeführer gegen die erstinstanzliche Ermittlung sonst noch geltend gemachten Verfahrensverstösse (bzw. in Bezug auf die vermeintliche Notwendigkeit, die behaupteten Verstösse im kantonalen Rechtsmittelprozess zu heilen) hat die Vorinstanz ebenfalls auf eine Weise befunden, die sich als rechtskonform erweist und keine zusätzlichen Erörterungen erforderlich macht (zum Recht auf Beweisabnahme: E. 4.1.2.1 bis 4.1.2.3 a.U.; zur Durchführung einer mündlichen Verhandlung: E. 4.2.1.1 bis 4.2.1.3 a.U.; zur Einvernahme verschiedener Zeugen: E. 4.2.2.1 bis 4.2.2.3 a.U.; zur Ernennung eines Buchsachverständigen: E. 4.3.1 bis 4.3.3 a.U.).
Zu verweisen ist hier weiter auf die eingehenden Erwägungen des Bundesgerichts in <ref-ruling> E. 2 und 3 S. 341 ff. betreffend die Steuerperiode 2003. Im Einzelnen wird dort erwogen, dass die verschiedenen prozessualen Vorwürfe gegenüber dem erstinstanzlichen Verfahren - sei es nun in Bezug auf die ASU-spezifischen Aspekte oder darüber hinaus - allesamt als unbegründet einzustufen sind (vgl. mutatis mutandis auch das Urteil 2C_450/2018 E. 2).
3.7.3. Nun macht der Beschwerdeführer vor Bundesgericht aber u.a. geltend, parallel zum Verfahren vor dem Verwaltungsgericht habe die Staatsanwaltschaft III des Kantons Zürich, welche denselben Sachverhalt bezüglich des Vorwurfs des Steuerbetrugs untersuche, verschiedene Zeugen angehört und ein amtliches Gutachten bei Bücher-/Steuerexperten in Auftrag gegeben. Im Januar 2020 (d.h. nach dem hier angefochtenen Urteil vom 16. Dezember 2019) sei dieses Gutachten erstellt und der Staatsanwaltschaft abgeliefert worden. Das Gutachten komme zu einer der verwaltungsgerichtlichen Beurteilung diametral entgegengesetzten Sachverhaltsfeststellung, auf deren Grundlage es jegliche geldwerte Leistungen verneine.
Soweit auf diese Vorbringen überhaupt eingetreten werden kann (vgl. oben E. 1.4), enthalten sie eine bloss appellatorische und verfahrensrechtlich unzutreffende Kritik an der vorinstanzlichen Sachverhaltsermittlung. Das gilt auch insoweit, als - immer noch unter dem Titel "neue Beweismittel" - im vorinstanzlichen Verfahren nicht berücksichtigte Elemente behauptet werden, allenfalls auch Verfahrensverstösse, namentlich in Bezug auf die durch das Verwaltungsgericht vorgenommene (antizipierte) Beweiswürdigung. Ausnahmslos geht es dabei um Sachverhaltsbehauptungen und Beweismittel, die der Beschwerdeführer im Rahmen des mit dem Urteil vom 16. Dezember 2019 abgeschlossenen Verfahrens vor dem Verwaltungsgericht bereits ausführlich einbringen konnte (vgl. oben E. 3.7.1; siehe dazu auch das Urteil 2C_739/2020 vom heutigen Tag, welches das Revisionsurteil des Verwaltungsgerichts bestätigt und sich namentlich in E. 2.2.4 mit dem amtlichen Gutachten im Verfahren vor der Staatsanwaltschaft III des Kantons Zürich auseinandersetzt).
Die Vorinstanz hat diese Fakten-Behauptungen nicht in ihre Sachverhaltsermittlung aufgenommen und viele der dargebotenen Beweismittel ebenfalls nicht als schlüssig eingestuft oder sie nicht einmal berücksichtigt. Darin liegt aber weder ein unvollständig ermittelter Sachverhalt im Sinne von <ref-law> noch ein Verstoss gegen verfassungsmässige Verfahrensgarantien (vgl. zum Ganzen auch die Präsidialverfügung vom 7. Mai 2020 hinsichtlich des Sistierungsgesuchs des Beschwerdeführers und oben Sachverhalt/G.).
Es kann hier auch auf <ref-ruling> E. 3 S. 434 ff. verwiesen werden. Hinsichtlich der Steuerperiode 2003 hat das Bundesgericht dort die Beurteilung des Verwaltungsgerichts geschützt, dass - schon damals gegenüber einer grossen Vielzahl von behaupteten Verletzungen des rechtlichen Gehörs und verschiedenen anderen geltend gemachten Verfahrensverstössen - die geäusserten Vorwürfe sowohl gegenüber der erstinstanzlichen Phase als auch gegen das Rechtsmittelstadium allesamt unbegründet waren (übereinstimmend damit - mutatis mutandis - 2C_450/2018 E. 5.3.1 u. 5.3.2).
3.8. Nebst dem Vorwurf eines unvollständig und unter Verfahrensverstössen ermittelten Sachverhalts (vgl. oben E. 3.7) enthalten die verschiedenen Rechtsschriften des Beschwerdeführers vor Bundesgericht (je 80 eng beschriebene Seiten Beschwerdeschrift und Replik, dazu noch 7 und 10 Seiten "Ergänzung zur Replik") zum grossen Teil und vorrangig eine kaum mehr überschaubare Vielzahl von Einzel-Einwendungen und -Behauptungen, wonach die Sachverhaltsermittlung und Beweiswürdigung der Vorinstanz in verschiedener Hinsicht offensichtlich unzutreffend (vgl. oben E. 1.3.1 u. 1.3.3) sei.
3.8.1. Diese Ausführungen wiederholen aber nur sozusagen ausnahmslos dieselbe Vielzahl von Einzel-Einwendungen und Fakten-Behauptungen, die bereits im kantonalen Verfahren vor dem Verwaltungsgericht eingebracht worden sind (vgl. aber - im Sinne zweier Ausnahmen - oben E. 3.7.3 zu den Vorbringen im Zusammenhang mit dem später ergangenen amtlichen Gutachten der Staatsanwaltschaft III des Kantons Zürich und unten E. 4.9.2 zu dem, was der Beschwerdeführer aus dem ebenfalls erst nach dem 16. Dezember 2019 ergangenen Bundesgerichtsurteil 2C_450/2018 ableiten zu können glaubt).
Aufgrund des Novenverbots von <ref-law> können vor Bundesgericht keine neuen, von der Vorinstanz nicht bereits behandelten Gesichtspunkte eingebracht werden, und es ist hier weder dargetan noch ersichtlich, dass das angefochtene Urteil zu zusätzlichen, zuvor noch nicht eingebrachten Einwendungen Anlass gegeben hätte. Wenn sich aber das Verwaltungsgericht bereits umfassend und zutreffend mit all den Einwendungen und Behauptungen des Beschwerdeführers zur Sachverhaltsermittlung bzw. zur Beweiswürdigung auseinandergesetzt hat, so erübrigt sich hier, darauf noch ein weiteres Mal in aller Vollständigkeit oder auch nur detailliert einzugehen.
3.8.2. Einerseits beziehen sich die genannten Einzeleinwendungen spezifisch auf die durch die Vorinstanz hinsichtlich der zu beurteilenden Transaktionen gemachten Fakten-Feststellungen (vgl. oben E. 3.1 - 3.4). Die gesamten Einwendungen vermögen aber - weder einzeln noch zusammengenommen - die vorinstanzlichen Feststellungen als geradezu offensichtlich unzutreffend (vgl. oben E. 1.3) erscheinen zu lassen. Vielmehr sind sie im angefochtenen Urteil allesamt geprüft und entkräftet worden.
3.8.3. Andererseits bezieht sich eine grosse Vielzahl der Einzeleinwendungen und der von den Feststellungen im angefochtenen Urteil abweichenden Fakten-Behauptungen des Beschwerdeführers im vorliegenden Verfahren auf die beiden von ihm geltend gemachten Forderungsketten (vgl. oben E. 3.5 u. 3.6).
Auch diesbezüglich enthalten die verschiedenen Rechtsschriften vor Bundesgericht jedoch nur solche Einzel-Vorwürfe, die das Verwaltungsgericht allesamt bereits widerlegt hat. Die behaupteten Forderungsketten gehen nicht darüber hinaus, bloss eine von der Beweiswürdigung der Vorinstanz abweichende Faktendarstellung zu bilden. Weder einzeln noch zusammengenommen vermögen sie die Feststellungen im angefochtenen Urteil als geradezu willkürlich erscheinen zu lassen. Ebenfalls nicht als offensichtlich unzutreffend erweisen sich die Indizien, auf die sich die Vorinstanz gestützt hat, um die beiden Forderungsketten als faktenmässig nicht begründet zu beurteilen.
4.
Wenn also von der durch das Verwaltungsgericht vorgenommenen Sachverhaltsermittlung und Beweiswürdigung auszugehen ist, so verstossen auch die rechtlichen Schlüsse, welche die Vorinstanz daraus gezogen und namentlich mehrere geldwerte Leistungen zugunsten des Beschwerdeführers angenommen hat, nicht gegen Bundesrecht.
4.1. Gemäss ständiger bundesgerichtlicher Rechtsprechung ist der Tatbestand der geldwerten Leistung dadurch gekennzeichnet, dass die leistende Kapitalgesellschaft oder Genossenschaft für ihre Leistung keine oder keine gleichwertige Gegenleistung erhält, der Beteiligungsinhaber der Kapitalgesellschaft oder Genossenschaft direkt oder indirekt (z.B. über eine ihm nahestehende Person oder Unternehmung) einen Vorteil erlangt, die Kapitalgesellschaft oder Genossenschaft diesen Vorteil einer nicht nahestehenden, also fernstehenden Person unter gleichen Bedingungen nicht zugestanden hätte, weshalb die Leistung insofern ungewöhnlich ist (Kriterium des Drittvergleichs), und der Charakter dieser Leistung für die Organe der Kapitalgesellschaft oder Genossenschaft erkennbar war (vgl. u.a. <ref-ruling> E. 6.1 S. 443 f. m.w.H.)
4.2. Hier hat das Verwaltungsgericht aufgrund seiner Feststellungen insbesondere bei drei Beträgen eine Leistung ohne (gleichwertige) Gegenleistung an die Beteiligungsinhaber annehmen dürfen. Die vorinstanzliche Beurteilung erweist sich zuerst einmal als bundesrechtskonform, soweit sie der Aufrechnung zur Hälfte eines Betrags von Fr. 157.654 Mio. eine Leistung ohne Gegenleistung zugrunde gelegt hat.
4.2.1. Die E._ AG-Beteiligung wurde lediglich im Umfang von Fr. 3 Mio. unter Verwendung eines von B._ auf Rechnung der F._ AG an die C._ AG ausbezahlten Darlehens erworben (vgl. oben E. 3.2.1). Trotzdem wies die F._ AG auf ihrem Konto "Darlehen Dr. B._, Konto 250100" (vgl. oben E. 3.2.2) eine Verbindlichkeit gegenüber B._ von Fr. 160.654 Mio. aus. Im Umfang von Fr. 157.654 Mio. stellte die eingeräumte Verbindlichkeit somit eine Leistung ohne Gegenleistung aus der F._ AG dar, welche den am "Darlehen Dr. B._, Konto 250100" wirtschaftlich Berechtigten zufloss (vgl. u.a. E. 11.1 a.U.; siehe zum Ganzen auch schon oben E. 3.4.1 u. 3.5.6).
4.2.2. Diese Beurteilung steht auch nicht im Widerspruch zu dem, was im Bundesgerichtsurteil 2C_450/2018 festgehalten wurde. Was hier "Nullsummenspiel" genannt wird, bezeichnete das besagte Urteil im Zusammenhang mit den beiden Beträgen von Fr. 171 Mio. und Fr. 40 Mio. als effektiv gewährte, aber noch jeweils am gleichen Tag vollumfänglich bzw. zum wesentlichen Teil über verbundene Gesellschaften zurückbezahlte Darlehen (vgl. dort E. 5.1).
Bei den Fr. 157.654 Mio. geht es nur um den ersten der beiden Darlehensbeträge. Tatsächlich blieben die Fr. 171 Mio. - trotz der im Rahmen des Nullsummenspiels vom 25. April 2005 effektiv erfolgten Rückerstattung - über dieses Datum hinaus weiter verbucht und sollten so den Eindruck erwecken, dass der Erwerb der E._ AG-Beteiligung (für Fr. 160.654 Mio.) über diese Darlehens (kette) finanziert worden sei, was aber im Umfang eben dieser Fr. 157.654 Mio. unzutreffend war (stattdessen Kredit der N._ AG über denselben Betrag; vgl. oben E. 3.2.1).
Der im Urteil 2C_450/2018 entscheidrelevante Betrag von Fr. 188 Mio. (vgl. dort E. 5.1) stand im Zusammenhang mit beiden Darlehen von Fr. 171 Mio. und Fr. 40 Mio., während sich die hier zu beurteilende erste der drei Leistungen ohne Gegenleistung nur auf den ersten Kredit bezieht. Der am 25. April 2005 verbuchte Betrag von Fr. 171 Mio. wurde am 28. April 2005 um Fr. 835'225.-- nach unten korrigiert (bzw. "storniert"). Am gleichen Tag flossen aus der F._ AG Fr. 12.51 Mio. zur E._ AG ab, um dort zum Teil das zuvor von Gesellschaften der "D._" gewährleistete Darlehen abzulösen. In diesem Umfang lag somit eine Gegenleistung für die erhaltene Leistung vor, weshalb diese nur um Umfang von Fr. 157.654 Mio. bei den wirtschaftlich Berechtigten des Kontos "Darlehen Dr. B._, Konto Nr. 250'100" aufzurechnen war (vgl. E. 11.1 a.U. u. oben E. 3.4.1; siehe dazu auch detailliert Rz 14 S. 35 der Vernehmlassung der kantonalen Steuerverwaltung, wo der Betrag von Fr. 157.654 Mio. sowohl vom Gesamtbestand des Darlehens von B._ an die F._ AG als auch ausgehend vom Betrag von Fr. 171 Mio. erklärt wird).
4.3. Als rechtskonform erweist sich die Beurteilung des Verwaltungsgerichts auch, soweit es der Aufrechnung zur Hälfte eines Betrags von Fr. 37.6 Mio. eine Leistung ohne Gegenleistung zugrunde gelegt hat.
4.3.1. Die E._ AG (Fr. 188.3 Mio. aus dem Verkauf der Immobilien) und die K._ SA (Fr. 10 Mio.) überwiesen am 28. April 2005 flüssige Mittel von insgesamt Fr. 198.3 Mio. an die C._ AG (vgl. oben E. 3.3.2). Diese verbuchte die erhaltenen Zuflüsse aber nicht als Verbindlichkeiten (vgl. E. 8.2.3.1, 8.2.3.3 u. 9.3 a.U.). Auch blieb der Betrag von Fr. 198.3 Mio. bei den beiden überweisenden Gesellschaften - obwohl sie nach dem 28. April 2005 in Wirklichkeit Nonvaleurs darstellten - bis Ende 2005 als Forderungen in der jeweiligen Bilanz aktiviert. Die gesamten Überweisungen vom 28. April 2005 erfolgten somit ohne Gegenleistungen (vgl. E. 6.4.3.1 u. 9.3 a.U.). Dasselbe gilt dementsprechend für den Teilbetrag von Fr. 37.6 Mio. der am 28./29. April 2005 (Fr. 35.5 Mio.) bzw. am 29. April 2005 (Fr. 2.1 Mio.) von der C._ AG auf ein gemeinsames Konto von B._ und dem Beschwerdeführer bei der N._ AG überwiesen wurde (vgl. u.a. E. 12.1.1 a.U.; siehe auch oben E. 3.3.2). Die nachfolgende Weiterleitung dieser Fr. 37.6 Mio. an die F._ AG änderte nichts daran, dass das Verwaltungsgericht eine Leistung ohne Gegenleistung zugunsten der Beteiligungsinhaber hat annehmen müssen (vgl. zum Ganzen auch schon oben E. 3.4.2 u. 3.6.6).
4.3.2. Diese Beurteilung des Verwaltungsgerichts steht einmal mehr im Einklang mit dem im Bundesgerichtsurteil 2C_450/2018 Gesagten: Neben dem Nullsummenspiel vom 25. April 2005 betreffend das erste Darlehen von Fr. 171 Mio. erfolgte ein zweiter solcher Kreislauf am 29. April 2005 zum grossen Teil auch in Bezug auf den zweiten Kredit von Fr. 40 Mio., der im Umfang von Fr. 35.5 Mio. am selben Tag zurückerstattet wurde, obwohl der Betrag jeweils als Darlehensforderung und/oder -schuld bis Bilanz per Ende 2005 weiter verbucht blieb (vgl. dort E. 5.1 und 5.2 einleitend). Der Zufluss von Fr. 35.5 Mio. aus der C._ AG auf das gemeinsame Konto von B._ und dem Beschwerdeführer bei der N._ AG (vgl. E. oben 3.3.2) erfolgte stattdessen am 28. April 2005 und wurde von dort aus zur Amortisation der Hypothekarschuld der F._ AG gegenüber der P._ verwendet (vgl. oben E. 3.3.2).
Die Fr. 37.6 Mio. bilden auch keine Rückerstattung der Darlehen, welche B._ und der Beschwerdeführer gewährten, um die von Gesellschaften der "D._"-Group zuvor erbrachten Darlehen abzulösen (vgl. oben E. 3.2.2). Die Zahlung von Fr. 42.6 Mio. begründete Darlehen des Beschwerdeführers und von B._ von Fr. 12.51 Mio. gegenüber der F._ AG und von Fr. 30.09 Mio. gegenüber der E._ AG, wogegen die liquiden Mittel aus der E._ AG/K._ SA von Fr. 37.6 Mio. keine Rückzahlung dieser Darlehen nach sich zogen. Sie wurden in den Finanzbuchhaltungen der F._ AG und der E._ AG auch nicht als Darlehensrückzahlungen verbucht, sondern führten im Gegenteil dazu, dass die am Konto "Darlehen Dr. B._, Konto 250100" wirtschaftlich Berechtigten ihre Darlehensforderungen gegenüber der F._ AG zusätzlich um Fr. 37.6 Mio. (bzw. insgesamt um Fr. 40 Mio.) erhöhen konnten. Qualifiziert man mit der Vorinstanz die Positionen "Escrow" und "Tiers" als Nonvaleurs (vgl. u.a. E. 8.2.6.2, 8.2.7, 9.3 u. 11.1 a.U.), erhielten diese wirtschaftlich Berechtigten die Mittel aus der E._ AG/K._ SA (über die C._ AG) ohne Gegenleistung (vgl. dazu auch die Vernehmlassung der kantonalen Steuerverwaltung Rz 23 S. 42-43).
4.4. Ebenfalls auf einer Leistung ohne Gegenleistung beruht die Aufrechnung zur Hälfte eines Betrags von Fr. 3 Mio. Die E._ AG-Beteiligung wurde im Umfang von Fr. 3 Mio. unter Verwendung eines von B._ auf Rechnung der F._ AG an die C._ AG ausbezahlten Darlehens erworben (vgl. oben E. 3.2.1). Obwohl die C._ AG am 22. Juni 2005 Fr. 3 Mio. auf ein Konto von B._ überwies (vgl. oben E. 3.3.2), verbuchte die F._ AG keine Reduktion ihrer Darlehensschuld gegenüber B._, sondern wies auf ihrem Konto "Darlehen Dr. B._, Konto 250100" (vgl. oben E. 3.2.2) nach wie vor eine Verbindlichkeit gegenüber B._ von Fr. 3 Mio. aus.
4.5. Angesichts der Verbindungen zwischen den verschiedenen Beteiligten hat das Verwaltungsgericht bundesrechtskonform geurteilt, dass die drei ohne (gleichwertige) Gegenleistungen erfolgten Leistungen jeweils zur Hälfte den Beschwerdeführer bereicherten.
4.5.1. Der Beschwerdeführer war Alleinaktionär an der G._ AG und B._ Alleinaktionär an der H._ Inc., welche zusammen zu 67 % (G._ AG zu 34 %, H._ Inc. zu 33 %) sowohl an der C._ AG als auch an der F._ AG beteiligt waren (vgl. oben E. 2.2.2).
4.5.2. Zudem flossen die Leistungen ohne Gegenleistung zur Hälfte an den Beschwerdeführer, weil nebst dem genannten gemeinsamen Konto bei der N._ AG auch die von B._ gehaltenen Forderungen gegenüber der E._ AG (Kontrollkonto Neu-Investor) und der F._ AG (Darlehen Dr. B._, Konto 250100; vgl. oben E. 3.2.2) hälftig dem Beschwerdeführer zukamen. In diesem Sinne hat das Verwaltungsgericht zum Einen angenommen, dass B._ die besagten Forderungen gegenüber den beiden verbundenen Gesellschaften treuhänderisch für die Anstalten L._ und M._ hielt. Diese vorinstanzliche Feststellung stützt sich namentlich auf eine Vereinbarung zwischen B._ und L._ sowie M._ und S._ vom 23. Dezember 2006, aus der ein solches Treuhandverhältnis hervorgeht (vgl. E. 11.2.1.1 u. 11.2.1.3 a.U.).
Dem wird vor Bundesgericht (vgl. S. 50-54 der Beschwerdeschrift) stichhaltig entgegengehalten, dass für die steuerliche Anerkennung eines Treuhandverhältnisses in der Regel ein schriftlicher Vertrag aus der Zeit der Begründung der Treuhand verlangt wird und darin das Treugut genau bezeichnet werden muss (vgl. u.a. die Bundesgerichtsurteile 2C_24/2014 E. 4.3; 9C_417/2010 E. 4.1.2). Diesen Anforderungen entspricht die Vereinbarung vom 23. Dezember 2006 nicht.
Nun hat sich die Vorinstanz aber nicht nur auf diese Vereinbarung gestützt, um Leistungen ohne Gegenleistung (en) anzunehmen, die zur Hälfte dem Beschwerdeführer zuzurechnen sind. Aus den tatsächlichen Feststellungen im angefochtenen Urteil betreffend das Konto "Darlehen Dr. B._, Konto 250100" bei der F._ AG ergibt sich, dass alle drei hier wesentlichen Leistungen ohne Gegenleistungen den am besagten Konto wirtschaftlich Berechtigten zukamen, d.h. nicht nur B._, sondern daneben auch dem Beschwerdeführer (vgl. dazu namentlich E. 9.3, 11.1, 11.2.1.3 u. 13.1.3 a.U. m.w.H.). Was vor Bundesgericht dagegen eingewendet wird, vermag diese vorinstanzlichen Feststellungen nicht als offensichtlich unzutreffend (vgl. oben E. 1.3) erscheinen zu lassen.
4.5.3. Darüber hinaus hat das Verwaltungsgericht überzeugend geurteilt, dass die der L._ Anstalt zugeflossenen geldwerten Leistungen dem Beschwerdeführer als wirtschaftlich Berechtigtem an der L._ Anstalt zuzurechnen waren.
Das erachtet der Beschwerdeführer als ungerechtfertigt und somit als Verstoss gegen Bundesrecht. Zu Recht hat die Vorinstanz jedoch erwogen, dass der Beschwerdeführer als wirtschaftlich Berechtigter der L._ Anstalt diese Anstalt - wie schon im Zusammenhang mit den in der Steuerperiode 2003 zu beurteilenden Transaktionen - im Wesentlichen (wenn nicht sogar einzig) dazu verwendete, seine tatsächlichen Einkommens- und Vermögensverhältnisse zu verschleiern, um Steuern zu vermeiden bzw. zu minimieren. Soweit sich der Beschwerdeführer auf die Selbständigkeit der L._ Anstalt beruft, so kann ihm dabei nicht gefolgt werden. Stattdessen rechtfertigt sich für die L._ Anstalt ein steuerlicher Durchgriff auf den Beschwerdeführer als wirtschaftlich Berechtigten. Die drei hier gegenleistungslos eingeräumten Verbindlichkeiten flossen somit hälftig dem Beschwerdeführer zu.
4.6. Zutreffend hat das Verwaltungsgericht aufgrund seiner Feststellungen weiter erwogen, dass die ohne (gleichwertige) Gegenleistung zugeflossenen Leistungen ungewöhnlich waren und die Beteiligungsinhaber "causa societatis" bereicherten. Eine solche gegenleistungslose Leistung "causa societatis" hat die Vorinstanz für alle drei hier zu beurteilenden Beträge annehmen dürfen. Die jeweils ohne adäquate Gegenleistungen eingeräumten Verbindlichkeiten hatten ihren Rechtsgrund letztlich im Beteiligungsverhältnis und wären unter den gleichen Verhältnissen einem unbeteiligten Dritten nicht eingeräumt worden. Insoweit erschienen die Verbindlichkeiten als ungewöhnlich, was auch für die Organe der leistenden Gesellschaften erkennbar war (vgl. u.a. E. 11.2.3. u. 11.3 a.U.).
4.7. Im Ergebnis hat die Vorinstanz geurteilt, dass dem Beschwerdeführer im Zusammenhang mit den beiden Rechtsgeschäften (Kauf der Aktien der E._ AG durch die C._ AG und Kauf der Immobilien der E._ AG durch die F._ AG) zu Recht Fr. 99'127'220.-- (vgl. dazu schon oben E. 4.2.1) als verdeckte Gewinnausschüttung aus der F._ AG und/oder C._ AG und der E._ AG/K._ SA für die Einkommenssteuer der Steuerperiode 2005 aufgerechnet wurden. Die F._ AG und/oder C._ AG (Fr. 157.654 Mio. + Fr. 3 Mio.) und die E._ AG/K._ SA (Fr. 37.6 Mio.) erbrachten im Zusammenhang mit den beiden Rechtsgeschäften tatsächlich geldwerte Leistungen von total Fr. 198.254 Mio., wovon die Hälfte beim Beschwerdeführer aufzurechnen war (vgl. E. 6.1 u. 14.1 a.U.).
4.8. Dass neben dem Beschwerdeführer und B._ auch J._ über die I._ AG zu 33 % an der C._ AG und der F._ AG beteiligt war, ändert am Ergebnis nichts. Aus einer E-Mail von B._ an J._ und den Beschwerdeführer geht hervor, dass J._ in Absprache mit B._ und dem Beschwerdeführer am Erwerb der E._ AG nicht beteiligt war, wie das Verwaltungsgericht für das Bundesgericht verbindlich festgestellt hat (vgl. E. 14.2 a.U.).
4.9. In seinen verschiedenen Rechtsschriften vor Bundesgericht bestreitet der Beschwerdeführer an zahlreichen Stellen und mit einer Vielzahl unterschiedlicher Vorbringen, dass im Zusammenhang mit den hier zu beurteilenden Transaktionen auch nur eine einzige geldwerte Leistung zu seinen Gunsten geflossen bzw. erfolgt sei. Seine Einwendungen vermögen aber nicht zu überzeugen.
4.9.1. Das hat schon deshalb zu gelten, weil die meisten der diesbezüglichen Ausführungen sich darauf beschränken, den für das Bundesgericht verbindlichen Sachverhalts-Feststellungen des Verwaltungsgerichts einmal mehr eine in zahlreichen Einzelpunkten abweichende Fakten-Darstellung entgegenzuhalten. Darin erschöpfen sich auch grösstenteils die Vorbringen in der Unterteilung "Rechtliches zu den unterstellten geldwerten Leistungen aus F._ AG und E._ AG" (Rz. 221 - 252 S. 66-74) der Beschwerdeschrift. Dort wird zum Wesentlichen nur noch einmal die eigene Sichtweise in Bezug auf den behaupteten Ablauf der Transaktionen wiederholt.
Wenn aber der rechtlichen Würdigung - statt der Sichtweise des Beschwerdeführers und wie für das Bundesgericht verbindlich - die vorinstanzlichen Fakten-Feststellungen zugrunde gelegt werden, so kann aus ihnen nur geschlossen werden, dass in den einzelnen Punkten gegenleistungslose und ungewöhnliche Leistungen "causa societatis" (zur Hälfte) zugunsten des Beschwerdeführers flossen, durch welche dieser bereichert war.
Ebenfalls nicht gefolgt werden kann ihm dort, wo er sich gegen ein Treuhandverhältnis zwischen B._ und den beiden liechtensteinischen Anstalten (vgl. oben E. 4.5.2) wendet oder die Notwendigkeit eines Durchgriffs durch die L._ Anstalt zu seinem Vorteil (vgl. oben E. 4.5.3) in Abrede stellt. Erfolglos wendet er weiter ein, das angefochtene Urteil stütze sich auf einen verpönten Methodendualismus oder eine unzulässige wirtschaftliche Betrachtungsweise.
4.9.2. Nichts anderes ergibt sich aus Rz 2 - 10 der "Ergänzung zur Replik" vom 4. Juni 2020 (soweit darauf überhaupt eingetreten werden kann, vgl. oben E. 1.4). Der Beschwerdeführer setzt sich dort mit dem Bundesgerichtsurteil 2C_450/2018 auseinander.
Grösstenteils nimmt er dieses Urteil einmal mehr zum Anlass dafür, der Sachverhaltsermittlung und Beweiswürdigung der Vorinstanz seine eigene, (bloss) abweichende Faktendarstellung entgegenzuhalten. Insbesondere meint er, allerdings zu Unrecht, aus besagtem Urteil ableiten zu können, das Bundesgericht habe das vom Verwaltungsgericht festgestellte Nullsummenspiel (vgl. oben E. 3.1, aber auch E. 3.4.1, 3.4.3, 4.2.2 u. 4.3.2) klarerweise verworfen.
Weiter beruft sich der Beschwerdeführer auf folgende Passage in E. 5.4.1 desselben Urteils: "Zu Recht hat es (das Bundesverwaltungsgericht) angenommen, dass die Beschwerdeführerin (F._ AG) durch den Ausweis eines (Aktionärs-) Darlehenssaldos von Fr. 180'022'941.53 per Ende 2005 trotz der bereits erfolgten, weitgehenden Rückzahlung der beiden gewährten Kredite entreichert wurde. Denn dadurch wurde dem Aktionär und Darlehensgeber (B._) ein durch diese Rückzahlung nicht geschmälerter Anspruch auf Bezahlung des genannten Saldos eingeräumt. Dieser Anspruch wurde in der Folge auch tatsächlich geltend gemacht." Diese Passage belege, dass nur B._ als Folge der hier zu beurteilenden Transaktionen bereichert gewesen sei, nicht aber der Beschwerdeführer. Diese Behauptung verkennt jedoch, dass das Bundesgericht damals für die durch die F._ AG geschuldete Verrechnungssteuer und die Annahme einer geldwerten Leistung unter den dort zu beurteilenden Gesichtspunkten nicht zu prüfen gehabt hat, wie die Verhältnisse und Beziehungen unter den Aktionären bzw. den nahestehenden Personen lagen. Hier hingegen müssen zwei weitere Umstände von Belang sein: Einerseits kamen die Leistungen ohne Gegenleistung (en) gemäss den Feststellungen des Verwaltungsgerichts den am Konto "Darlehen Dr. B._, Konto 250100" wirtschaftlich Berechtigten zu, d.h. neben B._ auch dem Beschwerdeführer (vgl. oben E. 4.5.2). Andererseits waren die der L._ Anstalt zugeflossenen Leistungen wegen Durchgriffs dem Beschwerdeführer zuzurechnen (vgl. oben E. 4.5.3).
4.9.3. An verschiedenen Stellen seiner Rechtsschriften bezieht sich der Beschwerdeführer auf weitere Bundesgerichtsurteile, aus denen sich ergebe, dass eine Bereicherung oder eine geldwerte Leistung zu seinen Gunsten ausgeschlossen werden müsse. All diese Bezugnahmen erweisen sich jedoch als unzutreffend, so z.B. diejenige auf <ref-ruling> (bzw. zu den - hier vermeintlich nicht gegebenen - Voraussetzungen, unter denen eine Steuerbehörde ein simuliertes Darlehen annehmen dürfe). Diese Vorbringen enthalten nichts, was dazu führen müsste, die rechtlichen Schlüsse der Vorinstanz (aufgrund deren für das Bundesgericht verbindlichen Fakten-Feststellungen betreffend die hier zu beurteilenden Transaktionen, u.a. Darlehen) als bundesrechtswidrig zu qualifizieren.
4.9.4. All die anderen Einwendungen des Beschwerdeführers gegen die Annahme geldwerter Leistungen vermögen ebenfalls nicht zu überzeugen. Unzutreffend ist u.a. das Argument, es könne vorliegend nicht an der Einschätzung des Kantonalen Steueramts Zürich vorbeigegangen werden, das in einem anderen Verfahren (betreffend den Beschwerdeführer bzw. dessen Gesellschaften) geldwerte Leistungen verneint habe. Das Argument ist vom Ansatz her verfehlt, kann es hier doch nur darum gehen, aufgrund der verbindlichen Beweiswürdigung durch das Verwaltungsgericht die vorinstanzlich daraus gezogenen rechtlichen Schlüsse zu überprüfen.
5.
Als rechtmässig erweisen sich auch die anderen vom Verwaltungsgericht vorgenommenen Aufrechnungen.
5.1. Das gilt vorab für die Aufrechnung zur Hälfte (d.h. Fr. 2'303'882.--) von Zinsen (im Umfang von Fr. 4'100'000.-- und Fr. 507'763.--) im Zusammenhang mit den Darlehensforderungen, die gegenüber der E._ AG (Kontrollkonto Neu-Investor) und der F._ AG (Darlehen Dr. B._, Konto 250100) bestanden. Diese kamen aber gemäss den Feststellungen der Vorinstanz zur Hälfte dem Beschwerdeführer zu (vgl. oben E. 4.5.2 u. 4.5.3 sowie ausführlich E. 16 a.U.; siehe dagegen E. 19 a.U. für einen durch das Verwaltungsgericht bestätigten Abzug von Fr. 398'496.-- für andere, durch den Beschwerdeführer geschuldete Darlehenszinsen).
5.2. Ebenfalls als bundesrechtskonform erweist es sich, dass die Vorinstanz eine "Up-front Fee" im Betrag von Fr. 3'082'050.-- aufgerechnet hat. Sie wurde von der F._ AG geleistet und von der L._ vereinnahmt, welche dem Beschwerdeführer zuzurechnen war. Zwar macht dieser geltend, die Fee sei geschäftsmässig begründet gewesen. Das Verwaltungsgericht hat sich mit diesem Einwand gründlich auseinandergesetzt, ihn dann aber verworfen und zu Recht die erstinstanzlich verfügte Aufrechnung zu bestätigen. Auch diesbezüglich hat es eine ohne (gleichwertige) Gegenleistung zugeflossene und ungewöhnliche Leistung "causa societatis" zum Vorteil des Beschwerdeführers angenommen (vgl. dazu ausführlich E. 17 a.U.).
5.3. Eine weitere, von der Vorinstanz zu Recht bestätigte Aufrechnung beläuft sich auf Fr. 3'850'000.--, d.h. auf die Hälfte der sog. "Erhöhung Escrow per 31.12.2005". Die Escrow-Position gegenüber Q._ wurde in der Bilanz der E._ AG per 31. Dezember 2005 um Fr. 7.7 Mio. von Fr. 188.3 Mio. auf Fr. 196 Mio. erhöht (vgl. dazu auch oben E. 3.3.2, 3.5.3 u. 3.6), während bei der F._ AG im Gegenzug die Schuld der E._ AG (Kontrollkonto Neu-Investor; vgl. oben E. 3.2.2) um Fr. 7.7 Mio. von Fr. 30.09 Mio. auf Fr. 37.79 Mio. anwuchs. So wie die Escrow-Position gesamthaft als Nonvaleur einzustufen war (vgl. oben E. 3.3.2, 3.4.2, 3.6.6 u. 4.3.1), so entsprach auch der auf dem Konto "Kontrollkonto Neu-Investor" verbuchten Forderung im Umfang von Fr. 7.7 Mio. keine Gegenleistung. Das gegenleistungslos eingeräumte Darlehen war eine geldwerte Leistung aus der E._ AG, welche den am Darlehen "Kontrollkonto Neu-Investor" wirtschaftlich Berechtigten zufloss, also zur Hälfte dem Beschwerdeführer (vgl. zum Ganzen ausführlich E. 18 a.U.).
5.4. Auf das angefochtene Urteil kann im Übrigen verwiesen werden, soweit die Vorinstanz noch weitere Aufrechnungen im Gesamtbetrag von Fr. 2'303'893.-- (nämlich Fr. 167'500.--, Fr. 155'000.--, Fr. 20'000.--, Fr. 899'755.-- und Fr. 1'061'638.--) vorgenommen hat (vgl. dazu gesamthaft E. 20 a.U.), dazu daneben aber die folgenden, schon im verwaltungsgerichtlichen Verfahren unbestritten gebliebenen Korrekturen: + Fr. 15'532.-- (Einkommen aus selbständiger Erwerbstätigkeit) - Fr. 5'250'096.-- (zusätzliche Abzüge).
6.
Gesamthaft hat das Verwaltungsgericht somit beim steuerbaren Einkommen des Beschwerdeführers der direkten Bundessteuer 2005 zu Recht Aufrechnungen von insgesamt Fr. 105'033'984.-- bestätigt, mit folgenden Teilaufrechnungen: Fr. 99'127'220.-- (= 1⁄2 von [Fr. 157'654'439.-- + Fr. 37.6 Mio. + Fr. 3 Mio.; vgl. oben E. 4); dazu zusätzlich Fr. 2'303'882.-- (vgl. oben E. 5.1) + Fr. 3'082'050.-- (vgl. oben E. 5.2) + Fr. 3'850'000.-- (vgl. oben E. 5.3) + Fr. 2'303'893.-- (vgl. oben E. 5.4) + Fr. 15'532.-- (vgl. oben E. 5.4) und folgenden Abzügen: Fr. 398'496.-- (vgl. oben E. 5.1) und Fr. 5'250'096.-- (vgl. oben E. 5.4).
III. Kantons- und Gemeindesteuer
7.
7.1. Das Steuerharmonisierungsrecht und das kantonale Steuerrecht stimmen für den Begriff der geldwerten Leistung und für die Einkommens-Generalklausel mit den Bestimmungen des Bundesgesetzes über die direkte Bundessteuer überein. Entsprechend würden sich hier an sich bei der Staatssteuer dieselben Aufrechnungen im gleichen Umfang rechtfertigen.
Nun hat das Verwaltungsgericht aber für die Kantons- und Gemeindesteuer Aufrechnungen im Gesamtbetrag von Fr. 105'031'584.-- bestätigt. Die Differenz gegenüber der direkten Bundessteuer liegt beim (schon vor dem Verwaltungsgericht unbestritten gebliebenen) Betrag zusätzlicher Abzüge (vgl. oben E. 5.4 sowie E. 21 a.U.) : statt - Fr. 5'250'096.-- (direkte Bundessteuer) - Fr. 5'252'496.-- (Kantons- und Gemeindesteuer). Auch vor Bundesgericht ist darauf nicht mehr näher einzugehen.
7.2. Der Vermögenssteuer unterliegt das gesamte Reinvermögen (Art. 13 Abs. 1 StHG). Das Vermögen wird zum Verkehrswert bewertet. Dabei kann der Ertragswert angemessen berücksichtigt werden (Art. 14 Abs. 1 StHG; vgl. im gleichen Sinne Art. 54 ff. des Steuergesetzes vom 8. Juni 1986 für den Kanton Graubünden; StG/GR).
7.2.1. In Anwendung dieser Bestimmungen hat das Verwaltungsgericht erwogen, dass im erstinstanzlichen Verfahren gegenüber dem deklarierten Vermögen von Fr. 0.-- (vgl. oben Sachverhalt/B.) fälschlicherweise "übrige Vermögenswerte" von Fr. 102'625'146.-- aufgerechnet wurden. Korrekterweise hätten sich die Aufrechnungen auf Fr. 103'875'157.-- belaufen müssen, für folgende Beträge: Fr. 112'906'303.-- + Fr. 12'218'854.-- - Fr. 21 '250'000.-- :
• Aufrechnung von Fr. 112'906'303.--: per 31. Dezember 2005 die Hälfte der Darlehensforderung von B._ gegenüber der F._ AG (Darlehen Dr. B._, Konto 250100; Stand per 31. Dezember 2005: Fr. 188'022'941.--) und die Hälfte der Darlehensforderung von B._ gegenüber der E._ AG (Kontrollkonto Neu-Investor; Stand per 31. Dezember 2005: recte Fr. 37'789'664.--), da der Beschwerdeführer an diesen Forderungen zur Hälfte wirtschaftlich berechtigt war (vgl. E. 22.1 a.U.).
• Zusätzlich Aufrechnung von Fr. 12'218'854.--: vom Beschwerdeführer im Jahr 2005 mindestens in diesem Umfang getätigte Bezüge, wobei er seine Forderung gegenüber der F._ AG (Darlehen Dr. B._, Konto 250100) in andere Vermögenswerte umschichtete (vgl. E. 22.2 a.U.).
• Abzug von Fr. 21'250'000.--: Hälfte von Schulden gegenüber den Banken N._ AG ([recte: O._] Fr. 30 Mio. abzüglich Amortisation von Fr. 2.5 Mio.) und O._ ([recte: N._ AG] Fr. 15 Mio.; (vgl. E. 22.3 a.U.)
Der Rechnungsfehler müsste sich an sich zu Ungunsten des Beschwerdeführers auswirken, liegt aber nur bei rund 1.2 % und somit im Bagatellbereich, weshalb von einer Korrektur zu Lasten des Betroffenen Umgang zu nehmen ist (vgl. E. 23 a.U.).
7.2.2. Vor dem Verwaltungsgericht unbestritten geblieben sind zwei weitere Korrekturen im erstinstanzlichen Verfahren, welche die Vorinstanz somit zu Recht bestätigt hat: - Fr. 17'526.-- übrige Geschäftsaktiven; - Fr. 426720.-- Privatwertschriften und Guthaben (vgl. E. 23 a.U.).
7.2.3. Eventualiter beantragt der Beschwerdeführer, die sich aus <ref-ruling> und als Folge der Periode 2003 ergebenden Steuerschulden von Fr. 4'195'831.35 Mio. vom steuerbaren Vermögen 2005 abzuziehen. Die kantonale Steuerverwaltung schliesst auf Gutheissung dieses Eventualantrags. Da das Bundesgericht nicht über die Begehren der Parteien hinausgehen darf (<ref-law>), ist die Beschwerde insoweit gutzuheissen und das steuerbare Vermögen des Beschwerdeführers für 2005 entsprechend von Fr. 102'180'900.--. auf Fr. 97'985'069.-- herabzusetzen.
8.
Die kantonale Steuerverwaltung ersucht das Bundesgericht, neben den Steuerfaktoren auch die jeweiligen Steuerbeträge für Bund, Kanton und Stadt Chur festzulegen (vgl. oben Sachverhalt/E.). Diesem Antrag muss selbst mit Blick auf die per Ende 2020 eintretende absolute Verjährung für die Veranlagung der Steuerperiode 2005 nicht stattgegeben werden. Praxisgemäss kann sich das Bundesgericht darauf beschränken, die Steuerfaktoren rechtskräftig festzulegen, ohne aber so weit gehen zu müssen, diese Festlegung auf die aufgrund dieser Faktoren geschuldeten Steuerbeträge auszudehnen. Sollte die nach diesem Urteil auf kantonaler Ebene vollzogene Berechnung der genannten Beträge angefochten und gegebenenfalls sogar korrigiert werden müssen, so würde das an der am heutigen Tag eintretenden Rechtskraft der Veranlagung für 2005 nichts ändern, sondern nur ein Problem der Bezugsverjährung darstellen.
IV. Kostenfolgen
9.
Nach dem Gesagten unterliegt der Beschwerdeführer vollumfänglich hinsichtlich der Aufrechnungen bei seinem steuerbaren Einkommen, d.h. - in gesamthafter Sicht - zum allergrössten Teil. Er obsiegt nur insofern in geringfügigem Umfang, als sein steuerbares Vermögen in wenig bedeutendem Ausmass herabzusetzen ist. Unter den gegebenen Umständen rechtfertigt es sich, die gesamten Kosten des vorliegenden Verfahrens dem Beschwerdeführer aufzuerlegen und von einer Parteientschädigung zu seinen Gunsten abzusehen (vgl. zum Ganzen Art. 65 f. u. 68 BGG). Da der Eventualantrag erst vor Bundesgericht formuliert worden ist, erübrigt sich auch, die Sache zur Neuverteilung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen und das angefochtene Urteil vom 16. Dezember 2019 bestätigt, soweit das Verwaltungsgericht des Kantons Graubünden für 2005 ein steuerbares Einkommen von Fr. 105'033'984.-- (direkte Bundessteuer) bzw. Fr. 105'031'584.-- (Kantons- und Gemeindesteuer) festgesetzt hat.
2.
Die Beschwerde wird betreffend die Vermögenssteuer teilweise gutgeheissen und das steuerbare Vermögen 2005 auf Fr. 97'985'069.-- festgesetzt.
3.
Die Gerichtskosten von Fr. 80'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung des Kantons Graubünden, der Stadt Chur, dem Verwaltungsgericht des Kantons Graubünden, 4. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 3. Dezember 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter