Sachverhalt:
A.
Mit vom 1./2. Juni 2015 datierten Verfügungen veranlagte die Steuerverwaltung des Kantons Graubünden A._ für die direkte Bundessteuer sowie die Kantons- und Gemeindesteuern der Steuerperioden 2003 und 2004. Das steuerbare Einkommen für 2003 wurde bei der direkten Bundessteuer auf 24'868'700 Franken, der Kantonssteuer auf 24'866'300 Franken und der Gemeindesteuer auf 24'866'300 Franken festgelegt, das Vermögen bei der Kantonssteuer auf 27'191'000 Franken und der Gemeindesteuer auf 25'405'200 Franken. Für 2004 wurde das Einkommen aller Steuern auf Null veranlagt, während sich das veranlagte Vermögen bei der Kantonssteuer auf 28'612'400 Franken und der Gemeindesteuer auf 26'973'300 Franken belief.
Dabei wurden für 2003 beim Einkommen die folgenden Beträge aufgerechnet:
Verdeckte Gewinnausschüttung B._ Fr. 22'500'000
Korrektur Zinsaufwand Darlehen C._ Fr. 275'043
Zusammenarbeitsvertrag Dr. D._ Fr. 475'000
Überweisung E._ Fr. 1'500'000
Die Aufrechnungen beim Vermögen betrugen 27'393'563 Franken (Steuerperiode 2003) und 33'616'069 Franken (Steuerperiode 2004).
Diese Veranlagungen erfolgten, nachdem im Juni 2007 die kantonale Steuerverwaltung die Abteilung Strafsachen und Untersuchungen (nachfolgend: ASU) der Eidgenössischen Steuerverwaltung hinsichtlich eines Darlehens der liechtensteinischen C._ Anstalt an A._ über 22'500'000 Franken informiert hatte, zu dem kein schriftlicher Vertrag vorlag. Nach Durchführung einer besonderen Steueruntersuchung war die ASU dann in einem Bericht vom 9. Mai 2014 zum Schluss gekommen, dass A._ in den Jahren 2003 bis 2008 in grossem Umfange steuerbare Einkünfte und Vermögen nicht deklariert hatte.
Einsprachen gegen die Veranlagungen wies die kantonale Steuerverwaltung am 22. Oktober 2015 ab.
B.
A._ erhob gegen die Einspracheentscheide am 30. November 2015 Beschwerden an das Verwaltungsgericht des Kantons Graubünden. Dabei machte er in prozessualer Hinsicht namentlich geltend, dass das Veranlagungsverfahren bis zu einem rechtskräftigen Entscheid in dem von der ASU beantragten Steuerstrafverfahren zu sistieren sei; eventuell seien die Verfahrensakten von Veranlagungs- und Steuerstrafverfahren zu trennen. Materiellrechtlich verlangte er, die Einspracheentscheide aufzuheben und von Aufrechnungen abzusehen.
Mit Urteil vom 4. April 2017 wies das Verwaltungsgericht die Beschwerde betreffend die direkte Bundessteuer ab, hiess jedoch diejenige gegen die Kantons- und Gemeindesteuern teilweise gut. Es änderte die Einspracheentscheide dahin ab, dass das steuerbare Vermögen für die Periode 2003 neu auf 13'171'050 Franken (Kanton) bzw. 9'985'277 Franken (Stadt F._, satzbestimmend 13'171'050 Franken) bzw. dasjenige der Periode 2004 auf 14'132'410 Franken (Kanton) bzw. 11'225'466 Franken (Stadt F._, satzbestimmend 14'132'410 Franken) festgelegt wurde.
C.
A._ hat am 22. Mai 2017 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Er beantragt, das Urteil des Verwaltungsgerichts vom 4. April 2017 aufzuheben und von einer Aufrechnung betreffend die direkte Bundessteuer für 2003 in der Höhe von 24'750'043 Franken abzusehen. Desgleichen sei betreffend die Kantons- und Gemeindesteuern von den im Umfang von 24'750'043 Franken bei der Einkommenssteuer getätigten und von den bei den Vermögenssteuern vorgenommenen Aufrechnungen für 13'171'050 Franken im Jahr 2003 und 14'132'410 Franken im Jahr 2004 Abstand zu nehmen. Eventualiter beantragt er, die Sache mit der Anweisung zurückzuweisen, das Veranlagungsverfahren bis zum rechtskräftigen Entscheid im Steuerstrafverfahren zu sistieren. Subeventualiter seien die Verfahrensakten zu trennen.
Die Kantonale Steuerverwaltung beantragt in ihrer Vernehmlassung vom 3. Juli 2017, die Begehren abzuweisen. Das Verwaltungsgericht stellt Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei, ohne weitere Ausführungen zu machen. Die Eidgenössische Steuerverwaltung beantragt in ihrer Vernehmlassung vom 13. Oktober 2017 die Abweisung der Beschwerde.
Der Beschwerdeführer erstattete am 24. Januar 2018 eine Replik, welche er am 28. Juni 2018 ergänzte, nachdem das Bundesgericht die zuvor versehentlich unterbliebene Zustellung der Vernehmlassung der Eidgenössischen Steuerverwaltung nachgeholt hatte.
D.
Der Präsident der II. öffentlich-rechtlichen Abteilung hat der Beschwerde mit Verfügung vom 23. Juni 2017 die aufschiebende Wirkung beigelegt.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid über die direkte Bundessteuer sowie die Kantons- und Gemeindesteuern. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) und Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde legitimiert. Auf sein frist- und formgerecht eingereichtes Rechtsmittel ist einzutreten (Art. 42 und 100 BGG).
1.2. Das gilt auch insoweit, als der Beschwerdeführer das vorinstanzliche Urteil mit einer einzigen Beschwerdeeingabe anficht. Allerdings sind direkte Bundessteuer und kantonale Steuer auseinanderzuhalten, da sich unterschiedliche Rechtsfragen stellen können. Hier ist das namentlich hinsichtlich der Verjährung der Fall. Für die Steuerperiode 2004 ist ohnehin allein die kantonale Vermögenssteuer angefochten.
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht und Völkerrecht gerügt werden. Das Bundesgericht ist an die Sachverhaltsfestellungen der Vorinstanz gebunden (<ref-law>). Es kann sie nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 beruhen (<ref-law>). Offensichtlich unrichtig ist die Sachverhaltsfestellung, wenn sie willkürlich ist (<ref-ruling> E. 1.3.1 S. 253; <ref-ruling> E. 2 S. 116 f.). Willkür liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klaren Widerspruch steht. Dass eine andere Würdigung ebenfalls vertretbar oder gar zutreffender erscheint, genügt dabei für die Annahme von Willkür nicht (<ref-ruling> E. 4.3 S. 319, mit Hinweisen). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Appellatorische Kritik ist nicht zu hören (<ref-ruling> E. 2.4 S. 367 f.).
I. Prozessuale Rügen
2.
2.1. Der Sachverhalt, wie er den Veranlagungen der Steuerjahre 2003 und 2004 sowie dem angefochtenen Urteil zugrundeliegt, ist im Wesentlichen durch Untersuchungen der ASU ermittelt worden.
2.1.1. Das ist ein Verfahren, das bei begründetem Verdacht auf schwere Steuerwiderhandlungen angehoben werden kann (<ref-law>). Dessen Untersuchungsmassnahmen richten sich nach den Art. 19-50 des Bundesgesetzes über das Verwaltungsstrafrecht vom 22. März 1974 (VStrR; SR 313.0; Art. 191 und 192 DBG). In einem solchen Verfahren sind somit die Garantien und Regeln des Verwaltungsstrafrechts einzuhalten, die es im Lichte von Art. 6 EMRK auszulegen gilt. Sollten sie damit nicht vereinbar sein, hätten sie zurückzutreten.
2.1.2. Das Verwaltungsstrafrecht, das auf das ASU-Verfahren anwendbar ist, sieht Zwangsmittel vor, von denen, etwa durch Hausdurchsuchung, Gebrauch gemacht werden kann. Solche strafprozessuale Zwangsmassnahmen stellen keine Form von unverhältnismässig ausgeübtem Zwang ("improper compulsion") dar (<ref-ruling> E. 3 S. 388 ff.). Vielmehr handelt es sich um Beweismassnahmen, welche dem Staat zwecks Abklärung des Verdachts einer Straftat zur Verfügung stehen und auf die er jederzeit zurückgreifen kann.
2.1.3. Das ASU-Verfahren wird mit einem Bericht der Eidgenössischen Steuerverwaltung abgeschlossen (<ref-law>). Dieser Bericht hält die Einstellung der Untersuchung fest, wenn keine Widerhandlung vorliegt (<ref-law>). Wenn die Eidgenössische Steuerverwaltung aber zum Ergebnis gelangt, dass eine Steuerwiderhandlung zu ahnden ist, so verlangt sie von der kantonalen Verwaltung im Falle einer Steuerhinterziehung die Durchführung eines Hinterziehungsverfahrens (<ref-law>). Bei einem Steuervergehen wird Anzeige bei der kantonalen Strafverfolgungsbehörde erstattet (<ref-law>).
2.2. Vorliegend erfolgte die Ermittlung des Sachverhalts durch die ASU, wie es der gesetzlichen Voraussetzung dieses Verfahrens entspricht (<ref-law>), aufgrund eines begründeten Verdachts auf Steuerwiderhandlung. Das ASU-Verfahren wurde somit zulässigerweise angehoben. Durch eine Hausdurchsuchung wurde auch von strafprozessualen Zwangsmassnahmen Gebrauch gemacht, ohne dass dabei aber durch Art. 6 EMRK garantierte strafprozessuale Vorschriften verletzt worden wären.
2.2.1. In ihrem Untersuchungsbericht vom 9. Mai 2014 hat die ASU von der kantonalen Steuerbehörde die Durchführung eines Strafverfahrens wegen versuchter Steuerhinterziehung verlangt (Untersuchungsbericht, Antrag Ziff. 6.2). Eine Strafanzeige wegen Steuerbetrugs hat sie nicht selber erstattet, sondern der kantonalen Steuerverwaltung beantragt, dieses zu tun (Untersuchungsbericht, Antrag Ziff. 6.4).
2.2.2. Bis anhin ist weder das Strafverfahren wegen versuchter Hinterziehung angehoben noch eine Anzeige wegen versuchten Steuerbetrugs erstattet worden. Stattdessen ist das Veranlagungsverfahren, das bei Einleitung des ASU-Verfahrens noch nicht abgeschlossen war, vorgezogen worden.
2.3. Dadurch ist es zu einer Vermischung des Straf- und des Veranlagungsverfahrens gekommen, wie der Beschwerdeführer hervorhebt. Das lässt sich jedoch in der Praxis oft nicht vermeiden. Diese Vermischung kann unter Umständen dazu führen, dass gegen strafprozessuale Verfahrensgarantien verstossen wird. Das ist hier aber nicht der Fall.
2.3.1. Der Beschwerdeführer beruft sich auf das Urteil des Europäischen Gerichtshofs für Menschenrechte (EGMR) i.S. Chambaz c/ Schweiz vom 5. April 2012. Er leitet daraus ab, die Vermischung von Veranlagungs- und Strafverfahren müsse dazu führen, dass die Garantien von Art. 6 EMRK für ein faires Strafverfahren auch im Veranlagungsverfahren einzuhalten seien. Das sei aber nur zu gewährleisten, wenn zunächst das Strafverfahren durchgeführt und das Veranlagungsverfahren so lange sistiert bleibe, allenfalls dadurch, dass die Verfahrensakten strikt auseinandergehalten und getrennt würden.
Eine unzulässige Vermischung könnte je nachdem dann vorliegen, wenn der Beschwerdeführer im fortgeführten Veranlagungsverfahren unter Androhung von Strafe zur Mitwirkung bei der Sachverhaltsermittlung angehalten worden wäre, was dem Grundsatz widersprochen hätte, sich in einem Strafverfahren nicht selbst belasten und zu seiner eigenen Verurteilung beitragen zu müssen (<ref-ruling> E. 8.3 S. 214 f., mit Hinweisen).
Im hier zu beurteilenden Veranlagungsverfahren wurde der Beschwerdeführer jedoch zu keinem Zeitpunkt unter Strafandrohung veranlasst, Aussagen zu machen oder bestimmte Akten einzureichen, welche später im Strafverfahren verwendet werden könnten. Ebenso wenig wurde in Aussicht genommen, eine Ermessensveranlagung vorzunehmen, wenn der Steuerpflichtige nicht bestimmte Belege beibringe. Es kann somit zum Vornherein nicht gesagt werden, es liege ein Verstoss gegen das strafprozessuale und durch Art. 6 EMRK geschützte Verbot des Selbstbelastungszwangs vor.
2.3.2. Im Urteil Chambaz hat der EGMR für massgebend erachtet, dass nach der damaligen Rechtslage der Steuerpflichtige keine Gewissheit haben konnte, dass die unter Strafandrohung erhältlich gemachten Sachverhaltselemente nicht doch bei der strafrechtlichen Beurteilung Verwendung finden könnten.
Hier stellt sich die Frage aber anders, geht es doch nicht um eine allfällige spätere strafrechtliche Beurteilung, sondern ausschliesslich um das steuerrechtliche Verfahren. Das Veranlagungsverfahren ist ein Fiskalverfahren, das weder als straf- noch als zivilrechtliche Streitigkeit im Sinne von Art. 6 EMRK gilt. Gegen diese Bestimmung verstösst es auch nicht, wenn Sachverhaltsermittlungen durch strafprozessual zulässige Zwangsmassnahmen im Veranlagungsverfahren Verwendung finden.
Richtig ist zwar, dass die Verfahrensvorschriften des Veranlagungsverfahrens selber keine Zwangsmassnahmen in Form von Hausdurchsuchung und Ähnlichem vorsehen. Im Veranlagungsverfahren trägt grundsätzlich die Steuerbehörde die Beweislast für steuerbegründende und -erhöhende, die steuerpflichtige Person jene für die steueraufhebenden und -mindernden Tatsachen (<ref-ruling> E. 3.5 S. 252), wobei sich Modifikationen aus der mitwirkungsorientierten Beweislastverteilung ergeben können (Urteil 2C_16/2015 vom 6. August 2015, E. 2.5.4, in: ASA 84 S. 254).
Im Veranlagungsverfahren bestehen somit Mitwirkungspflichten, die bei Auslandsachverhalten erhöht sein können (vgl. dazu Urteil 2C_16/2015 vom 6. August 2015, E. 2.5.2, in: ASA 84 S. 254), und deren Verweigerung Auswirkungen auf die Beweislast haben kann (vgl. dazu auch unten E. 8.3.1, 8.4.1 u. 8.4.2). Wird der Steuerpflichtige aber nicht zur Mitwirkung gezwungen und trägt er bloss die Folgen davon, dass ein ihm obliegender Beweis nicht erbracht ist, so entspricht dies der Rechtslage, wie sie sich aus der materiellen Anwendung der Steuernormen ergibt. Ein Zwang zur Selbstbelastung liegt darin nicht.
2.3.3. Die unter den gegebenen Umständen unvermeidliche Vermischung von Straf- und Veranlagungsverfahren erweist sich somit für das hier zu beurteilende Steuerverfahren nicht als problematisch. Die hypothetische Möglichkeit, dass die Behörden später im Strafverfahren die gültigen Gesetzesbestimmungen bzw. die anwendbaren Verfahrensgarantien missachten würden, kann für das Veranlagungsverfahren nicht schädlich sein. Es folgt daraus, dass es keine Veranlassung gibt, das Veranlagungsverfahren zu sistieren und zunächst das Hinterziehungs- oder gar das Strafverfahren wegen versuchten Steuerbetrugs durchzuführen. Auch besteht kein Grund, die im ASU-Verfahren erhobenen Akten für die Verwendung im Veranlagungsverfahren auszuschliessen.
3.
Der Beschwerdeführer macht verschiedene Verletzungen seines Anspruchs auf rechtliches Gehör geltend: Er habe nicht vollständige Akteneinsicht erhalten; auch habe keine Konfrontationseinvernahme stattgefunden; namentlich habe er keine Möglichkeit erhalten, D._, auf dessen Aussagen abgestellt worden sei, Ergänzungsfragen zu stellen; zudem habe er keine hinreichende Gelegenheit erhalten, sich vor Erlass des Entscheides zu äussern; im Übrigen seien von ihm angebotene Beweise unzulässigerweise nicht abgenommen worden.
3.1. Der Anspruch auf rechtliches Gehör (<ref-law>) umfasst als Mitwirkungsrecht all jene Befugnisse, die einem Betroffenen einzuräumen sind, damit er seinen Standpunkt wirksam zur Geltung bringen kann (<ref-ruling> E. 5.1 S. 293). Daraus folgt das Recht auf Einsicht in die Akten (<ref-ruling> E. 3.1 S. 494), sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zur Sache zu äussern sowie der Anspruch auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel (<ref-ruling> E. 3.4 S. 102 f., mit Hinweisen).
3.1.1. Das Akteneinsichtsrecht bezieht sich auf sämtliche Akten eines Verfahrens, die für dieses erstellt oder beigezogen wurden, ohne dass ein besonderes Interesse geltend gemacht werden müsste (<ref-ruling> E. 3 S. 253 f.) und unabhängig davon, ob aus Sicht der Behörde die fraglichen Akten für den Ausgang des Verfahrens bedeutsam sind (<ref-ruling> E. 3.2 S. 389).
Der Anspruch gilt nicht absolut; er kann aus überwiegenden Interessen durch Abdeckung und nötigenfalls Aussonderung eingeschränkt werden; auf solchermassen geheim gehaltene Akten darf nur insoweit abgestellt werden, als deren wesentlicher Inhalt unter Wahrung der Äusserungsmöglichkeit bekannt gegeben wird (<ref-ruling> E. 5c S. 304; Art. 114 Abs. 2 und 3 DBG).
3.1.2. In Strafverfahren ist als Konkretisierung des rechtlichen Gehörs durch Art. 6 Ziff. 3 lit. d EMRK und <ref-law> gewährleistet, dass eine belastende Aussage grundsätzlich nur verwertbar ist, wenn der Beschuldigte wenigstens einmal während des Verfahrens angemessene und hinreichende Gelegenheit hatte, die Aussage in Zweifel zu ziehen und Fragen an den Belastungszeugen zu stellen (<ref-ruling> E. 2.2 S. 480 ff.; <ref-ruling> E. 3.1 S. 153 f.).
3.1.3. Der Richter kann das Beweisverfahren schliessen, wenn die Anträge nicht erhebliche Tatsachen betreffen. Gleichermassen kann er Beweisanträge ohne Verletzung des rechtlichen Gehörs ablehnen, wenn er aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E 3.3 S. 64, mit Hinweis).
3.2. Das Verfahren, das Gegenstand dieses Urteils bildet, ist - wie bereits hervorgehoben (vgl. oben E. 2.2.2 u. 2.3.2) - das Veranlagungsverfahren der Steuerperioden 2003 und 2004. Das Akteneinsichtsrecht gilt in diesem Verfahren umfassend und ohne dass es darauf ankäme, ob bestimmte Aktenstücke für den Verfahrensausgang bedeutsam sind oder nicht (vgl. oben E. 3.1.1).
3.2.1. Die ASU hat sämtliche Akten, die sie für bedeutsam erachtete, auf CD-Rom gespeichert und sie so dem Beschwerdeführer zugänglich gemacht. Nicht gespeichert hat sie Akten, welchen sie keine Relevanz beimass. Daraus kann das Problem entstehen, dass dem Steuerpflichtigen Unterlagen vorenthalten bleiben, die er anders einschätzt und auf die er sich - würde er sie sehen - für seinen Rechtsstandpunkt berufen würde. Das wäre z.B. dann der Fall, wenn sich in den fraglichen Akten entlastende Unterlagen finden würden, welche aber im ASU-Bericht nicht erwähnt wären.
3.2.2. Dieses mögliche Problem stellt sich hier jedoch nicht. Das Verwaltungsgericht hat sich nämlich darüber vergewissert, dass der Beschwerdeführer umfassend Einsicht in die ASU-Akten nehmen konnte.
Wie es festgehalten hat, wurden Beschlagnahmeprotokolle erstellt und darin sämtliche Ordner sowie Dokumentenmappen verzeichnet. Dem Beschwerdeführer wurden die Untersuchungsberichte (ihn sowie die G._ AG betreffend) samt Aktenverzeichnissen und einer CD-Rom mit den wesentlichen Unterlagen eröffnet. Gleichzeitig wurde er auf sein Akteneinsichtsrecht hingewiesen.
Gemäss der Vorinstanz nahm der Beschwerdeführer das Einsichtsrecht tatsächlich wahr; gewünschte Unterlagen wurden ihm teilweise elektronisch übermittelt. Dass er umfassende Einsicht gehabt habe, bestätige er gerade mit seiner Beanstandung, gewisse Akten habe die ASU aufbereitet, paginiert und mittels CD-Rom zugänglich gemacht, während andere eingelagert seien, wo sie nur mit erheblichem Aufwand für sämtliche Beteiligten einsehbar seien (vgl. zum Ganzen E. 10a S. 46 f. des angefochtenen Urteils).
3.2.3. Im bundesgerichtlichen Verfahren nimmt der Beschwerdeführer darauf Bezug und lässt sich wie folgt ein (Beschwerde, Rz. 99 S. 31) : "Die Einsicht ist zwar theoretisch möglich, war aber faktisch aufgrund der Vielzahl der Dokumente während der Rechtsmittelfrist unmöglich, und erst in diesem Zeitpunkt wusste der Beschwerdeführer, welche Dokumente allenfalls gesucht werden mussten." Er bestätigt damit, dass er die Möglichkeit gehabt hat, umfassende Einsicht in die Akten zu nehmen, wenngleich nicht sämtliche Akten auf CD-Rom aufbereitet waren. Ein solcher Anspruch auf Aufbereitung ergibt sich aus dem Akteneinsichtsrecht jedoch nicht. Entscheidend bleibt, dass er die Möglichkeit hatte, die Akten zu sichten. Etwaige faktische Schwierigkeiten, die sich aus der Menge der Dokumente ergeben mögen, können daran für die rechtliche Beurteilung nichts ändern.
3.3. Der Beschwerdeführer macht nun allerdings noch geltend (Beschwerde, Rz. 101 S. 31 f.), es seien ihm nicht alle Einvernahmeprotokolle von D._ offengelegt und bestimmte Unterlagen der H._ Inc. sowie der I._ Ltd. vorenthalten worden.
3.3.1. Dazu hält die EStV in ihrer Vernehmlassung fest, es handle sich um wenige Unterlagen, welche die persönliche steuerliche Situation von D._ beträfen, dem Steuergeheimnis unterlägen und keinen Bezug zur Steuersituation des Beschwerdeführers hätten (Vernehmlassung, Ziff. 2.3.5 S. 8 f.). Die EStV macht damit eine Situation geltend, die eine Beschränkung des Akteneinsichtsrechts erlaubt.
3.3.2. Ob die Grenzen der Beschränkungsmöglichkeit tatsächlich eingehalten sind, lässt sich allerdings nur durch Sichtung dieser Akten entscheiden, welche sich bei der ASU befinden. Deshalb hätte der Beschwerdeführer dort Einsicht verlangen und bei Verweigerung gegebenenfalls Beschwerde dagegen ergreifen sollen. Im Veranlagungsverfahren selber bedürfte es vorerst des Beizugs der Akten, der sich aber nur rechtfertigen könnte, wenn plausibel dargetan wäre, dass diese Akten bedeutsam sein könnten. Das aber ist nicht der Fall.
3.4. Der Beschwerdeführer beanstandet unter dem Gesichtspunkt des rechtlichen Gehörs im Übrigen, dass keine Konfrontationseinvernahme mit den Zeugen D._ und J._ durchgeführt und seinen Anträgen auf Einvernahme derselben in antizipierter Beweiswürdigung nicht stattgegeben worden sei, ebenso nicht den Editionsanträgen.
3.4.1. Dazu ist zunächst zu sagen, dass sich das unbedingte Recht, an Zeugen, auf deren belastende Aussagen abgestellt wird, ergänzende Fragen zu stellen, auf das Strafverfahren bezieht (vgl. oben E. 3.1.2). Hier geht es jedoch um das Veranlagungsverfahren. In diesem, wie in jedem Verwaltungsverfahren, besteht das Recht, sich zu den in den Akten liegenden Beweismitteln (so auch zu einem beigezogenen Einvernahmeprotokoll aus dem ASU-Verfahren) zu äussern und gegebenenfalls zu verlangen, dass nochmals eine Einvernahme durchgeführt wird. Einem solchen Antrag ist aber nicht in jedem Fall stattzugeben, vielmehr kann er unter den Voraussetzungen der antizipierten Beweiswürdigung abgelehnt werden (vgl. oben E. 3.1.3).
3.4.2. Was D._ betrifft, so ist festzuhalten, dass der Beschwerdeführer am 6. Mai 2014 im ASU-Verfahren Gelegenheit hatte, Fragen zu stellen. Das schliesst nicht aus, dass sich im Veranlagungs-, Einsprache- oder Beschwerdeverfahren eine weitere Einvernahme aufdrängen könnte und eine Verweigerung derselben das rechtliche Gehör verletzen würde. Das ist aber im Zusammenhang mit der Feststellung des rechtserheblichen Sachverhalts und der Beweiswürdigung zu beurteilen (vgl. unten E. 5; siehe u.a. auch E. 8.3.2), welche ihrerseits von der materiellen Rechtslage abhängt. Dasselbe gilt für die Editionsbegehren. Es wird darauf also bei der materiellrechtlichen Beurteilung zurückzukommen sein.
II. Direkte Bundessteuer 2003
4.
In der Steuerperiode 2003 haben die Steuerverwaltung und die Vorinstanz vier Beträge von insgesamt 24'750'043 Franken als steuerbares Einkommen aufgerechnet.
4.1. Nach Auffassung der Behörden handelt es sich beim aufgerechneten Betrag von 22'500'000 Franken um eine geldwerte Leistung aus der B._ AG, während der Beschwerdeführer geltend macht, der Betrag sei Teil eines von der liechtensteinischen C._ Anstalt gewährten Darlehens, für welches Zinsen von 275'043 Franken zu leisten gewesen seien. Dieses Darlehen erachten die Veranlagungsbehörde und das Verwaltungsgericht jedoch als fiktiv, weshalb auch der damit verbundene Zinsaufwand geschäftsmässig nicht begründet ist (vgl. zum Ganzen unten E. 5 - 6).
4.2. Aufgerechnet worden ist sodann Einkommen von 475'000 Franken aus selbständiger Tätigkeit. Der Betrag steht in Verbindung mit dem Zusammenarbeitsvertrag gegenüber D._. Nach Meinung des Beschwerdeführers handelt es sich bei dieser Zahlung von D._ um ein Honorar, das die Steuerperiode 2004 betrifft (vgl. unten E. 7)
4.3. Weiter sind 1'500'000 Franken im Zusammenhang mit der Tätigkeit für die Baugesellschaft E._ aufgerechnet worden. Dagegen vertritt der Beschwerdeführer die Auffassung, der genannte Betrag stelle - für durch ihn erbrachte Aufwendungen - eine erfolgsneutrale Zahlung von J._ dar (vgl. unten E. 8).
5.
5.1. Der Aufrechnung einer geldwerten Leistung der B._ AG an den Beschwerdeführer liegt nach den Feststellungen des Verwaltungsgerichts folgender Sachverhalt zugrunde:
5.1.1. Der Beschwerdeführer war Alleinaktionär der K._ Holding AG und D._ Alleinaktionär der H._ Inc. Diese beiden Gesellschaften waren zu je 50 % an der L._ AG beteiligt, welche am 23. September 2003 als Akquisitionsgesellschaft zwecks Erwerb der B._-Gruppe (bestehend aus der B._ AG und einer Beteiligung von 33,7 % an der M._ AG, welche ihrerseits Alleinaktionärin der N._ AG, der O._ AG und der P._ AG ist) gegründet wurde.
5.1.2. Mit Kaufvertrag vom 29. Oktober 2003 erwarb die L._ AG von der Erbengemeinschaft Q.S._ und von R.S._ 100 % der Aktien der B._ AG sowie 33,7 % der Aktien an der M._ AG; die weiteren 66,3 % der Aktien befanden sich im Eigentum der B._ AG. Die L._ AG bezahlte einen Kaufpreis von 44'518'000 Franken, welcher durch Übergabe von zwei kreditfinanzierten Bankchecks der Bank T._ geleistet wurde; Kreditschuldnerin war die L._ AG, deren Konto mit Buchungs- und Valutadatum vom 28. Oktober 2003 mit 44'518'020 Franken belastet worden war, allerdings wurde das Valutadatum am 7. November 2003 auf den 31. Oktober 2003 abgeändert.
5.1.3. Mit Kaufvertrag vom 29. Oktober 2003 erwarb die B._ AG eine Beteiligung (1'400 Aktien bzw. 23.79 % des Aktienkapitals) an der U._ Corporation für 45'000'000 Franken von der V._ Ltd., welche diese Aktien ihrerseits einen Tag zuvor von der I._ Ltd. erworben hatte. Den Kaufpreis finanzierte die B._ AG, indem sie bei ihren Enkelgesellschaften N._ AG und O._ AG Darlehen von insgesamt 45'000'000 Franken aufnahm, welche mit Valutadatum 31. Oktober 2003 (am 7. November korrigiert auf den 28. Oktober) direkt an die V._ Ltd. flossen.
5.1.4. Die Enkelgesellschaften ihrerseits finanzierten diese Darlehen, indem sie bei der Bank T._ hypothekarisch gesicherte Darlehen in dieser Höhe aufnahmen. Allerdings, so die Feststellungen des Verwaltungsgerichts (vgl. u.a. E. 20b/aa S. 102 ff. des angefochtenen Urteils), wurde die U._-Beteiligung der B._ AG lediglich treuhänderisch übertragen und erwarb sie nicht das wirtschaftliche Eigentum an dieser Beteiligung; auch war ein Kaufpreis von 45'000'000 Franken gemäss denselben Feststellungen massiv übersetzt; gemessen an zeitnahen Transaktionen betrug er vielmehr nur 800'800 Franken (E. 21).
5.1.5. Mit Valutadatum 31. Oktober 2003 überwies die I._ Ltd. den liechtensteinischen Anstalten C._ und W._ je einen Betrag von 22'500'000 Franken auf deren Konti bei der Bank T._. Von der C._ floss der Betrag gleichentags an den Beschwerdeführer und von der W._ an die H._ Inc. Verbucht wurden diese Zahlungen zwar als Darlehen, doch handelte es sich in Wirklichkeit um die Weiterleitung des von der B._ AG ohne echte Gegenleistung erfolgten Geldflusses an die V._ Ltd. bzw. von dieser an die I._ Ltd. Vom Beschwerdeführer floss der Betrag von 22'500'000 Franken schliesslich als Darlehen (E. 27 b - d S. 159 ff. des angefochtenen Urteils) an die K._ Holding AG, deren Alleinaktionär er ist. Ebenfalls am 31. Oktober 2003 leiteten die K._ Holding AG und die H._ Inc. von D._ die erhaltenen Beträge an die L._ AG weiter, die damit den Kredit von 45'000'000 Franken bei der Bank T._ für den Kauf der B._-Gruppe tilgte.
5.1.6. Graphisch lassen sich die Geldflüsse wie folgt darstellen:
5.2. Sachverhaltlich unbestritten ist, dass der Beschwerdeführer und D._ von der Erbengemeinschaft für 44,5 Mio. Franken die B._ AG erwarben, welche über ein ausgewiesenes Eigenkapital von 1,7 Mio. Franken verfügte, aber auf ihrer Immobilienbeteiligung substantielle stille Reserven hatte. Diese konnten durch Aufnahme von grundpfandgesicherten Darlehen "mobilisiert" werden; aus ihnen wurde der Kauf finanziert (Beschwerde, Rz. 187 S. 59 f.). Die damit einhergehenden Geldflüsse stehen als solche ebenfalls ausser Streit (Beschwerde, Rz. 201 S. 65; Vernehmlassung vom 28. Juni 2018, Rz. 81 S. 25).
5.3. Uneinigkeit besteht jedoch bezüglich des Erwerbs der U._-Beteiligung durch die B._ AG zum Preis von 45 Mio. Franken (vgl. oben E. 5.1.3 - 5.1.5) : Gemäss dem angefochtenen Urteil wurde diese Beteiligung der B._ AG lediglich treuhänderisch übertragen (vgl. unten E. 5.4), und sie hatte nur einen Wert von 800'800 Franken (E. 5.5). Nach Auffassung des Beschwerdeführers erfolgte die Übertragung reell, und sie war werthaltig.
5.4. Die Vorinstanz hat festgehalten, dass die Beteiligung nicht zu wirtschaftlichem Eigentum, sondern nur als Treugut auf den Beschwerdeführer und D._ übertragen wurde.
5.4.1. Für diese Beurteilung hat sich das Verwaltungsgericht im Wesentlichen auf den Entwurf für eine Vereinbarung zwischen D._ und dem Beschwerdeführer gestützt (vgl. u.a. E. 20b/aa S. 102 ff. des angefochtenen Urteils), welcher vom 28. Oktober 2003 datierte, d.h. dem Vortag des Abschlusses des Kaufvertrags zum Erwerb der B._-Gruppe und des gleichentags Zug um Zug erfolgten Closings. Dieser Entwurf sah ausdrücklich "die treuhänderische Aktienübernahme von 1400 Aktien der U._ im Umfang von CHF 45.0 Mio. durch die B._ AG" vor, erwähnte daneben Put-/Call-Bestimmungen als Teil einer Gesamtkonzeption, bezeichnete die Vereinbarung als Rahmenvertrag für den ganzen Ablauf der Transaktion (welche den Bestimmungen in den einzelnen Vertragsverhältnissen vorzugehen hätte) und sollte als vertrauliches Dokument für den internen Gebrauch bestimmt sein.
5.4.2. Dem hält der Beschwerdeführer entgegen, bei der Vereinbarung vom 28. Oktober 2003 habe es sich bloss um einen Entwurf gehandelt, der nicht umgesetzt worden sei, sondern stattdessen die Put-/Call-Option, welcher der Zweck zugekommen sei, die B._ AG gegen allfällige Wertverluste abzusichern.
Die Vorinstanz hat nicht verkannt, dass die Vereinbarung vom 28. Oktober 2003, in welcher eine treuhänderische Übertragung der U._-Beteiligung vorgesehen war, als Entwurf bezeichnet ist. Sie hat aber berücksichtigt, dass der Entwurf nur einen Tag vor Umsetzung erstellt wurde, die Put-/Call-Option in diesem Entwurf bereits im Sinne einer Gesamtkonzeption vorgesehen war und somit nicht als eine davon abweichende Variante des Vorgehens erscheint, und ausserdem geplant war, dass der Entwurf die vertrauliche Grundlage bilden und nicht nach aussen in Erscheinung treten sollte.
In Bezug auf die Put-/Call-Option Vereinbarung vom 28. Oktober 2003 zwischen der L._ AG und der I._ Ltd. hat das Verwaltungsgericht festgehalten, dass die Vereinbarung keine Absicherungsfunktion für die B._ AG hatte und am 12. Februar 2007 auch aufgehoben wurde, ohne dass sie ausgeübt worden wäre. Weiter wurde die Beteiligung von der B._ AG an die I._ Ltd. veräussert, wobei diese keinen Kaufpreis bezahlen musste, was zusätzlich zeigte, dass der genannten Option für die B._ AG keine Sicherungsfunktion zukam (E. 20c/ee S. 118 unten des angefochtenen Urteils).
Die Vorinstanz hat zusätzlich auf zahlreiche weitere Aspekte verwiesen, unter anderem darauf, dass der "Kaufpreis" für die U._-Beteiligung sich nicht an ihrem Wert orientierte, sondern am Kaufpreis der B._-Gruppe (Urteil, E. 21e S. 130 f.). Die Put-/Call-Option ermöglichte auch gar keine Absicherung, da nicht die B._ AG Vertragspartei war, sondern vielmehr die L._ AG gegenüber der I._ (E. 20c/bb S. 108). Das bestätigte sich im Jahre 2007, indem die Übertragung an die I._ Ltd ohne Gegenleistung erfolgte (E. 20c/cc S. 109 f.). Aus Sicht der B._ AG wäre ein Optionskonstrukt ökonomisch ohne Sinn (denn ohne Aussicht auf Rendite) gewesen, weil die I._ die Option bei positiver Entwicklung zum gleichen Preis hätte zurückverlangen können (E. 20 c/ff S. 120).
Ferner hat das Verwaltungsgericht hervorgehoben, dass in den Jahresabschlüssen 2003/2004 und 2004/2005 kein Hinweis auf ein Recht auf Veräusserung zum vollen Kaufpreis von 45 Mio. Franken enthalten war, was zu erwarten gewesen wäre, wenn ein solches bestanden hätte. Ebenso wurden keinerlei Vorkehren/Abklärungen über die Bonität der Offshore-Gesellschaft I._ Ltd. getroffen, was bei einem in Frage stehenden Ausübungspreis in dieser Grössenordnung jeglichem Drittvergleich widersprach.
5.4.3. Aus alldem hat die Vorinstanz den Schluss gezogen, dass die Optionsvereinbarung keinen anderen Gehalt als die in der Vereinbarung zwischen dem Beschwerdeführer und D._ skizzierte Optionsklausel hatte. Diese statuierte faktisch nur das Recht von D._, die Beteiligung an der U._ Corporation ohne Leistung einer Entschädigung wieder zurückzunehmen.
5.5. Das Verwaltungsgericht hat ausserdem die vom Beschwerdeführer geltend gemachte Bewertung der U._-Beteiligung von 1'400 Aktien in Höhe von 45 Mio. Franken als offensichtlich übersetzt eingestuft.
Das stützt sich u.a. auf Folgendes: D._ bezahlte am 7. Juni 2001 für 3'000 U._-Aktien einen Preis von 1,5 Mio. USD und für ein zweites Paket von 1'000 Aktien am 15. April 2002 217'576 USD. Damit wäre aber der Aktienpreis für die U._-Beteiligung 56-mal höher gewesen als der Durchschnittspreis und 111-mal höher als der Preis der zeitnäheren Transaktion vom 15. April 2002, obwohl die U._ Corporation im Zeitpunkt des Erwerbs durch die B._ AG über kein marktfähiges Produkt verfügte und in den Jahren 2001 bis 2009 auch keine namhaften Umsätze erzielte.
5.6. Gesamthaft ist auf der Sachverhaltsebene somit von der Feststellung des Verwaltungsgerichts auszugehen, wonach die U._-Beteiligung von der B._ AG als Treugut auf den Beschwerdeführer sowie auf D._ überging und im Übrigen ihr Wert nicht 45 Mio. Franken betrug, sondern einen solchen von 800'800 Franken. Weiterer Beweismassnahmen bedurfte es nicht, und entsprechend ist auch das rechtliche Gehör nicht verletzt.
5.6.1. Die verschiedenen Einwendungen, die der Beschwerdeführer dagegen vorbringt (vgl. oben 5.4.2), vermögen - weder gesamthaft noch einzeln - die Feststellungen der Vorinstanz als offensichtlich unrichtig erscheinen zu lassen, was im Hinblick auf <ref-law> erforderlich wäre, damit die vorinstanzliche Beweiswürdigung für das Bundesgericht nicht verbindlich wäre (vgl. oben E. 1.3).
5.6.2. Für die Frage, ob die U._-Beteiligung der B._ AG zu treuen Handen oder zu wirtschaftlichem Eigentum übertragen wurde, kommt es darauf an, dass die Vorinstanz aufgrund der Gesamtheit der vorgetragenen Sachverhaltsaspekte zur Überzeugung gelangt ist, dass die Übertragung treuhänderisch erfolgte. Das ist ausreichend, und es kann dem Verwaltungsgericht nicht Willkür vorgeworfen werden, ebenso wenig wie die Verkennung der Beweislast oder der Anforderungen an das Beweismass, wenn es auf dem Weg zu dieser Überzeugung einzelne Vorbringen der Parteien für mehr oder weniger wahrscheinlich erachtet hat.
6.
6.1. Gemäss <ref-law> sind als Ertrag aus beweglichem Vermögen insbesondere steuerbar Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art.
Der Tatbestand der geldwerten Leistung charakterisiert sich dadurch, dass die leistende Kapitalgesellschaft oder Genossenschaft für ihre Leistung keine oder keine gleichwertige Gegenleistung erhält, der Beteiligungsinhaber der Kapitalgesellschaft oder Genossenschaft direkt oder indirekt (z.B. über eine ihm nahestehende Person oder Unternehmung) einen Vorteil erlangt, die Kapitalgesellschaft oder Genossenschaft diesen Vorteil einer nicht nahestehenden, also fernstehenden Person unter gleichen Bedingungen nicht zugestanden hätte, weshalb die Leistung insofern ungewöhnlich ist (Kriterium des Drittvergleichs), und der Charakter dieser Leistung für die Organe der Kapitalgesellschaft oder Genossenschaft erkennbar war (<ref-ruling> E. 4.1 S. 91 f.; <ref-ruling> E. 2.2 S. 59 f.; <ref-ruling> E. 5.1 S. 607; <ref-ruling> E. 2 S. 119; <ref-ruling> E. 2b S. 435).
6.2. Im vorliegenden Fall sind diese Voraussetzungen erfüllt, wie das Verwaltungsgericht zu Recht erwogen hat.
6.2.1. Zu beurteilen ist der lediglich treuhänderische Erwerb der zudem nur beschränkt werthaltigen U._-Beteiligung (vgl. oben E. 5.4 - 5.6) durch die B._ AG von der V._ Ltd. zum Preis von 45 Mio. Franken, welche ihrerseits die Aktien von der I._ erhalten hatte. Dieser Erwerb ermöglichte es den Beteiligten, aus der Substanz der B._ AG eine Leistung in der genannten Höhe abzuziehen und sie auf die I._ zu verschieben. Von dort aus wurden je 22,5 Mio. Franken an die C._ Anstalt und von dieser an den Beschwerdeführer sowie an die W._ Anstalt, sodann weiter an die H._ Inc. von D._ geleitet. Buchhalterisch wurden die Leistungen als Darlehen erfasst, ohne dass schriftliche Darlehensverträge vorlagen.
Da gegen die Zahlung von der B._ AG an die V._ Ltd. lediglich das treuhänderische Eigentum übertragen wurde, liegt keine adäquate Gegenleistung vor. Die Zahlung von 45 Mio. Franken stellt damit eine geldwerte Leistung aus der B._ AG dar. Sie wurde über die I._ und von dort aufgrund fingierter Darlehen zur Hälfte an den Beschwerdeführer weitergeleitet.
Der Zufluss dieser Leistung ohne Gegenleistung beruht auf dem Beteiligungsverhältnis, nämlich darauf, dass der Beschwerdeführer Alleinaktionär an der K._ Holding AG ist, welche zusammen mit der H._ Inc. (D._) die am 23. September 2003 zum Erwerb der B._-Gruppe gegründete L._ AG hält, welche ihrerseits Muttergesellschaft der B._ AG ist.
Dass die erhaltene und dem Beschwerdeführer zur Hälfte zugeflossene Leistung von 45 Mio. Franken ohne adäquate Gegenleistung geblieben war, war ohne weiteres auch für die Organe der leistenden Gesellschaft erkennbar. Somit sind die Voraussetzungen der geldwerten Leistung allesamt erfüllt und ist diese beim Beschwerdeführer als Ertrag aus beweglichem Vermögen aufzurechnen.
6.3. Handelt es sich bei der Zahlung von 22,5 Mio. Franken, die dem Beschwerdeführer über die C._ Anstalt zugeflossen war, um eine geldwerte Leistung aus der B._ AG, so sind auch die zur angeblichen Darlehensschuld hinzugeschlagenen und gestundeten Zinsen von 275'043 Franken nicht geschäftsmässig begründeter Aufwand. Sie sind entsprechend aufzurechnen. Das angefochtene Urteil (E. 28b S. 171 u. E. 34a S. 191) erweist sich auch insoweit als bundesrechtskonform.
6.4. Der Beschwerdeführer wendet ein, wenn von einer geldwerten Leistung an ihn ausgegangen werde, so sei das von ihm der K._ Holding gewährte Darlehen nicht als solches, sondern als verdeckte Kapitaleinlage zu qualifizieren und mit der geldwerten Leistung zu verrechnen (Beschwerde, Rz. 316 S. 99 f., Rz. 321 S. 101 f.).
6.4.1. Das Bundesgericht hat in <ref-ruling> E. 4c S. 28 f. erwogen, dass nicht von vornherein ausgeschlossen werden kann, verdeckte Kapitaleinlagen mit verdeckten Gewinnausschüttungen zu verrechnen. Das ist u.a. dann möglich, wenn wechselseitig gewährte Vorteile sich wertmässig kompensieren, so dass per Saldo weder dem Aktionär noch der Gesellschaft ein Vorteil bzw. eine geldwerte Leistung zufliesst. Eine solche Gesamtbetrachtung kann aber nur in Frage kommen, wenn die angeblich zu kompensierenden Rechtsgeschäfte in direktem Zusammenhang zueinander stehen, so dass das eine ohne das andere nicht abgeschlossen worden wäre.
6.4.2. Ein solcher unmittelbarer Zusammenhang zwischen den Geschäften - nicht nur mit Blick auf ihre Veranlassung, sondern auch in der Abwicklung - ist hier nicht gegeben.
Es geht um eine geldwerte Leistung, die auf einer hochkomplexen Vorgehensweise mit mehreren zwischengeschalteten Gesellschaften und fiktiven Verträgen beruht. In einem solchen Fall kann nicht von einer unmittelbaren Kompensation der Ausschüttung mit der Kapitaleinlage gesprochen werden. Die verdeckte Gewinnausschüttung ist zwar mit der Darlehensgewährung insofern verbunden, als das eine Geschäft ohne das andere nicht abgeschlossen worden wäre. Es ging dem Beschwerdeführer aber darum, die B._-Gruppe mit Mitteln aus dieser selbst zu erwerben. Um das zu verschleiern, wurden die genannten Geschäfte abgeschlossen, sogar am gleichen Tag.
Daraus ist hier aber nicht zu schliessen, dass wenn der Mittelfluss über diverse Gesellschaften/Anstalten als reiner Durchlauf betrachtet werde, so müsse das auch für das vom Beschwerdeführer an die K._ Holding AG gewährte Darlehen gelten. Vielmehr kann es sich durchaus um fingierte Geldflüsse über eigens gegründete/erworbene Gesellschaften handeln, dann aber bei dem die Transaktionen beherrschenden Beschwerdeführer, der den Mittelfluss steuerte, um ein echtes Darlehen. Wie von der Vorinstanz festgestellt (Urteil, E. 27d S. 161), waren die Darlehen, welche der Beschwerdeführer der K._ Holding AG und diese an die L._ AG gewährte, nicht simuliert. Wesentlich ist, dass der Beschwerdeführer und D._ sich für den Kauf der B._ aus deren Immobilienbestand bedienten. Die B._ AG wurde entreichert, und das Geld floss zur Hälfte an den Beschwerdeführer.
Unter den gegebenen Umständen hat das Verwaltungsgericht zu Recht erwogen, dass der Entreicherung der B._ AG im Zusammenhang mit dem Erwerb der U._-Beteiligung kein sachlich zusammenhängendes Gegengeschäft gegenübersteht, welches die verdeckte Gewinnausschüttung kompensiert hätte (vgl. angefochtenes Urteil S. 164 f.).
6.5. Weiter bringt der Beschwerdeführer gegen die Aufrechnung der geldwerten Leistung folgendes Argument vor: Wenn von einer geldwerten Leistung an ihn ausgegangen werde, so sei das von der X._ (d.h. aus seinem Geschäftsvermögen) an die K._ Holding AG gewährte Darlehen betroffen; die Holding habe das Darlehen für die Erhöhung des Aktienkapitals bei der L._ AG und ein weiteres Darlehen an diese verwendet, um die Kreditschuld für den Erwerb der B._-Gruppe bei der Bank T._ zu tilgen; dann bestehe in seinem Geschäftsvermögen (bzw. in Bezug auf das von seiner Aktiengesellschaft gewährte Darlehen) Abschreibungsbedarf in der Höhe der geldwerten Leistung (Beschwerde, Rz. 316, 317 u. 320 S. 99 ff.; siehe dazu auch die Vernehmlassung der kantonalen Steuerverwaltung S. 128 f., ebenso S. 92 f. und S. 94).
6.5.1. Dieser Argumentation kann insofern beigepflichtet werden, als die geldwerte Leistung zu einer Entreicherung der B._-Gruppe geführt hat (vgl. dazu auch oben E. 6.4) und sich damit tatsächlich die Frage stellt, ob auf dem der K._ Holding AG von der X._ gewährten Darlehen von 22,5 Mio. Franken Abschreibungsbedarf besteht.
Im Rahmen der Vermögenssteuer ist die Vorinstanz zu der Auffassung gelangt, dass die Darlehensforderung im Geschäftsvermögen des Beschwerdeführers gegenüber der K._ Holding AG in Höhe von 22,5 Mio Franken nicht vollumfänglich werthaltig war, sondern - gestützt auf eine Bewertung des Nettovermögens der K._ Holding AG - lediglich im Umfang von 8'602'798 Franken (Urteil, E. 27f S. 165 ff.).
Daraus kann übernommen werden, dass in jenem Zeitpunkt auch ein entsprechender, hier massgeblicher Abschreibungsbedarf bestand, der handelsrechtlich zwingend und somit steuerrechtlich durch Bilanzberichtigung - im Unterschied zu einer blossen Bilanzänderung - zu berücksichtigen ist (PETER LOCHER, Kommentar DBG, Bd. II, 2004, N 15 zu Art. 58, Bd. I, 2001, N 177 zu Art. 18; MARKUS BERGER, Probleme der Bilanzberichtigung, ASA 70 S. 548), solange die Veranlagung noch nicht rechtskräftig geworden ist (<ref-ruling> E. 3.3 S. 86; Urteil 2C_24/2014 vom 29. Januar 2015 E. 2.2 in: StE 2015 B 72.11 Nr. 24; LOCHER, a.a.O., N 21 zu Art. 58; N 177 zu Art. 18; BERGER, a.a.O., S. 553 ff.).
6.5.2. Was die Höhe des Abschreibungsbedarfs betrifft, kann an sich von dem im angefochtenen Urteil zur Vermögenssteuer festgestellten Wert ausgegangen werden (zur Berechnung: vgl. die Vernehmlassung der Steuerverwaltung S. 94, siehe ferner die Vernehmlassung der Steuerverwaltung an die Vorinstanz). Dabei sind allerdings - im Unterschied zur Bewertung im Rahmen der Vermögenssteuer - latente Steuern auf den Liegenschaften der B._-Gruppe nicht zu berücksichtigen, da sie das Haftungssubstrat eines Darlehensgebers nicht mindern.
6.5.3. In diesem Zusammenhang rügt der Beschwerdeführer noch, der Nettovermögenswert der K._ Holding sei falsch berechnet worden (Beschwerde S. 125 Rz 397 f.); darin liegt aber eine appellatorische Krtik der Sachverhaltsfeststellung, auf die nicht weiter eingegangen werden kann.
6.5.4. Auf dieser Grundlage ist das von der X._ der K._ Holding AG gewährte Darlehen demnach von 22,5 Mio Franken auf 9'653'432 Franken abzuschreiben. Damit vermindert sich das steuerbare Einkommen des Beschwerdeführers gegenüber der Veranlagung um 12'846'568 Franken.
7.
Der Beschwerdeführer hat aus dem Zusammenarbeitsvertrag mit D._ im Jahr 2003 bei Vertragsschluss am 9. Oktober 2003 einen "Einmalbeitrag" von 50'000 Franken sowie am 30. Januar 2004 und am 2. Februar 2004 weitere Zahlungen mit dem Vermerk "Gewinnanteil 2003" erhalten.
7.1. In den Büchern der X._ wurden die beiden Zahlungen nicht ertragswirksam, sondern als Erhöhung der Darlehensverbindlichkeiten gegenüber der C._ Anstalt verbucht (angefochtenes Urteil, E. 30a S. 176 f.). Die Steuerbehörde hat diese Zahlungen für die Periode 2003 nach der Soll-Methode aufgerechnet. Vor Bundesgericht macht der Beschwerdeführer dagegen geltend, erst nach Vorliegen der Abrechnung der depotführenden Banken habe der Forderungsbetrag der Höhe nach beziffert werden können. Das sei erst gegen Ende Januar 2004 der Fall gewesen.
7.2. Steuerrechtlich gilt Einkommen oder Ertrag als realisiert, sobald die steuerpflichtige Person Leistungen vereinnahmt oder zumindest einen festen Rechtsanspruch darauf erwirbt, über den sie tatsächlich verfügen kann ("Soll-Methode").
7.2.1. Auf den Zeitpunkt der tatsächlichen Erfüllung des Anspruchs kommt es grundsätzlich nicht an (Urteile 2C_78/2015 vom 10. September 2015 E. 4.2 u. 5, in: ASA 84 S. 338; 2C_941/2012 vom 9. November 2013 E. 2.5, in: ASA 82 S. 375, 2C_1050/2015 vom 13. Juni 2016 E. 2.2 in: ASA 85 S. 87).
7.2.2. Von der "Soll-Methode" wird in der Steuerpraxis nur abgewichen, soweit die Erfüllung der Forderung als besonders unsicher erscheint. Dann wird mit der Besteuerung bis zur Erfüllung zugewartet ("Ist-Methode"; Urteile 2C_78/2015 vom 10. September 2015 E. 4.2 in: ASA 84 S. 338; 2C_835/2013 vom 16. Dezember 2014 E. 2.1; vgl. zum Ganzen Urteil 2C_941/2012 vom 9. November 2013 E. 2.5 in: ASA 82 S. 375, mit zahlreichen weiteren Hinweisen; grundegend <ref-ruling> E. 4b S. 242 f.; <ref-ruling> E. 2e S. 26).
7.2.3. Abzustellen ist demnach auf den Zeitpunkt, in dem der Steuerpflichtige eine rechtlich und tatsächlich durchsetzbare Forderung auf die einkommensbildende Leistung erworben hat. Es muss dabei hinsichtlich des Bestands und des Umfangs der Forderung Gewissheit bestehen. Dabei genügt es, wenn die Höhe der Forderung nach objektiven Kriterien bestimmbar ist (Urteile des Bundesgerichts 2C_357/2014 vom 23. Mai 2016 E. 8.1; 2C_319/2012 vom 17. Oktober 2012 E. 2.3.1 in: StR 68/2013 S. 62).
7.3. Für den vorliegenden Fall ergibt sich aus den Grundsätzen der Rechtsprechung Folgendes: Der Gewinnanteil 2003 war Ende dieses Jahres jedenfalls nach objektiven Kriterien bestimmbar. Wohl mochte die Abrechnung der beiden depotführenden Banken erforderlich sein. Der Umstand, dass deren Abrechnung erst anfangs 2004 erfolgte, ändert aber nichts daran, dass der Gewinnanspruch der Höhe nach bereits zum Jahresende bestimmbar war und daher der Steuerperiode 2003 zuzurechnen ist.
8.
8.1. Der Aufrechnung von 1,5 Mio. Franken aus der Baugesellschaft E._ liegt zugrunde: Der Beschwerdeführer und Y._ sind Gesellschafter einer einfachen Gesellschaft, welche in Z._ Wohnprojekte realisierte. Am 23. Oktober 2003 stellte der Architekt J._ der Baugesellschaft eine Zwischenabrechnung mit einem Restbetrag von 1,5 Mio. Franken zu. Y._ veranlasste am 24. Oktober 2003 eine Zahlung in dieser Höhe; ebenfalls am 24. Oktober 2003 stellte J._ einen Vergütungsauftrag von 1,5 Mio. Franken zu Gunsten des Beschwerdeführers aus, welche in der Buchhaltung der X._ als Gutschrift auf dem Bankkonto unter gleichzeitiger Erhöhung der Darlehensschuld bei der C._ Anstalt verbucht wurde.
8.2. Gemäss <ref-law> unterliegen im Sinne einer Generalklausel alle wiederkehrenden und einmaligen Einkünfte der Einkommenssteuer. Es steht fest, dass J._ dem Beschwerdeführer einen Betrag von 1,5 Mio. Franken zufliessen liess. Die Steuerverwaltung und das Verwaltungsgericht qualifizieren die Zahlung als steuerbaren Reinvermögenszugang beim Beschwerdeführer, der dagegen einwendet, es habe sich um eine erfolgsneutrale Darlehensrückzahlung gehandelt.
8.3. Das Verwaltungsgericht hat die Aufrechnung vorab damit begründet, dass die Zahlung von J._ an den Beschwerdeführer unstrittig sei, womit ein Vermögenszufluss gegeben sei. Dagegen stelle die Behauptung, es gehe um eine Darlehensrückzahlung für vom Beschwerdeführer vorfinanzierte Kosten, eine steuermindernde Tatsache dar, für welche die Beweislast beim Beschwerdeführer liege.
8.3.1. Nach der Normentheorie sind steuerbegründende Tatsachen durch die Steuerverwaltung, steuermindernde und steuerausschliessende Tatsachen durch die steuerpflichtige Person nachzuweisen (<ref-ruling> E. 3.8.2 S. 508). Wenn laut Gesetz alle wiederkehrenden und einmaligen Einkünfte der Einkommenssteuer unterliegen, so heisst das aber nicht, dass jede vereinnahmte Zahlung als Einkommen zu qualifizieren wäre, es sei denn, der Steuerpflichtige könne beweisen, dass sie keinen Reinvermögenszugang darstelle. Vielmehr ist der Reinvermögenszugang Voraussetzung der Qualifizierung als Einkommen. Es handelt sich also um eine steuerbegründende Tatsache, für welche die Beweislast der Steuerverwaltung obliegt (vgl. unten E. 8.4). Jedoch treffen den Steuerpflichtigen Mitwirkungspflichten. Fehlt es an einer plausiblen Erklärung für eine geleistete Zahlung, so kann die Vermutung dafür sprechen, dass ein das Reinvermögen erhöhender steuerbarer Vermögenszufluss vorliegt (vgl. unten E. 8.4.2).
8.3.2. Das Verwaltungsgericht hat sich für die Aufrechnung im Betrag von 1,5 Mio. Franken auch auf die Einlassung von J._ im Schreiben vom 2. März 2009 gestützt. Es hat diese Einlassung dahin interpretiert, dass es sich um eine "Entschädigung bzw. um ein Honorar für den Beschwerdeführer für die Übernahme der gesamten Projektabwicklung betreffend Kurhaus Prasura" handle (angefochtenes Urteil, E. 33c S. 189).
Das Schreiben ist jedoch weder für die eine noch die andere Auffassung schlüssig. Es erweist sich als unklar, was mit den hier massgeblichen Formulierungen gemeint ist. Das Verwaltungsgericht hätte daher nicht einerseits eine Einvernahme von J._ verweigern (vgl. oben E. 3.4, insb. 3.4.2; siehe auch das angefochtene Urteil, E. 10d S. 51) und zugleich unter anderem gestützt auf dessen Darstellung annehmen dürfen, es habe sich nicht um eine Darlehensrückzahlung handeln können.
8.4. Die bislang diskutierten, vom Verwaltungsgericht als Nachweis für die Aufrechnung der Zahlung angeführten Elemente vermögen somit keinen genügenden Beleg darzustellen. Die erforderliche Beweisgrundlage ergibt sich dagegen aus anderen Gesichtspunkten.
8.4.1. Das Verwaltungsgericht hat die Sachverhaltsdarstellung des Beschwerdeführers, wonach die Finanzierung nicht durch ihn selber, sondern durch die C._ Anstalt erfolgt sei, als unglaubwürdig erachtet (Urteil E. 33d S. 190 f.).
In ihrer Vernehmlassung an das Bundesgericht (S. 159) macht die kantonale Steuerverwaltung geltend, mit Auflage vom 20. Januar 2015 die komplette Buchhaltung der C._ für die Steuerjahre 2003 und 2004 einverlangt zu haben. Daraus hätte sich ergeben können, ob im Zeitraum zwischen der Gründung der C._ (23. September 2003) bis maximal 23. Oktober 2003 ein Dritter der C._ ein Darlehen zur Verfügung stellte, dessen Rückzahlung J._ am 24. Oktober 2003 in Auftrag gab.
Unter Verletzung der gesetzlich vorgesehenen Mitwirkungspflicht ist die Buchhaltung jedoch nicht eingereicht worden. So kann ohne weiteres und rechtsgenügend darauf abgestellt werden, dass eine Vorfinanzierung durch die C._ derart knapp vor der angeblichen Rückzahlung keinen Sinn gemacht hätte und dementsprechend als wenig wahrscheinlich verworfen werden muss.
8.4.2. Entfällt die Variante der geltend gemachten Fremdfinanzierung, so bleibt für die Darlehensthese nur, dass der Beschwerdeführer selber den Kredit gewährt hätte. Für diese These lässt sich immerhin anführen, dass der Beschwerdeführer mit seiner Rechnung vom 24. Oktober 2003 eine "Darlehensrückzahlung" verlangte. Aber es gibt keinen Darlehensvertrag (vgl. dazu schon oben Sachverhalt/A. u. E. 6.2.1), was die vorgebrachte These u.a. in Anbetracht der hier massgeblichen Beträge als unwahrscheinlich erscheinen lässt. Weiter hat das Verwaltungsgericht ausgeführt, dass sich weder in der Buchhaltung der X._ noch in seinem Privatvermögen eine Darlehensforderung gegenüber J._ finde. Auch hätten, wenn der Beschwerdeführer tatsächlich der Baugesellschaft Kosten vorfinanziert hätte, diese ihren Niederschlag sowohl in der Buchhaltung der Baugesellschaft wie in seiner eigenen finden müssen (Zusammenfassung E. 33 c erster Absatz S. 188 des angefochtenen Urteils).
Damit hat aber das Verwaltungsgericht zum Schluss kommen können, dass eine andere Erklärung als ein Reinvermögenszugang nicht erkennbar ist und die Aufrechnung zu Recht erfolgte. Auf das Schriftstück, das das Verwaltungsgericht J._ zugeschrieben und nach dem Gesagten nicht korrekt interpretiert hat (vgl. oben E. 8.3.2), sowie auf eine allfällige Zeugenaussage von J._, kann unter diesen Umständen nichts ankommen.
III Kantons- und Gemeindesteuern
9.
Der Beschwerdeführer macht bezüglich der Kantonssteuern geltend, diese seien verjährt.
9.1. Gemäss dem bis 30. November 2013 geltenden aArt. 125 Abs. 4 Steuergesetz/GR verjährte das Recht, eine Steuer zu veranlagen, zehn Jahre nach Ablauf der Steuerperiode auf jeden Fall. Per 1. Dezember 2013 verlängerte der kantonale Gesetzgeber diese absolute Verjährungsfrist von zehn auf fünfzehn Jahre (Art. 125 Abs. 4 StG/GR), wie das auch für die direkte Bundessteuer zutrifft (<ref-law>). In einer Übergangsbestimmung wurde festgelegt, dass die neue Vorschrift über die Verjährung für alle noch nicht verjährten Sachverhalte Anwendung finde.
9.2. Der Beschwerdeführer wendet gegen die Anwendung des neuen Verjährungsrechts ein, dass eine verfassungsrechtlich unzulässige Einzelfallgesetzgebung vorliege, die eigens wegen der hier zu beurteilenden Angelegenheit erlassen worden sei, und weil die Steuerbehörden nicht zeitgerecht gehandelt hätten. Die Übergangsbestimmung verstosse alsdann gegen das Rückwirkungsverbot, indem das neue Recht auf einen im Jahre 2003 und 2004 abgeschlossenen Sachverhalt Anwendung finde.
9.2.1. Der Auffassung des Beschwerdeführers kann nicht beigepflichtet werden. Die Verjährung ist nach der Rechtsprechung des Bundesgerichts zwar ein Institut des materiellen Rechts (Urteil 2C_137/2011 vom 30. April 2012 E. 2.2 in: StE 2012 B 92.9 Nr. 9, nicht veröffentlicht in <ref-ruling>; <ref-ruling> E. 2a S. 2 f.). Doch liegt keine echte Rückwirkung vor, die verfassungsrechtlich nur unter engen Bedingungen zulässig ist (<ref-ruling> E. 3.4 S. 193 f.), sondern eine sog. unechte: Mit der Steuerperiode und der Verwirklichung des materiellen Steuertatbestandes entsteht zwischen dem Steuerpflichtigen und dem Gemeinwesen ein Steuerschuldverhältnis, das andauert, bis die Verjährung eintritt. Wenn daher vor Ablauf der altrechtlichen Verjährung eine neue Regelung erlassen wird, welche übergangsrechtlich die Anwendung des neuen Rechts vorsieht, so knüpft diese an ein andauerndes Steuerschuldverhältnis an. Eine solche unechte Rückwirkung ist zulässig, sofern nicht wohlerworbene Rechte entgegenstehen (BGE, a.a.O.).
Im Zusammenhang mit neuen Verjährungsregeln für die Erhebung von Nachsteuern hat das Bundesgericht wiederholt in diesem Sinne entschieden (Urteile 2P.432/1996 vom 22. Mai 1997 E. 7 in: RDAF 1998 II 179; 2P.92/2001 vom 10. Dezember 2001 E. 2). Ein Unterschied zur Steuerveranlagung selber ist nicht erkennbar, handelt es sich bei der Nachsteuer doch um keine vom ursprünglichen Steueranspruch verschiedene Forderung (<ref-ruling> E. 2). Der Gesetzgeber konnte damit sehr wohl die Verjährungsfrist vor deren Ablauf verlängern und übergangsrechtlich vorsehen, dass die neue, nunmehr 15-jährige Verjährungsfrist auf die hängigen Fälle anwendbar ist.
9.2.2. Dem Beschwerdeführer ist auch nicht darin beizupflichten, dass es sich beim novellierten Art. 125 Abs. 4 StG/GR um ein Einzelfallgesetz handeln würde.
Die Neuregelung ist selbstverständlich auf sämtliche Steuerrechtsverhältnisse anwendbar, womit ein generell-abstrakter Erlass vorliegt, gegen welchen verfassungsrechtlich nichts einzuwenden ist (<ref-ruling> E. 3b S. 374 f.; ebenso Urteil 6B_896/2014 vom 16. Dezember 2015 E. 4.10 in: Pra 2016 Nr. 34 S. 302). Es mag sein und dürfte zutreffen, dass der Bündner Gesetzgeber aufgrund des Falles des Beschwerdeführers tätig geworden ist. Das ändert aber nichts an der Qualifizierung des Erlasses als generell-abstrakt und seiner verfassungsrechtlichen Zulässigkeit.
Entsprechend liegt auch keine Gehörsverletzung vor, wenn dem Antrag des Beschwerdeführers nicht stattgegeben wurde, einen Bericht zur Frage einzuholen, ob auch andere Steuerpflichtige von der Neuregelung betroffen seien.
10.
10.1. Im übrigen deckt sich das Steuerharmonisierungsrecht und das kantonale Steuerrecht für den Begriff der geldwerten Leistung, für den Realisierungszeitpunkt von Einkünften und für die Einkommens-Generalklausel mit jenen des Bundesgesetzes über die direkte Bundessteuer. Es kann daher auf die dortigen Ausführungen verwiesen werden.
10.2. Was die Vermögenssteuern betrifft, beruhen die Aufrechnungen der Steuerverwaltung darauf, dass die behauptete Darlehensschuld gegenüber der C._ Anstalt nicht anzuerkennen war. Der reduzierten Werthaltigkeit der Darlehensforderung gegenüber der K._ Holding AG wurde im vorinstanzlichen Verfahren Rechnung getragen (angefochtenes Urteil, E. 27f S. 165 ff.). Vor Bundesgericht macht der Beschwerdeführer allein noch geltend, an den Voraussetzungen für eine Aufrechnung fehle es, weil der Beschwerdeführer durch die Transaktionen im Jahre 2003 nicht bereichert sei (Beschwerde, Rz. 438 S.91). Dass das nicht zutrifft, ist bereits dargestellt worden (vgl. oben E. 6.4).
IV.Kosten- und Entschädigungsfolgen
11.
11.1. Damit ergibt sich, dass die Beschwerde sowohl gegen die direkte Bundessteuer wie auch gegen die Kantons- und Gemeindesteuern teilweise begründet ist. Zwar erweisen sich die vorgenommenen Aufrechnungen als bundesrechtskonform. Zu berücksichtigen ist aber ein Abschreibungsbedarf auf dem Darlehen in Höhe von 12'846'568 Franken. Das führt zu einer Veranlagung für die direkte Bundessteuer für das Jahr 2003 in Höhe von 12'022'132 Franken (Veranlagung Steuerverwaltung 24'868'700./. 12'846'568) und für die Kantons-und Gemeindesteuern von 12'019'732 Franken (Veranlagung Steuerverwaltung 24'866'300./. 12'846'568). Im Übrigen ist die Beschwerde abzuweisen.
11.2. Entsprechend diesem Verfahrensausgang, bei welchem der Beschwerdeführer rund zur Hälfte durchdringt, sind die bundesgerichtlichen Kosten ihm und dem Kanton Graubünden je zur Hälfte aufzuerlegen (<ref-law>). Der Kanton Graubünden hat zudem dem Beschwerdeführer für das bundesgerichtliche Verfahren eine hälftige Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). In gleichem Sinne wird die Vorinstanz über die Verlegung der kosten- und Entschädigungsfolgen des kantonalen Verfahrens neu zu befinden haben (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird hinsichtlich der direkten Bundessteuer teilweise gutgeheissen und der Beschwerdeführer für die Steuerperiode 2003 mit einem steuerbaren Einkommen von 12'022'132 Franken veranlagt. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Beschwerde wird hinsichtlich der Kantons- und Gemeindesteuern teilweise gutgeheissen und der Beschwerdeführer für die Steuerperiode 2003 mit 12'019'732 Franken veranlagt. Im Übrigen wird die Beschwerde abgewiesen.
3.
Die Gerichtskosten von 30'000 Franken werden dem Beschwerdeführer und dem Kanton Graubünden je zur Hälfte auferlegt.
4.
Der Kanton Graubünden hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit 15'000 Franken zu entschädigen.
5.
Die Sache wird zur Neuverlegung der Kosten im kantonalen Verfahren an das Verwaltungsgericht des Kantons Graubünden zurückgewiesen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Graubünden, 4. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 21. November 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter