Sachverhalt: A. Am 14. September 2007 reichte A._ seine Steuererklärung 2005 mit einem steuerbaren Einkommen und einem steuerbaren Vermögen von je Fr. 0.-- ein. B. Dagegen nahm die Steuerverwaltung des Kantons Graubünden beträchtliche Aufrechnungen beim steuerbaren Einkommen (direkte Bundessteuer und Kantons- sowie Gemeindesteuern) sowie beim steuerbaren Vermögen (Staatssteuer) vor. Diese Aufrechnungen gingen auf Untersuchungen und Abklärungen der Abteilung Strafsachen und Untersuchungen (ASU) der Eidgenössischen Steuerverwaltung zurück. Am 19. Mai 2010 hatte der Vorsteher des Eidgenössischen Finanzdepartements (EFD) der Eidgenössischen Steuerverwaltung auf deren Antrag die Ermächtigung zur Durchführung einer besonderen Steueruntersuchung nach Art. 190 ff. DBG gegen A._, B._ sowie gegen drei Kapitalgesellschaften, an denen die beiden indirekt über weitere Kapitalgesellschaften beteiligt waren, gegeben. In ihrem abschliessenden Bericht vom 9. Mai 2014 kam die ASU zum Schluss, dass A._ in den Jahren 2003 - 2008 in grossem Umfang steuerbare Einkünfte und Vermögen nicht deklariert habe. C. Mit Einspracheentscheiden vom 22. Januar 2019 nahm die kantonale Steuerverwaltung gegenüber A._ für die Periode 2005 beim steuerbaren Einkommen Aufrechnungen von Fr. 105'033'984.-- (Bund) bzw. Fr. 105'031'584.-- (Kanton und Gemeinde) vor. Beim steuerbaren Vermögen beliefen sich die Aufrechnungen auf Fr. 102'180'900.--. Mit Urteil vom 16. Dezember 2019 bestätigte das Verwaltungsgericht des Kantons Graubünden all diese Aufrechnungen auf Beschwerde von A._ hin. D. Am 31. Januar 2020 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, in Gutheissung der Beschwerde sowie Aufhebung des angefochtenen Urteils von jeglicher Aufrechnung (sei es nun beim steuerbaren Einkommen oder beim steuerbaren Vermögen) abzusehen und die steuerliche Bemessungsgrundlage in beiderlei Hinsicht auf Null festzusetzen. Eventualiter seien die sich aus BGE 144 II 427 ergebenden Steuerschulden für die Periode 2003 von der Vermögensbemessungsgrundlage 2005 in Abzug zu bringen. Subeventualiter sei das verwaltungsgerichtliche Urteil aufzuheben und die Sache zur Gewährung des rechtlichen Gehörs sowie Vervollständigung des Sachverhalts an die Vorinstanz zurückzuweisen. E. Die kantonale Steuerverwaltung schliesst auf Abweisung des Haupt- und Subeventualantrags, dagegen auf Gutheissung des Eventualantrags. Zudem ersucht sie das Bundesgericht, neben den Steuerfaktoren auch die jeweiligen Steuerbeträge für Bund, Kanton und Stadt Chur festzulegen. Das Verwaltungsgericht des Kantons Graubünden beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. F. Mit Replik vom 27. April 2020 hat der Beschwerdeführer an seinen Rechtsbegehren festgehalten, ebenso wie mit zwei weiteren, unaufgefordert eingereichten und jeweils "Ergänzung zur Replik" bezeichneten Eingaben vom 18. Mai 2020 sowie vom 4. Juni 2020. G. Mit Verfügung vom 11. März 2020 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt und am 7. Mai 2020 ein Gesuch des Beschwerdeführers um Sistierung des vorliegenden Verfahrens (bis zum Urteil des Verwaltungsgerichts des Kantons Graubünden über die bei diesem gegen das Urteil vom 16. Dezember 2019 eingereichte Revision) abgewiesen.