Sachverhalt:
A.
Betreffend A._ stellte das Kantonale Steueramt St. Gallen nach einer durch die Abteilung Strafsachen und Untersuchungen (ASU) der Eidgenössischen Steuerverwaltung durchgeführten Untersuchung mit Verfügung vom 21. Dezember 2016 (rückwirkend und zugleich als Einleitung des Nachsteuerverfahrens) fest, dass sein Hauptsteuerdomizil sich bei den Kantons- und Gemeindesteuern sowie der direkten Bundessteuer für die gesamten Steuerperioden 2006 bis 2011 in der Stadt St. Gallen befunden habe. Das habe zu gelten, obwohl er sich ab dem 21. September 2006 ins Ausland abgemeldet und ab dem 21. Januar 2008 in B._/ZH bzw. ab dem 1. Februar 2009 in C._/SZ angemeldet habe.
B.
Gegen diese Feststellungsverfügung erhob A._ vergeblich Einsprache und dann die ihm auf kantonaler Ebene zur Verfügung stehenden Rechtsmittel (zuletzt abgewiesen, soweit darauf eingetreten wurde, durch Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 12. August 2020).
C.
Am 15. September 2020 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht.
C.a. Er stellt vier Hauptanträge (nebst jeweils untergeordneten Eventual- und Subeventual-Begehren). Allen Anträgen ist gemeinsam, dass der Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 12. August 2020 aufzuheben sei. Weiter sei (1) die Sache zur Beurteilung der Zuständigkeit der kantonalen Steuerbefugnis für die Steuerperioden 2008 bis 2011 im Sinne von <ref-law> und <ref-law> an die EStV zu überweisen; (2) das Nachsteuerverfahren 2006 bis 2011 wegen krasser Verletzung fairer Verfahrensführung und krasser Verletzung des Völkerrechts aufzuheben und einzustellen; (3) und (4) die Sache mit bestimmten Anweisungen an die Vorinstanz zurückzuweisen.
C.b. Kurz nach den verschiedenen Anträgen enthält die Beschwerdeschrift zuerst einmal die Aussage, der Beschwerdeführer behalte sich das Recht vor, die Akten und Verfahren einem bestimmten Investigativ-Blog betreffend Justizfälle zur Veröffentlichung und Diskussion zugänglich zu machen (Ziff. 17 S. 10). Darauf folgt: "Der Beschwerdeführer wird innerhalb von sechs Monaten nach Erlass des Urteils des Bundesgerichts für den Fall, dass die Beschwerde abgewiesen wird, eine Individualbeschwerde beim EGMR zur Klärung der Unabhängigkeit der ASU/EStV im Verwaltungsstrafverfahren einreichen." (Ziff. 18 S. 10).
D.
Für den Kanton St. Gallen beantragen das Kantonale Steueramt und das Verwaltungsgericht die Abweisung der Beschwerde, während die Verwaltungsrekurskommission auf eine Vernehmlassung verzichtet. Dasselbe gilt für das Kantonale Steueramt des ebenfalls zur Vernehmlassung eingeladenen Kantons Zürich. Für den Kanton Schwyz stellt die Kantonale Steuerverwaltung den Antrag, auf die Beschwerde nicht einzutreten, soweit der eigene Kanton betroffen sei. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Angefochten ist ein Entscheid des Verwaltungsgerichts des Kantons St. Gallen in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (<ref-law> i.V.m. Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14] und Art. 146 Satz 1 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG [SR 642.11]). Der Beschwerdeführer ist als steuerpflichtiger Adressat des angefochtenen Entscheids zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert (vgl. <ref-law> und Art. 73 Abs. 2 StHG). Auf das innert der Beschwerdefrist (vgl. <ref-law> i.V.m. <ref-law>) und mit allfälligen Einschränkungen formgerecht (vgl. <ref-law>) eingereichte Rechtsmittel ist im Wesentlichen einzutreten (vgl. aber unten E. 1.4 - 1.5).
1.2. Vor Bundesgericht wird zum ersten Mal geltend gemacht, gemäss <ref-law> liege es an der EStV, die Abgrenzung der steuerlichen Zuständigkeiten zwischen den Kantonen St. Gallen, Zürich und Schwyz vorzunehmen. Der Wortlaut von Abs. 1 und 2 dieser Bestimmung ist folgender: " (Abs. 1) : Ist der Ort der Veranlagung im Einzelfall ungewiss oder streitig, so wird er, wenn die Veranlagungsbehörden nur eines Kantons in Frage kommen, von der kantonalen Verwaltung für die direkte Bundessteuer, wenn mehrere Kantone in Frage kommen, von der ESTV bestimmt. Die Verfügung der ESTV unterliegt der Beschwerde nach den allgemeinen Bestimmungen über die Bundesrechtspflege. (Abs. 2) : Die Feststellung des Veranlagungsortes kann von der Veranlagungsbehörde, von der kantonalen Verwaltung für die direkte Bundessteuer und von den Steuerpflichtigen verlangt werden."
1.2.1. Betreffend die direkte Bundessteuer gilt Folgendes (vgl. zu den Kantons- und Gemeindesteuern unten E. 1.2.3) : Erfährt eine Veranlagungsbehörde oder Rechtsmittelinstanz vom konkurrierenden Anspruch eines andern Kantons, so ist gemäss der bundesgerichtlichen Rechtsprechung vor weiteren Veranlagungshandlungen die EStV anzugehen, um die Zuständigkeit festlegen zu lassen (<ref-ruling> E. 2.3.7; <ref-ruling> E. 3.3.1; Urteil 2C_116/2013 vom 2. September 2013 E. 4.5.1). Den Steuerpflichtigen steht es aber auch offen, auf einen Antrag nach <ref-law> zu verzichten und die Zuständigkeit der Veranlagungsbehörde stattdessen auf dem ordentlichen Rechtsmittelweg zu bestreiten, mit der Begründung, die verfügende Behörde sei nicht zuständig. Letztinstanzlich entscheidet bei beiden Rechtsmittelwegen das Bundesgericht über das Hauptsteuerdomizil (vgl. <ref-law>; Art. 31 und Art. 33 lit. d VGG i.V.m. <ref-law>; zum Ganzen Urteil 2C_806/2019 vom 8. Juni 2020 E. 5.1).
Gleichzeitig gilt im Recht der direkten Bundessteuer für natürliche Personen der Grundsatz der einheitlichen und ungeteilten Veranlagungs- und Bezugszuständigkeit (<ref-law>; <ref-ruling> E. 2.7.6; <ref-ruling> E. 3.3.1). Sowohl die Staats- und Gemeindesteuern wie auch die direkte Bundessteuer werden also von dem Kanton erhoben, in welchem die steuerpflichtige Person ihren steuerrechtlichen Wohnsitz hat. Zudem ist betreffend die Festlegung des Steuerdomizils zu berücksichtigen, dass die massgebenden kantonalrechtlichen Bestimmungen jenen des StHG entsprechen (vgl. Art. 3 Abs. 2 StHG). Mithin ist somit für die Bestimmung des Steuerdomizils der direkten Bundessteuer nach den gleichen Grundsätzen zu verfahren, wie bei der Staatssteuer (sog. vertikale Steuerharmonisierung; Art. 128 und 129 BV). Dies hat zur Folge, dass der vorliegende Entscheid betreffend die Festlegung des Hauptsteuerdomizils für die Staats- und Gemeindesteuern präjudizierende Wirkung auf die Festlegung desselben für direkte Bundessteuer hat (vgl. zur vertikalen Steuerharmonisierung <ref-ruling> E. 2.2.4; Urteil 2C_404/2019 vom 29. Januar 2019 E. 2.4). Aus prozessökonomischen Überlegungen erübrigt sich insbesondere dann eine Überweisung an die EStV, wenn das Verfahren betreffend die Staats- und Gemeindesteuern spruchreif ist (vgl. Urteile 2C_934/2013 vom 18. Juni 2014 E. 5.2; 2C_116/2013 vom 2. September 2013 E. 4.5.2; 2P.22/2007 vom 10. März 2008 E. 6; zum Ganzen das Urteil 2C_806/2019 vom 8. Juni 2020 E. 5.4).
1.2.2. Vorliegend hat sich der Beschwerdeführer im Zusammenhang mit dem im Kanton St. Gallen geführten Verfahren betreffend die Steuerpflicht der Steuerperioden 2006-2011 bisher nur auf den Standpunkt gestellt, er sei nicht im Kanton St. Gallen steuerpflichtig. Dort hat er, auch wenn er in anderen Kantonen angemeldet gewesen sein mag, zu keinem Zeitpunkt substantiiert vorgebracht, dass er in einem anderen Kanton steuerpflichtig wäre bzw. ein anderer Kanton für die Veranlagung zuständig sei. Insofern ist als Ort der Veranlagung nur der Kanton St. Gallen in Frage gekommen. Wenn der Beschwerdeführer aber eine allfällige Steuerpflicht in einem anderen Kanton in keiner Phase des kantonalen Einsprache- oder Rechtsmittelverfahrens geltend machte und zu keinem Zeitpunkt eine Bestimmung des Orts der Veranlagung durch die EStV verlangte, so entschied er sich dafür, die Steuerpflicht im Kanton St. Gallen über den ordentlichen Rechtsmittelweg zu bestreiten. Auf diese Wahl des Rechtsmittelwegs ist er zu behaften.
Alle gegebenenfalls betroffenen Kantone haben im Übrigen im bundesgerichtlichen Verfahren die Möglichkeit gehabt, sich vernehmen zu lassen. Jedoch hat keiner von ihnen für die direkte Bundessteuer die Durchführung eines Verfahrens nach <ref-law> verlangt. Jedenfalls vor Bundesgericht kann aus prozessökonomischen Gründen auf eine Rückweisung verzichtet werden, da das Bundesgericht ohnehin letztinstanzlich zuständig ist (vgl. u.a. Urteile 2C_116/2013 vom 2. September 2013 E. 4.5.2; 2C_352/2018 vom 1. Mai 2020 E. 1.2).
Wenn der Beschwerdeführer zudem in keiner Phase des kantonalen Einsprache- oder Rechtsmittelverfahrens eine Bestimmung des Orts der Veranlagung durch die EStV verlangte, so hatten die betroffenen Behörden keinen Anlass, sich ihrerseits an die EStV zu wenden. Das gilt umso mehr, als der Beschwerdeführer ausdrücklich nicht beanstandet, dass die Vorinstanz über alle Steuerarten gemeinsam entschieden hat (vgl. Ziff. 6 S. 6 der Beschwerdeschrift vor Bundesgericht). Vor Bundesgericht hat er ebenso wenig wie in den kantonalen Verfahrens- und Prozessphasen konkretisiert, weshalb er in den Kantonen Zürich oder Schwyz steuerpflichtig sein sollte.
1.2.3. Für den Bereich der Kantons- und Gemeindesteuern ist der Antrag aus denselben Gründen abzuweisen, auch wenn er sich nicht auf <ref-law>, sondern auf <ref-law> stützt. Der Beschwerdeführer muss sich diesbezüglich ebenfalls auf den von ihm gewählten Rechtsmittelweg behaften lassen.
1.3. Mit einem Subeventualbegehren hat der Beschwerdeführer um die Sistierung des vorliegenden Verfahrens bis zum Abschluss des vor Bundesgericht hängigen Falls 1B_272/2020 ersucht. Dieses Verfahren ist mit Urteil vom 16. Februar 2021 abgeschlossen worden. Dadurch ist das Begehren gegenstandslos geworden.
1.4. Das Bundesgericht prüft die Anwendung von Bundesrecht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3) und mit uneingeschränkter Kognition (<ref-law>; <ref-ruling> E. 2). Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten. Im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Der angeblichen Verletzung verfassungsmässiger Individualrechte (unter Einschluss der Grundrechte) und rein kantonalen Rechts geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist. Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird (vgl. <ref-law>: qualifizierte Rüge- und Begründungsobliegenheit; <ref-ruling> E. 1.2.2; <ref-ruling> E. 2.2.1; <ref-ruling> E. 1.4.; <ref-ruling> E. 1.4).
1.4.1. Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin Bundesrecht verletzt worden sein soll. Die Beschwerdeschrift soll vor Bundesgericht nicht bloss die Rechtsstandpunkte und Argumente wiederholen, wie sie schon im bisherigen Verfahren vorgebracht worden sind, sondern muss sich konkret und spezifisch mit den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz auseinandersetzen. Auf all die ungenügend auf den angefochtenen Entscheid bezogenen Teile einer Beschwerdeschrift kann nicht weiter eingegangen werden (vgl. u.a. <ref-ruling> E. 2.1).
1.4.2. Vorliegend setzt sich ein ganz beträchtlicher (bis sogar überwiegender) Teil der Beschwerdeschrift nicht spezifisch mit den Feststellungen und Erwägungen, der rechtlichen Würdigung und den Schlussfolgerungen des angefochtenen Entscheids auseinander. Das betrifft nicht nur die ganze erste Hälfte der Prozessschrift (bis Ziff. 86 S. 55), in der mit zahl- und umfangreichen Ausführungen die einzelnen Anträge erläutert und begründet werden. Dasselbe gilt - bei konkreter Prüfung - auch für bedeutende Teile der zweiten Hälfte, die (zumindest der Struktur und Unterteilung nach) auf den Sachverhalt und die einzelnen (Teil-) Erwägungen des angefochtenen Entscheids ausgerichtet ist. Dabei wendet sich der Beschwerdeführer wiederholt gegen eine Vielzahl von Vorgängen und Abläufen aus früheren Verfahrens- und Prozessphasen, die allesamt vor der Beurteilung durch das Verwaltungsgericht liegen. Die erwähnten Ausführungen und Einwendungen beschränken sich dabei zum grossen bis grössten Teil darauf, Vorbringen aus vorherigen Prozessphasen und Rechtsschriften - nunmehr in zwei- bis mehrfachem Ausmass - zu wiederholen. Diese Ausführungen müssen hier ausser Acht bleiben. Berücksichtigt werden können nur die jeweils in kleinem Umfang verbleibenden restlichen Teile der Beschwerdeschrift, die sich gegen die vorinstanzliche Beurteilung richten.
1.5. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
1.5.1. Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substantiiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 m.H.). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 m.H.).
1.5.2. Soweit der Beschwerdeführer sich vorliegend substantiiert mit den Erwägungen des Verwaltungsgerichts auseinandersetzt (vgl. oben E. 1.5.1), wendet er sich gegen vorinstanzliche Sachverhaltsfeststellungen, sei es nun betreffend tatsächliche Verfahrensabläufe oder Lebensumstände im Zusammenhang mit der Wohnsitzsituation in den hier massgeblichen Steuerperioden 2006 bis 2011. Mit diesen Einwendungen müsste dargetan werden, dass die kritisierten Feststellungen im angefochtenen Urteil geradezu offensichtlich unrichtig sind. Das gelingt ihm jedoch nicht einmal ansatzweise, weshalb auf seine Ausführungen insoweit ebenfalls nicht weiter einzugehen ist (vgl. zu den zumindest aufzunehmenden Punkten unten u.a. E. 2.3.1, 3.4 u. 4.2.1).
1.6. Fehlen die Unterschrift der Partei oder ihrer Vertretung, deren Vollmacht oder die vorgeschriebenen Beilagen oder ist die Vertretung nicht zugelassen, so wird eine angemessene Frist zur Behebung des Mangels angesetzt mit der Androhung, dass die Rechtsschrift sonst unbeachtet bleibt (<ref-law>). Unleserliche, ungebührliche, unverständliche, übermässig weitschweifige oder nicht in einer Amtssprache verfasste Rechtsschriften können in gleicher Weise zur Änderung zurückgewiesen werden (Abs. 6).
1.6.1. Hier umfasst der angefochtene Entscheid 24 Seiten, die Beschwerdeschrift vor Bundesgericht dagegen deren 109 (im Gegensatz zu den 54 Seiten der Prozessschrift an die Vorinstanz). Problematisch ist nicht bloss der Umfang der Ausführungen im jetzigen Verfahren. Abgesehen von all den bereits festgehaltenen Mängeln der Beschwerdeschrift, erscheint der ganze Umfang der gegenüber dem Bundesgericht gemachten Ausführungen aus einem weiteren Grund als unangebracht: In seinem Urteil 2C_717/2018 vom 24. Januar 2020, das ebenfalls einen Entscheid des Verwaltungsgerichts St. Gallen und eine Gesellschaft betraf, deren einzelzeichnungsberechtigter Delegierter des Verwaltungsrates der Beschwerdeführer war, hat sich das Bundesgericht mit den wesentlichen Verfahrensrügen des Beschwerdeführers bereits ausführlich und sorgfältig befasst; es hat all diese Rügen als unbegründet qualifiziert, soweit darauf überhaupt eingetreten werden konnte. Zwar betraf das Verfahren - wie erwähnt - eine der Gesellschaften des Beschwerdeführers und nicht ihn selbst, aber die dort beanstandeten Verfahrensaspekte bezogen sich bereits (mit Ausnahme bestimmter Einzelelemente wie die E-Mail vom 29. September 2015) allesamt auf hier umstrittene Untersuchungs- und Veranlagungsdimensionen im Verhältnis zwischen verschiedenen Behörden und dem Beschwerdeführer. Dieser setzt sich hier mit dem erwähnten Urteil nur an zwei Stellen seiner Beschwerdeschrift (Ziff. 114 S. 81 u. Ziff. 116 S. 87) auseinander, beide Male aber unzureichend. Namentlich unterlässt er es, gegenüber den Erwägungen im genannten Urteil substantiierte Einwendungen entgegenzuhalten. Somit ist im vorliegenden Verfahren kein Grund ersichtlich, von der dort erfolgten Bestätigung der verwaltungsgerichtlichen Würdigung abzuweichen.
Es kann daher offen bleiben, ob die Beschwerdeschrift auch noch als übermässig weitschweifig im Sinne von <ref-law> zu gelten hat. Denn die erwähnten Mängel gründen nicht primär in der übermässigen Länge der Vorbringen, sondern in anderen Unzulänglichkeiten, mit denen (im Einklang mit den anwendbaren Verfahrensvorschriften) im Wesentlichen so umzugehen ist, dass einfach nicht näher auf sie eingegangen werden kann. Dies gilt auch dann, wenn ein beträchtlicher bis grösserer Teil der Beschwerdeschrift davon betroffen ist (vgl. oben E. 1.3.2 u. 1.4.2).
1.6.2. Es muss hier ebenfalls nicht weiter geprüft werden, ob die oben (in Sachverhalt/C.b) wiedergegebenen Äusserungen als ungebührlich im Sinne von <ref-law> eingestuft werden müssen. Gleiches gilt für zahlreiche Einzelformulierungen, auch wenn nicht zu verkennen ist, dass sich Passagen wie die folgende als problematisch erweisen: "Der Beschwerdeführer wurde am 30. April 2014 von der ASU/EStV überfallen. Anlässlich dieses Überfalls wurde eine Vielzahl an Akten eingezogen uns bis heute nicht mehr an die Inhaber zurückgeben." (Ziff. 21. S. 11; sozusagen gleiche Aussagen in Ziff. 11 S. 8 u. Ziff. 55 S. 29). Zumindest ebenso fragwürdig ist es mit Blick auf <ref-law> u.a., wenn der Beschwerdeführer sich gegen einen bestimmten, jedesmal namentlich genannten Steuerbeamten wendet (Ziff. 43 S. 21; ähnlich in Ziff. 58 S. 30; Ziff. 116 S. 85; Ziff. 62 S. 31-32).
Eine nähere Prüfung erübrigt sich nämlich schon deswegen, weil solche Äusserungen die hier erfolgende bundesgerichtliche Beurteilung ohnehin nicht zu beeinflussen vermögen, im Gegensatz zu den beiden folgenden Aspekten: Einerseits das bereits bestehende Urteil 2C_717/2018, das sich auch hier als entscheidwesentlich erweist; andererseits die zahlreichen schwerwiegenden Mängel der Beschwerdeschrift, die eine weiter gehende kritische Auseinandersetzung mit dem angefochtenen Entscheid gar nicht erst zulassen.
2.
Der Beschwerdeführer erhebt mehrere verfahrensbezogene Rügen, welche im Zusammenhang mit den vorherigen Prozessphasen stehen. Mit diesen Beanstandungen hat sich das Verwaltungsgericht umfassend und sorgfältig, differenziert und überzeugend befasst.
2.1. Eingehend sind im angefochtenen Entscheid die anwendbaren Bestimmungen dargestellt, dann ebenso ausführlich die verschiedenen Vorbringen und Einwendungen des Beschwerdeführers wiedergegeben worden, namentlich diejenigen im Zusammenhang mit der im kantonalen Verfahren verlangten Akteneinsicht (vgl. E. 3.3 des angefochtenen Entscheids).
2.1.1. Der Beschwerdeführer bezieht sich im Wesentlichen auf ein Schreiben vom 15. Mai 2012 und einen "Ordner mit Fakten", die in den Verfahrensakten angeblich gefehlt hätten. Das Verwaltungsgericht hat ihm diesbezüglich jedoch Akteneinsicht gewährt und die Gelegenheit gegeben, sich danach noch einmal spezifisch vernehmen zu lassen, was er mit zwei Stellungnahmen getan hat. Die Vorinstanz hat zu Recht festgehalten, dass somit ein allfälliger Verfahrensverstoss auf jeden Fall als geheilt zu gelten hat. Wie sie weiter erwogen hat, durften aus dem besagten "Ordner mit Fakten" Informationen aus Gründen des Datenschutzes zugunsten von Drittpersonen entfernt werden. Ebenso wenig stellt es einen Verfahrensverstoss dar, wenn im Ordner eine vom Beschwerdeführer behauptete E-Mail nicht enthalten war. Wie der angefochtene Entscheid dazu überzeugend dargelegt hat, ist eine solche E-Mail nicht substantiiert und noch weniger belegt worden (vgl. zum Ganzen dort ausführlich E. 3.3.1).
2.1.2. Der Beschwerdeführer macht weiter geltend, die Behörden hätten ihre Protokollführungspflicht verletzt; es seien sogar "geheimjustizielle Vorgänge" zu beklagen (vgl. u.a. Rz 70 S. 44 der Beschwerdeschrift). Dagegen hat das Verwaltungsgericht aber zutreffend erwogen, dass nur verfahrens- und entscheidwesentliche Tatsachen zu protokollieren sind, während betreffend andere Fakten und Umstände weder eine Protokollierungspflicht noch ein Akteneinsichtsrecht besteht. Es hat die vorgebrachten Mutmassungen, wonach "Vieles und Wesentliches" sich nicht in den Akten befinde, zu Recht als nicht substantiiert dargelegt (und noch viel weniger nachgewiesen) eingestuft. Auch diese Erwägungen der Vorinstanz stehen im Einklang mit Verfassung, Gesetz und Rechtsprechung (vgl. dazu im Einzelnen E. 3.3.2 des angefochtenen Entscheids).
2.1.3. Gegenüber dem Vorwurf des Beschwerdeführers, die Verwaltungsrekurskommission als Unterinstanz habe keine EMRK-gerechte Beschwerde zugelassen, hat das Verwaltungsgericht (bundes-) rechtskonform festgestellt, dass ein solcher Beschwerdeweg gegeben war (vgl. dazu näher E. 3.3.3 des vorinstanzlichen Entscheids; siehe auch E. 3.2 des Urteils 2C_516/2020 vom 2. Februar 2021 betreffend eine andere Gesellschaft des Beschwerdeführers; dort war auch geltend gemacht worden, das Recht auf eine wirksame Beschwerde gemäss Art. 13 EMRK sei verletzt worden; mangels rechtsgenügender Begründung wurde auf die diesbezüglichen Darlegungen nicht weiter eingegangen; zur Nichtanwendbarkeit von Art. 6 EMRK im Veranlagungsverfahren: vgl. u.a. <ref-ruling> E. 2.3.2 m.w.H.).
2.2. Mit den vom Beschwerdeführer aufgeworfenen Fragen der Akteneinsicht und Protokollführungspflicht hat sich das Bundesgericht bereits im Urteil 2C_717/2018 auseinandergesetzt.
In Bezug auf eine - hier nicht direkt umstrittene - E-Mail des kantonalen Steueramtes an die ASU vom 29. September 2015 war nicht von einer Verletzung des Anspruchs auf Akteneinsicht auszugehen. Ebenso wenig war hinreichend substantiiert, weshalb es - wie behauptet - eine weitere, für das zu beurteilende Steuerverfahren durchgeführte oder beigezogene, aber nicht offen gelegte Korrespondenz zwischen den involvierten Behörden gegeben haben sollte oder Aktenstücke "auf einem Geheimweg" von der ASU an das kantonale Steueramt gelangt wären.
Die Feststellung des Verwaltungsgerichts in jenem Fall, wonach keine Anhaltspunkte dafür vorlagen, dass die Steuerbehörden über nicht offen gelegte Akten verfügt hätten, erschien nicht als willkürlich und war demgemäss für das Bundesgericht bindend. Unbegründet war der Vorwurf, weitere Akten hätten zu Unrecht nicht eingesehen werden können und zudem sei der Einblick in die "hemmungslose, nicht parteiöffentliche Kommunikation" zwischen dem Steueramt und der ASU verweigert worden. Vielmehr war in genügendem Umfang Einsicht in den ASU-Bericht und in die anderen Verfahrensakten gewährt worden. Nicht substantiiert geltend gemacht war im Übrigen, dass die Vorinstanz in willkürlicher oder in anderer Form gegen <ref-law> verstossender Weise Hinweise auf eine Verletzung der Protokol-lierungs- oder Aktenführungspflicht übergangen hätte (vgl. zum Ganzen E. 2.1.3 des Urteils 2C_717/2018).
2.3. Vor Bundesgericht setzt sich der Beschwerdeführer eingehend mit den Fragen der Akteneinsicht und der Protokollführungspflicht auseinander, die den Gegenstand von E. 3 des angefochtenen Entscheids bilden (vgl. Ziff. 99 S. 60 bis Ziff. 106 S. 70 der Beschwerdeschrift, nebst zahl- und umfangreichen Ausführungen und Einwendungen, Behauptungen und Pauschalvorwürfen in der ersten Hälfte der Beschwerdeschrift).
2.3.1. Ein beträchtlicher Teil der Vorbringen bezieht sich aber nicht wirklich auf die Erwägungen und Ausführungen des Verwaltungsgerichts, sondern wiederholt nur (einmal mehr) das schon mehrmals geltend Gemachte gegenüber Abläufen und Vorgängen in früheren Verfahrens- und Prozessphasen. Ein weiterer Teil beschränkt sich darauf, den Sachverhaltsfeststellungen des Verwaltungsgerichts (z.B. derjenigen, dass dem Beschwerdeführer sämtliche Unterlagen der ASU-Untersuchung am 13. Dezember 2017 auf einem USB-Stick zur Verfügung gestellt wurden), die eigene Sichtweise betreffend Fakten und Verfahrensvorgänge entgegenzuhalten, was sich mit Blick auf <ref-law> (vgl. oben E. 1.5) als unzureichend erweist und folglich unberücksichtigt bleiben muss (vgl. dazu hinreichend E. 3.3.1 u. 6.1 des angefochtenen Entscheids).
2.3.2. Im Weiteren laufen die Vorbringen des Beschwerdeführers darauf hinaus, die Erwägungen des Verwaltungsgerichts (wonach kein Verstoss gegen Verfahrensgarantien oder Parteirechte in Bezug auf Akteneinsicht, Protokollführungspflicht und EMRK-gerechten Rechtsmittelweg vorliege) ihrerseits als krasse BV- oder EMRK-Verletzungen zu bezeichnen. Dem kann aber aus all den bereits genannten Gründen nicht gefolgt werden. Ebenso wenig ist den in den vorherigen Prozessphasen abgewiesenen Verfahrensanträgen nun vor Bundesgericht stattzugeben.
3.
Im Weiteren betreffen die Vorbringen und Einwendungen des Beschwerdeführers das ASU-Verfahren, aufgrund dessen sein Hauptsteuerdomizil für die Perioden 2006 bis 2011 in St. Gallen festgelegt wurde. Er beantragt, die gesamten Beweismittel, Akten und Informationen, die sich aus den besagten Untersuchungen ergeben würden, aus dem Recht zu weisen. Das Verwaltungsgericht hat alle Anträge, die sich auf das ASU-Verfahren bezogen, als unbegründet abgewiesen.
3.1. Die Vorinstanz hat auch die rechtlichen Grundlagen des ASU-Verfahrens sorgfältig und zutreffend dargestellt (vgl. E. 4.1 u. 4.2 des angefochtenen Entscheids). Dann hat sie die Beanstandungen des Beschwerdeführers präzise und umfassend wiedergegeben (vgl. ebenda E. 4.3), bevor sie sich mit ihnen bundesrechtskonform auseinandergesetzt hat. Das gilt zuerst einmal für das Vorbringen des Beschwerdeführers, der ASU-Bericht vom 4. Juni 2015 sei ihm erst 22 Monate nach Erstellung und nur auf spezifische Nachfrage hin eröffnet worden. Wie das Verwaltungsgericht erkannt hat, sind dem Beschwerdeführer durch die gegebenenfalls verzögerte Zustellung keine Rechtsnachteile erwachsen, so dass sein Gehörsanspruch im Ergebnis gewahrt blieb. Die im Bericht eingeräumte Frist zur Stellungnahme benutzte der Beschwerdeführer nicht.
3.2. Über die Eröffnung des ASU-Berichts hinaus werden (im Wesentlichen) dieselben Pauschal-Einwendungen gegen das ASU-Verfahren vorgebracht, die bereits im Urteil 2C_717/2018 zu beurteilen waren.
3.2.1. Der Beschwerdeführer macht geltend, die ASU habe durch ihre Mitwirkung im Verwaltungsverfahren und im Verwaltungsstrafverfahren eine unzulässige Doppelfunktion ausgeübt. Mit ihren "subjektiven und spekulativen Mutmassungen" sowie ihrer "hemmungslosen Kommunikation" gegenüber dem kantonalen Steueramt habe sie gegen Art. 29 und 30 BV bzw. Art. 6 Abs. 1 EMRK verstossen. Folglich würden die gesamten ASU-Akten einem absoluten Beweisverwertungsverbot unterliegen und seien aus dem Recht zu weisen.
3.2.2. Gegen diese Vorbringen des Beschwerdeführers hat das Verwaltungsgericht - in Übereinstimmung mit und ausdrücklichem Hinweis auf die bundesgerichtliche Rechtsprechung (vgl. insb. <ref-ruling> E. 2 m.H.) - geurteilt, dass unter den vorliegend gegebenen Umständen keinerlei Verfahrensverstösse - sei es nun gegenüber den Garantien der Bundesverfassung oder der EMRK - erfolgt sind (vgl. dazu mit ausführlicher und sorgfältiger Begründung E. 4.4.2 des angefochtenen Entscheids).
3.2.3. Diese vorinstanzliche Beurteilung steht im Einklang mit den Erwägungen im Urteil 2C_717/2018, in dem das Bundesgericht sich bereits mit den hier umstrittenen Verfahrensvorgängen zu befassen hatte. Auch dort wurde festgehalten, dass eine solche Vermischung von Straf- und Veranlagungsverfahren rechtsprechungsgemäss nicht pro-blematisch ist. Die Verwendung von im Strafverfahren sichergestellten Beweismitteln im Verwaltungsverfahren ist grundsätzlich unproblematisch (so u.a. schon die Urteile 2C_112/2010 vom 30. September 2010 E. 3.2 u. 2A.701/2006 vom 3. Mai 2007 E. 5.1). Die hypothetische Möglichkeit, dass die Behörden später im Strafverfahren die gültigen Gesetzesbestimmungen bzw. die anwendbaren Verfahrensgarantien missachten, kann für das Veranlagungsverfahren nicht schädlich sein (<ref-ruling> E. 2.3.3, mit Hinweisen). Dass im Verfahren der ASU tatsächlich Vorschriften verletzt worden wären, wurde nicht klar und substantiiert dargelegt. Auch das Vorbringen, die ASU habe lediglich "subjektive und spekulative Mutmassungen" angestellt, war ungenügend substantiiert. Von einer "hemmungslosen Kommunikation" der ASU mit dem kantonalen Steueramt konnte keine Rede sein. Gesamthaft hatte das Verwaltungsgericht die Verwertung der Erkenntnisse der ASU im dortigen Verfahren zu Recht als zulässig eingestuft; die gelieferten Daten stellten geeignete Beweismittel dar (vgl. zum Ganzen überzeugend und umfassend E. 3, insb. E. 3.4, des Urteils 2C_717/2018 sowie E. 5.2 u. 5.3 des Urteils 2C_516/2020).
3.3. Ausserdem hat die Vorinstanz bundesrechtskonform geurteilt, dass auch sonst keine Aspekte der Kommunikation zwischen der ASU und dem kantonalen Steueramt (bzw. den jeweilis zuständigen Beamten) gegen verfahrensrechtliche Ansprüche des Beschwerdeführers verstossen hätten, insbesondere nicht ein E-Mail-Verkehr "per Du", ebenso wenig eine behaupteterweise verfrühte Kommunikation an die andere Behörde (vgl. dazu, obwohl das Verwaltungsgericht diesbezüglich zu Recht nicht den geringsten Verfahrensverstoss angenommen hat, all die oben unter E. 1.6.2 wiedergegebenen, mit Blick auf <ref-law> zumindest problematischen Einzelformulierungen betreffend "zweifache absichtliche Lüge", "berechnend treuwidriges Verhalten", usw.). Auf eine Befangenheit bestimmter oder sämtlicher Steuerbeamten war aufgrund einzelner Formulierungen im besagten E-Mail-Verkehr ebenfalls nicht zu schliessen.
Zu denselben Schlussfolgerungen gelangte schon das Urteil 2C_717/2018, namentlich in Bezug auf die verschiedenen Aspekte des E-Mail-Verkehrs zwischen ASU-Beamten und denjenigen des kantonalen Steueramts. Die bereits erwähnte E-Mail vom 29. September 2015 stellte auch keinen Grund dar, von der Befangenheit einzelner Behördenmitglieder oder von sonstigen Verstössen gegen Verfahrenspflichten auszugehen. Ausserdem bestanden keine genügenden Anhaltspunkte, dass in der Angelegenheit eine nicht offen gelegte Korrespondenz zwischen dem kantonalen Steueramt und der ASU stattgefunden hätte (vgl. E. 4.2 u. 4.3 des Urteils 2C_717/2018 vom 24. Januar 2020).
3.4. Auf mehr als 25 Seiten (Ziff. 107 S. 70 bis Ziff. 119 S. 96) setzt sich der Beschwerdeführer vor Bundesgericht mit E. 4 des angefochtenen Entscheids (hinsichtlich vermeintlicher Verstösse und Mängel im ASU-Verfahren) auseinander.
Nebst unzureichenden Sachverhalts-Einwendungen (vgl. oben E. 1.5 u. 2.3.1) bezieht sich ein beträchtlicher (bis überwiegender) Teil der Ausführungen nicht auf die Erwägungen und rechtlichen Schlüsse der Vorinstanz, sondern auf eine geringe Anzahl an Vorgängen und Abläufen in früheren Verfahrens- und Prozessphasen, um dann deren (geltend gemachte) Nichtahndung durch das Verwaltungsgericht zusätzlich als krasse Verletzung verschiedener BV- und EMRK-Garantien zu bezeichnen. Soweit die gesamte Kritik sich überhaupt gegen den angefochtenen Entscheid richtet, vermag sie - wie zum Wesentlichen bereits im Urteil 2C_717/2018 festgehalten (vgl. dazu oben E. 2.2 u. 3.2) - nicht zu überzeugen.
3.5. Auf jeden Fall ist nicht ersichtlich, wie die vom Beschwerdeführer behaupteten Verfahrensverstösse (ebenso wie diejenigen, die oben in E. 2 behandelt worden sind), als derart krass und schwerwiegend zu qualifizieren wären, dass - wie er meint - entweder teilweise oder sogar gesamthaft auf Nichtigkeit des hier zu beurteilenden Verfahrens geschlossen werden müsste.
4.
4.1. Nachdem das Verwaltungsgericht sich mit allen verfahrensrechtlichen Vorbringen und Einwendungen des Beschwerdeführers auseinandergesetzt hat (vgl. oben E. 2 u. 3), hat es die materiellrechtliche Frage geprüft, wo sich das Hauptsteuerdomizil des Beschwerdeführers in den Steuerperioden 2006 bis 2011 befand.
4.1.1. Einmal mehr zutreffend und umfassend werden im angefochtenen Entscheid die anwendbaren Rechtsbestimmungen und die sie konkretisierenden Grundsätze der bundesgerichtlichen Praxis dargestellt, aufgrund derer für einen Steuerpflichtigen der Mittelpunkt seiner Lebensinteressen ermittelt und - gestützt darauf - sein Hauptsteuerdomizil festgelegt wird (vgl. dort E. 5.1). Dann hat die Vorinstanz die sich übereinstimmend aus den Untersuchungen der ASU und den Ermittlungen des kantonalen Steueramts ergebenden Sachverhalts-Belege und -Indizien so gewürdigt, dass dieser Lebensmittelpunkt (und somit das Hauptsteuerdomizil) des Beschwerdeführers für die Perioden 2006 bis 2011 in der Stadt und im Kanton St. Gallen befand (vgl. dazu eingehend E. 5.2 u. 5.3 des angefochtenen Entscheids).
4.1.2. Bundesrechtskonform hat sich das Verwaltungsgericht dabei auch mit den wesentlichen Vorbringen und Einwendungen des Beschwerdeführers befasst. Als zumindest unzureichend belegt (wenn überhaupt) hat es dessen Einwendungen eingestuft, wonach sein wirklicher Wohnsitz sich im Ausland bzw. in einem anderen Kanton befunden habe, oder sein Vorbringen, in der Stadt St. Gallen habe nicht er mit seiner Partnerin und den Kindern zusammengelebt, sondern ein anderer Mann. Darüber hinaus hat das Verwaltungsgericht auch alle Vorwürfe des Beschwerdeführers als unbegründet qualifizieren dürfen, die eidgenössischen und kantonalen Steuerbehörden hätten im Zusammenhang mit der Ermittlung des Mittelpunkts seiner Lebensinteressen zahlreiche und krasse Verstösse gegen seine Partei- und Verfahrensrechte begangen (vgl. zum Ganzen ebenfalls E. 5.2 u. 5.3).
4.2. Die Beschwerdeschrift vor Bundesgericht enthält auch zur Frage des Lebensmittelpunkts und des Hauptsteuerdomizils zahl- und umfangreiche Ausführungen.
4.2.1. Ein beträchtlicher Teil dieser Ausführungen beschränkt sich dar-auf, den Sachverhaltsfeststellungen bzw. der Beweiswürdigung der Vorinstanz die eigene abweichende Sichtweise der Faktenlage entgegenzuhalten. Das ist nicht geeignet, die verwaltungsgerichtliche Würdigung der Fakten und Beweise als geradezu offensichtlich unzutreffend oder unvollständig erscheinen zu lassen (vgl. oben E. 1.5). Wenn sich diese Würdigung aber für das Bundesgericht als verbindlich erweist, ist auch nicht ersichtlich, wie die daraus gezogene rechtliche Schlussfolgerung, dass der Stadt und dem Kanton St. Gallen für die Perioden 2006 bis 2011 die Steuerhoheit zukommt, bundesrechtswidrig wäre.
4.2.2. Mit zahl- und umfangreichen Vorbringen wendet sich der Beschwerdeführer schliesslich gegen all die vermeintlichen Verletzungen seiner Parteirechte und Verfahrensgarantien, die er im Zusammenhang mit den Ermittlungen der eidgenössischen und kantonalen Steuerbeamten erlitten habe. Wie schon wiederholt hervorgehoben, setzen sich diese Vorbringen zum grossen Teil nicht mit der vorinstanzlichen Beurteilung auseinander. Dort, wo sie es tun, ist kein Grund ersichtlich, vom angefochtenen Entscheid abzuweichen.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann, und wird der Beschwerdeführer kostenpflichtig (vgl. Art. 65 f.).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, der Steuerverwaltung des Kantons Schwyz, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung III, und der Eidgenössischen Steuerverwaltung mitgeteilt.
Lausanne, 23. Dezember 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter