Sachverhalt:
A.
A.a. A._ (geboren 1961) wohnt in U._/SZ. Er hält sämtliche Aktien der Gesellschaften B._ Holding AG, C._ AG und D._ AG. Die Holdinggesellschaft B._ Holding AG hält ihrerseits eine Beteiligung von 100 % an der F._ AG und Beteiligungen von jeweils 50 % an der G._ AG und der E._ AG. Mit Ausnahme der E._ AG, bei der er nicht als Mitglied des Verwaltungsrats eingetragen ist, gehört A._ den Verwaltungsräten aller Gesellschaften an.
Im Jahr 2014 bezog A._ (u.a.) aus unselbständiger Haupt- und Nebenerwerbstätigkeit von der F._ AG einen Bruttolohn von Fr. 100'000.-- und von der B._ Holding AG von Fr. 50'000.-- (neben einer Bruttodividende von Fr. 10'000'000.--) sowie Verwaltungsratsentschädigungen von der D._ AG von brutto Fr. 53'333.-- (neben einer Bruttodividende von Fr. 7'260'000.--). Des Weiteren bezog A._ Entschädigungen in der Höhe von jeweils brutto Fr. 21'060.-- von der C._ AG, von der G._ AG und von der E._ AG. Dazu kamen weitere Einkünfte aus Nebenerwerbstätigkeit.
A.b. Für die Entschädigungen, welche die C._ AG, die G._ AG und die E._ AG A._ entrichteten, wurden die Steuern nach dem vereinfachten Abrechnungsverfahren gemäss Art. 37a des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.14; in der Fassung vom 17. Juni 2005, eingefügt durch das Bundesgesetz vom 17. Juni 2005 über Massnahmen zur Bekämpfung der Schwarzarbeit [BGSA; SR 822.41]) sowie gemäss Art. 11 Abs. 4 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) und § 39a des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) abgerechnet.
B.
In der Veranlagungsverfügung 2014 vom 12. Juni 2018 wurde A._ kantonal mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 21'995'000.-- (davon privilegierte Beteiligungserträge: Fr. 21'760'000.--) und mit einem steuerbaren Vermögen von Fr. 103'058'000.-- und bundessteuerlich mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 13'299'100.-- veranlagt. Die im vereinfachten Abrechnungsverfahren abgerechneten Einkünfte wurden aufgerechnet. Die hiergegen erhobene Einsprache hiess die Veranlagungsbehörde teilweise gut und reduzierte die Aufrechnung um Fr. 22'000.-- auf Fr. 37'231.--. Dagegen führte A._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz. In Verböserung des Einspracheentscheids unterwarf das Verwaltungsgericht mit Urteil vom 23. März 2020 die gesamten im vereinfachten Abrechnungsverfahren abgerechneten Verwaltungsratsentschädigungen von A._ der ordentlichen Besteuerung.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 4. Mai 2020 beantragt A._ die Aufhebung des Entscheids des Verwaltungsgerichts vom 23. März 2020 betreffend die direkte Bundessteuer 2014 und betreffend die Kantons- und Gemeindesteuern 2014 sowie die Rückweisung der Sache an die Veranlagungsbehörde Schwyz zur Festlegung der Steuerfaktoren, wobei das steuerbare Einkommen Kanton auf Fr. 21'935'269.-- (davon privilegierte Dividende von Fr. 21'760'000.--) und das steuerbare Einkommen Bund auf Fr. 13'238'769.-- festzulegen seien. Die Besteuerung im vereinfachten Abrechnungsverfahren sei nicht aufzuheben; aufzuheben sei hingegen die Unterwerfung der im vereinfachten Abrechnungsverfahren abgerechneten Einkommen unter die ordentliche Besteuerung. Eventualiter beantragt A._, dass die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz zu verpflichten sei, die Rückerstattung der im vereinfachten Abrechnungsverfahren abgeführten Quellensteuer zu veranlassen oder die Quellensteuer von der geschuldeten Einkommenssteuer in Abzug zu bringen. In prozessualer Hinsicht beantragt A._ die Erteilung der aufschiebenden Wirkung.
Die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die Eidgenössische Steuerverwaltung (ESTV) beantragen die Abweisung der Beschwerde.
Mit Verfügung vom 17. Juni 2020 erkannte der Instruktionsrichter der Beschwerde die aufschiebende Wirkung zu.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG in Verbindung mit <ref-law> und Art. 73 StHG). Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist einzutreten.
1.2. Sämtliche Anträge des Beschwerdeführers sind der Beschwerde in öffentlich-rechtlichen Angelegenheiten zugänglich. Die subsidiäre Verfassungsbeschwerde ist demnach unzulässig (<ref-law>), sodass darauf nicht einzutreten ist.
1.3. Die Vorinstanz hat ein einziges Urteil für die Kantons- und Gemeindesteuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidenden Rechtsfragen im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt sind (<ref-ruling> E. 1.3.1 S. 262 f.). Unter diesen Umständen ist dem Beschwerdeführer nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht zu haben; aus seiner Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.3.2 S. 264; Urteil 2C_803/2018 vom 17. September 2019 E. 1.1, in: StE 2020 A 12 Nr. 28).
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5 S. 157) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2 S. 236). Es prüft die Anwendung des harmonisierten kantonalen Steuerrechts gleich wie Bundesrecht mit freier Kognition, jene des nicht-harmonisierten, autonomen kantonalen Rechts hingegen bloss auf Verletzung des Willkürverbots und anderer verfassungsmässiger Rechte (<ref-ruling> E. 2.1 S. 465; <ref-ruling> E. 2 S. 210). Die Verletzung von verfassungsmässigen Rechten prüft das Bundesgericht nur, wenn eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungsobliegenheit gemäss <ref-law>).
2.2. Das Bundesgericht legt seinem Urteil nach <ref-law> den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die vorinstanzlichen Feststellungen können gemäss <ref-law> nur berichtigt werden, sofern sie entweder offensichtlich unrichtig, das heisst willkürlich ermittelt worden sind (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 5.1 S. 356) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.6 S. 144 f.). Die beschwerdeführende Partei hat substanziiert darzulegen, inwiefern der vorinstanzlich festgestellte Sachverhalt im Lichte der vorstehenden Regeln zu ergänzen ist; wird sie dieser Anforderung nicht gerecht, bleibt es beim vorinstanzlich festgestellten Sachverhalt (<ref-ruling> E. 1.3.1 S. 18). Soweit Feststellungen oder Schlüsse allerdings nicht auf der beweismässigen Würdigung von vorgebrachten Umständen oder konkreten Anhaltspunkten beruhen, sondern ausschliesslich aufgrund von Erfahrungssätzen getroffen wurden, die sich aus der allgemeinen Lebenserfahrung ableiten, und daher allgemein für gleich gelagerte Fälle Geltung beanspruchen, mithin die Funktion von Normen übernehmen, können sie vom Bundesgericht im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten frei überprüft werden (<ref-ruling> E. 6.2.1 S. 296 f.; <ref-ruling> E. 2 S. 117; <ref-ruling> E. 5 S. 489).
3.
3.1. Für kleine Arbeitsentgelte aus unselbständiger Erwerbstätigkeit ist die Steuer gemäss <ref-law> ohne Berücksichtigung der übrigen Einkünfte, allfälliger Berufskosten und Sozialabzüge zu einem Satz von 0.5 Prozent zu erheben; Voraussetzung ist, dass der Arbeitgeber die Steuer im Rahmen des vereinfachten Abrechnungsverfahrens gemäss Art. 2 und 3 BGSA entrichtet. Damit ist die Einkommenssteuer abgegolten. Art. 11 Abs. 4 StHG schreibt den Kantonen für kleine Arbeitsentgelte gemäss <ref-law> die gleiche Erhebungsart der Einkommenssteuer als Abgeltungsquellensteuer vor, wenn der Arbeitgeber von dieser Abrechnungsart Gebrauch macht (vgl. REICH/CAVELTI, in: Kommentar zum Schweizerischen Steuerrecht, StHG, 3. Aufl. 2017, N. 51 und 56 zu Art. 11 StHG). In die Tarifautonomie der Kantone greift der Bund nicht ein. Die Kantone bleiben daher grundsätzlich frei, den für die Abgeltungsquellensteuer massgebenden Steuersatz zu bestimmen (auch wenn fast alle Kantone - so auch der Kanton Schwyz [§ 39a Abs. 1 StG/SZ] - für die Abgeltungsquellensteuer einen Steuersatz von 4.5 % vorsehen; vgl. REICH/CAVELTI, a.a.O., N. 57 zu Art. 11 StHG). Die sich hier stellenden Fragen sind damit vollumfänglich - für die direkte Bundessteuer ebenso wie für die Kantons- und Gemeindesteuer - bundesrechtlich determiniert. Damit rechtfertigt sich keine getrennte Behandlung mit Blick auf die direkte Bundessteuer einer- und die Kantons- und Gemeindesteuern andererseits (vgl. Urteile 2C_803/2018 vom 17. September 2019 E. 3.1, in: StE 2020 A 12 Nr. 28; 2C_611/2018 vom 16. September 2019 E. 3.1, in: StE 2019 B 22.1 Nr. 9).
3.2. Gemäss <ref-law> - in der hier anwendbaren ursprünglichen Fassung vom 17. Juni 2005 - können Arbeitgeber die Löhne der in ihrem Betrieb beschäftigten Arbeitnehmerinnen und Arbeitnehmer im vereinfachten Abrechnungsverfahren abrechnen, sofern:
a) der einzelne Lohn den Grenzbetrag nach Art. 7 des Bundesgesetzes vom 25. Juni 1982 über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVG; SR 831.40) nicht übersteigt. In der hier relevanten Steuerperiode betrug dieser Betrag Fr. 21'060.-- (AS 2012 6347);
b) die gesamte jährliche Lohnsumme des Betriebes den zweifachen Betrag der maximalen jährlichen Altersrente der AHV nicht übersteigt; und
c) die Löhne des gesamten Personals im vereinfachten Verfahren abgerechnet werden.
3.3. <ref-law> wurde per 1. Januar 2018 angepasst. Seither können Kapitalgesellschaften nicht mehr nach dem vereinfachten Abrechnungsverfahren abrechnen (vgl. <ref-law>). Diese Änderung ist hier noch nicht einschlägig (vgl. Urteile 2C_803/2018 vom 17. September 2019 E. 3.2, in: StE 2020 A 12 Nr. 28; 2C_611/2018 vom 16. September 2019 E. 3.2, in: StE 2019 B 22.1 Nr. 9).
4.
Die Vorinstanz erkannte unter Hinweis auf drei kürzlich ergangene Urteile der II. sozialrechtlichen Abteilung und der II. öffentlich-rechtlichen Abteilung des Bundesgerichts (Urteile 2C_803/2018 vom 17. September 2019, in: StE 2020 A 12 Nr. 28; 2C_611/2018 vom 16. September 2019, in: StE 2019 B 22.1 Nr. 9; 9C_577/2017 vom 25. September 2018), dass die Voraussetzungen des vereinfachten Abrechnungsverfahrens nach <ref-law> (i.d.F. vor dem 1. Januar 2018) und <ref-law> sowie § 39a StG/SZ grundsätzlich erfüllt gewesen seien. Dies ist zutreffend, da nach der zitierten Rechtsprechung erstens Verwaltungsratshonorare unter die Löhne fallen, über die bis am 1. Januar 2018 im vereinfachten Abrechnungsverfahren abgerechnet werden konnte (vgl. Urteile 2C_803/2018 vom 17. September 2019 E. 5.2, in: StE 2020 A 12 Nr. 28; 2C_611/2018 vom 16. September 2019 E. 5.2 und 5.3, in: StE 2019 B 22.1 Nr. 9; 9C_577/2017 vom 25. September 2018 E. 5.2) und zweitens der Grenzbetrag gemäss <ref-law> selbst dann pro einzelnes Arbeitsverhältnis zur Anwendung kommt, wenn der Steuerpflichtige bei mehreren Gesellschaften desselben Konzerns beschäftigt ist. Es ist für das vereinfachte Abrechnungsverfahren vom Arbeitgeberbegriff auszugehen, der dem Sozialversicherungsrecht eigen ist (Urteil 2C_803/2018 vom 17. September 2019 E. 5.3.4 und 5.3.5, in: StE 2020 A 12 Nr. 28).
Die Vorinstanz hielt jedoch unter Hinweis auf eines dieser drei Urteile des Bundesgerichts (Urteil 2C_803/2018 vom 17. September 2019, in: StE 2020 A 12 Nr. 28) dafür, dass dem Beschwerdeführer Steuerumgehung vorzuwerfen sei, sodass die Abrechnung der Verwaltungsratsentschädigungen im vereinfachten Abrechnungsverfahren seine Einkommenssteuerpflicht darauf nichterfüllt habe.
5.
Der Beschwerdeführer rügt zunächst, dass die Vorinstanz den Sachverhalt offensichtlich unrichtig festgestellt habe. Namentlich habe er nicht die Kontrolle über die zwei Gesellschaften gehabt, an denen er über eine Holdinggesellschaft zu 50 % beteiligt war und die ihm Entschädigungen ausrichteten, über die im vereinfachten Abrechnungsverfahren abgerechnet wurde. Er habe seine Bezüge von diesen zwei Gesellschaften nicht frei festlegen können.
5.1. Der Beschwerdeführer hielt indirekt 50 % der Aktien an den beiden Gesellschaften. Bei einer der beiden Gesellschaften war er Präsident des Verwaltungsrats. Hieraus schloss die Vorinstanz gestützt auf die allgemeine Lebenserfahrung, dass der Beschwerdeführer über beide Gesellschaften die Kontrolle ausgeübt habe. Er habe die Höhe der bezahlten Beträge frei anpassen und derart auf die Gesellschaften bzw. Tätigkeiten aufteilen und betragsmässig begrenzen können, dass jeweils eine Abrechnung über Sozialversicherungsbeiträge und Steuern im vereinfachten Abrechnungsverfahren möglich gewesen sei.
5.2. Der Befund der Vorinstanz widerspricht der allgemeinen Lebenserfahrung. Gehören 50 % der Anteile an einer Gesellschaft einer unabhängigen Drittperson, verschaffen eine Beteiligung von 50 % und die Stellung als Verwaltungsratspräsident zwar sicherlich sehr grossen Einfluss, aber noch nicht die alleinige Kontrolle. Noch stärker eingeschränkt ist der Einfluss des Aktionärs, wenn er nicht im Verwaltungsrat vertreten ist. Anders als bei den Gesellschaften, die der Beschwerdeführer als Alleinaktionär kontrollierte, lässt sich folglich nicht sagen, dass er seine Bezüge von den beiden infrage stehenden Gesellschaften völlig frei anpassen konnte, auch wenn er grossen Einfluss auf die Höhe der Entschädigungen nehmen konnte, die er von diesen Gesellschaften bezog. Der Sachverhalt ist in diesem Sinne zu korrigieren.
6.
Der Beschwerdeführer macht sodann geltend, dass die Vorinstanz den Tatbestand der Steuerumgehung falsch angewandt habe. Weder sei die gewählte Gestaltung absonderlich und steuerlich motiviert gewesen, noch hätte sie eine erhebliche Steuerersparnis zur Folge gehabt.
6.1. Wie das Bundesgericht im von der Vorinstanz und dem Beschwerdeführer zitierten Urteil 2C_803/2018 vom 17. September 2019 und zahlreichen früheren Urteilen ausgeführt hat, steht es den Steuerpflichtigen grundsätzlich frei, wie sie ihre wirtschaftlichen Verhältnisse privatrechtlich ordnen (vgl. Urteil 2C_803/2018 vom 17. September 2019 E. 5.4.1, in: StE 2020 A 12 Nr. 28). Insbesondere sind sie nicht verpflichtet, unter mehreren möglichen diejenige rechtliche Gestaltung zu wählen, welche ihnen die grösste steuerliche Belastung auferlegt. Ihre Grenze findet diese Gestaltungsfreiheit aus steuerlicher Sicht aber, wo die gewählte Gestaltung einer Umgehung der steuerrechtlichen Normen gleichkommt. Nach der Rechtsprechung liegt eine solche Steuerumgehung im Sinne eines Rechtsmissbrauchs (<ref-law> analog i.V.m. <ref-law>) vor, wenn (a) eine von den Beteiligten gewählte Rechtsgestaltung als ungewöhnlich ("insolite"), sachwidrig oder absonderlich, jedenfalls den wirtschaftlichen Gegebenheiten völlig unangemessen erscheint (sog. objektives Element), wenn zudem (b) anzunehmen ist, dass die gewählte Rechtsgestaltung missbräuchlich lediglich deshalb getroffen wurde, um Steuern einzusparen, die bei sachgemässer Ordnung der Verhältnisse geschuldet wären (sog. subjektives Element), und wenn (c) das gewählte Vorgehen tatsächlich zu einer erheblichen Steuerersparnis führen würde, sofern es von der Steuerbehörde hingenommen würde (sog. effektives Element; vgl. zur detaillierten Anwendung dieser Kriterien <ref-ruling> E. 4.1 S. 243 ff. mit Hinweisen). Ob diese Voraussetzungen erfüllt sind, ist aufgrund der konkreten Umstände des Einzelfalls zu prüfen. Sind die Voraussetzungen der Steuerumgehung erfüllt, so ist der Besteuerung diejenige Rechtsgestaltung zugrunde zu legen, die sachgemäss gewesen wäre, um den erstrebten wirtschaftlichen Zweck zu erreichen. Eine Steuerumgehung kommt nur in ganz ausserordentlichen Situationen in Frage, wenn eine Rechtsgestaltung (objektives Element) vorliegt, die - abgesehen von den steuerlichen Aspekten - jenseits des wirtschaftlich Vernünftigen liegt. Das subjektive Element erweist sich insofern als entscheidend, als die Annahme einer Steuerumgehung ausgeschlossen bleibt, wenn andere als blosse Steuerersparnisgründe bei der Rechtsgestaltung eine relevante Rolle spielen (vgl. <ref-ruling> E. 4.2 S. 408; <ref-ruling> E. 4.1 S. 243 ff.; Urteile 2C_803/2018 vom 17. September 2019 E. 5.4.1, in: StE 2020 A 12 Nr. 28; 2C_119/2017 vom 5. Oktober 2018 E. 3.1).
6.2.
6.2.1. Im Urteil 2C_611/2018 vom 16. September 2019 kam das Bundesgericht zum Schluss, dass es (noch) nicht rechtsmissbräuchlich ist, das vereinfachte Abrechnungsverfahren in Anspruch zu nehmen, wenn zwei Ehegatten als alleinige Gesellschafter einer GmbH - oder auch nur einer von ihnen - von der GmbH einen Lohn beziehen und dieser Lohn zudem genau oder nahezu dem maximalen Betrag entspricht, für den die Abrechnung im vereinfachten Abrechnungsverfahren zulässig ist (<ref-law> i.V.m. Art. 7 BVG; vgl. Urteil 2C_803/2018 vom 17. September 2019 A. und E. 5.4, in: StE 2020 A 12 Nr. 28).
6.2.2. Im Urteil 2C_803/2018 vom 17. September 2019 erkannte das Bundesgericht demgegenüber, dass es absonderlich ist, wenn sich Ehegatten von fünf Gesellschaften, die sie kontrollieren und die untereinander konzernweise verbunden sind, Löhne für ihre angeblichen Tätigkeiten ausbezahlen lassen und für sechs dieser zehn Löhne das vereinfachte Abrechnungsverfahren beansprucht wird. Denn es wäre naheliegender und wirtschaftlich vernünftig gewesen, wenn die Ehegatten nur von einer Gesellschaft angestellt gewesen wären und diese Gesellschaft die angeblichen Tätigkeiten des Steuerpflichtigen den übrigen Gesellschaften in Rechnung gestellt hätte (Urteil 2C_803/2018 vom 17. September 2019 E. 5.4.2, in: StE 2020 A 12 Nr. 28).
6.2.3. Die Synthese dieser beiden Urteile ergibt, dass die Kontrolle über eine Gesellschaft und ein Entgelt, das den betragsmässigen Spielraum für das vereinfachte Abrechnungsverfahren ausreizt, die Gestaltung noch nicht als absonderlich erscheinen lässt, soweit das Entgelt eine tatsächliche und nicht bloss eine fiktive Tätigkeit abgilt (Urteil 2C_611/2018 vom 16. September 2019 E. 5.4 und 5.5, in: StE 2019 B 22.1 Nr. 9). Die Schwelle zur Absonderlichkeit wird aber überschritten, wenn weitere Elemente hinzutreten und sich hieraus ergibt, dass sich das wirtschaftliche Ziel - die Vergütung effektiv geleisteter Arbeit - auf andere, wirtschaftlich klar vernünftigere, aber weniger steuergünstige Weise hätte erreichen lassen (Urteil 2C_803/2018 vom 17. September 2019 E. 5.4.2, in: StE 2020 A 12 Nr. 28).
6.3.
6.3.1. Der vorliegende Fall liegt zwischen den zwei bereits beurteilten Konstellationen. Im Unterschied zur Gestaltung, die dem Urteil 2C_611/2018 vom 16. September 2019 zugrundelag, bezog der Beschwerdeführer nicht bloss von einer, sondern von drei Gesellschaften Entgelte, über die im vereinfachten Abrechnungsverfahren abgerechnet wurde. Anders als im Sachverhalt, auf den sich das Urteil 2C_803/2018 vom 17. September 2019 bezog, waren diese beiden Gesellschaften aber nur zum Teil konzernweise verbunden und schränkte bei zwei Gesellschaften die Präsenz eines zweiten, beteiligungsmässig gleichermassen berechtigten Aktionärs die Kontrolle des Beschwerdeführers über diese Gesellschaften zumindest etwas ein (vgl. oben E. 5.2).
6.3.2. Hinzu kommt, dass es sich bei den streitbetroffenen Entgelten von zwei der drei Gesellschaften um Honorare handelte, die der Beschwerdeführer in seiner Funktion als Verwaltungsratsmitglied dieser Gesellschaften bezog. In diesem Zusammenhang weist der Beschwerdeführer in seiner Beschwerde zu Recht darauf hin, dass die Verwaltungsratsfunktion in ihrem Kernbereich nicht übertragen werden kann (<ref-law>). Während der Verwaltungsrat die ausserhalb dieses Kernbereichs liegenden Geschäftsführungsaufgaben integral an eine andere Konzerngesellschaft delegieren kann (<ref-ruling> E. 3.2 S. 509), ist zweifelhaft, ob dasselbe auch ausserhalb eines Konzerns möglich ist (vgl. dazu PETER BÖCKLI, Schweizer Aktienrecht, 4. Aufl. 2009, § 13 N. 559; ROLF WATTER, in: Basler Kommentar, OR II, 5. Aufl. 2016, N. 12 zu <ref-law>). Klarerweise zulässig ist einzig, konzernfremde juristische Personen mit der Besorgung einzelner, zeitlich oder inhaltlich begrenzter Aufgaben zu beauftragen (<ref-law>; vgl. <ref-ruling> E. 3.2 S. 509 f.).
Vor diesem Hintergrund lässt sich hier anders als im Urteil 2C_803/2018 vom 17. September 2019 nicht sagen, dass es wirtschaftlich klar vernünftiger gewesen wäre, wenn der Beschwerdeführer nur von einer Gesellschaft Entgelte bezogen und diese Gesellschaft die Tätigkeiten des Beschwerdeführers weiterverrechnet hätte (vgl. Urteil 2C_803/2018 vom 17. September 2019 E. 5.4.2, in: StE 2020 A 12 Nr. 28). Denn diese Gestaltungsalternative stand dem Beschwerdeführer zumindest nur in beschränktem Umfang offen und war jedenfalls für die Tätigkeiten im Kernbereich seiner Verwaltungsratsfunktion ausgeschlossen.
6.4. Unter der Voraussetzung, dass die Honorare eine effektive Tätigkeit des Beschwerdeführers zugunsten der leistenden Gesellschaft marktgerecht abgalten, lässt sich die Gestaltung mangels vernünftiger Alternativen nicht als absonderlich und die Aufteilung der Entgelte auf die Gesellschaften nicht als künstlich bezeichnen. Im vorliegenden Fall ist demnach - wiederum anders als im Urteil 2C_803/2018 vom 17. September 2019 - entscheidend, ob und gegebenenfalls inwieweit die Entgelte effektiv mit einer Tätigkeit des Beschwerdeführers korrespondierten (vgl. auch Urteil 2C_611/2018 vom 16. September 2019 E. 5.5, in: StE 2019 B 22.1 Nr. 9, wo die ESTV die Effektivität des Arbeitsverhältnisses erst vor Bundesgericht und damit verspätet in Zweifel gezogen hatte).
6.4.1. Die Vorinstanz gibt im angefochtenen Urteil die Behauptung des Beschwerdeführers wieder, wonach die Honorare marktgerecht gewesen seien. Sie zieht diese Behauptung jedoch in Zweifel, denn es könne nicht genauer gesagt werden, in welchem Umfang überhaupt für die im vereinfachten Abrechnungsverfahren abgerechneten Löhne tatsächlich entsprechende Tätigkeiten erbracht worden seien bzw. erbracht hätten werden müssen (E. 5.2 des angefochtenen Urteils). Die Vorinstanz scheint also davon auszugehen, dass über den Umfang der Tätigkeiten des Beschwerdeführers kein direkter Beweis geführt und diese Tatsache nicht direkt festgestellt werden könne. Stattdessen schliesst sie aus dem Umstand, dass die Entgelte im streitbetroffenen Jahr 2014 (und offenbar auch in den Folgejahren 2015, 2016 und 2017, in welchen der Beschwerdeführer zudem von weiteren Gesellschaften entsprechende Vergütungen erhalten haben soll) jeweils exakt dem damals für das vereinfachte Abrechnungsverfahren maximal zulässigen Betrag von Fr. 21'060.-- entsprachen (vgl. <ref-law> i.V.m. Art. 7 Abs. 1 BVG i.d.F. vom 1. Januar 2013; ab 1. Januar 2015: Fr. 21'150.--; AS 2014 3343), dass sie nicht nach Massgabe der geleisteten Arbeit, sondern ausschliesslich im Hinblick auf die gesetzlichen Schwellen bemessen worden seien (vgl. E. 5.2 des angefochtenen Entscheids).
6.4.2. Diese Würdigung überzeugt nicht. Auch im Fall, der dem Urteil 2C_611/2018 vom 16. September 2019 zugrunde lag, reizte das im vereinfachten Abrechnungsverfahren abgerechnete Entgelt den erwähnten Maximalbetrag nahezu aus. Daraus schlossen aber weder die kantonalen Instanzen noch das Bundesgericht, dass das Arbeitsverhältnis ganz oder teilweise fiktiv gewesen war (vgl. Urteil 2C_611/2018 vom 16. September 2019 A. und E. 5.4 und 5.5, in: StE 2019 B 22.1 Nr. 9). Hinzu kommt, dass die einkommenssteuertilgende Wirkung des vereinfachten Abrechnungsverfahrens dem Beschwerdeführer wegen Steuerumgehung nur dann vollständig versagt werden könnte, wenn die Leistungen des Beschwerdeführers mehr wert waren als das ausgerichtete Honorar und ihm der Fehlbetrag jeweils anderweitig - insbesondere von den übrigen Gesellschaften, von welchen der Beschwerdeführer Entgelte bezog, die den für das vereinfachte Abrechnungsverfahren zulässigen Betrag ohnehin überstiegen - kompensiert wurde. Falls und soweit hingegen die Entschädigung von je Fr. 21'060.-- den Marktwert der Tätigkeiten des Beschwerdeführers überstieg, die er den Gesellschaften erbrachte, wäre an der Anwendung des vereinfachten Abrechnungsverfahrens für den marktkonformen Teil der Vergütung nichts auszusetzen und wäre alleine der nicht marktübliche Teil vom vereinfachten Abrechnungsverfahren ausgeschlossen. Für diesen nicht marktüblichen Teil wäre sodann zu prüfen, ob es sich insoweit tatsächlich um Einkünfte aus unselbständiger Erwerbstätigkeit oder nicht vielmehr um geldwerte Leistungen handelte, welche die Gesellschaften dem Beschwerdeführer aufgrund des Beteiligungsverhältnisses ausrichteten (vgl. zu dieser Abgrenzung Urteile 2C_898/2019 vom 21. Januar 2019 E. 5.3; 2C_449/2017 vom 26. Februar 2019 E. 2.5, in: StE 2019 B 24.4 Nr. 90).
Die Übereinstimmung einer Entschädigung mit dem gesetzlichen Maximalbetrag für das vereinfachte Abrechnungsverfahren ist zwar ein starkes Indiz dafür, dass sie nicht dem Marktwert der Tätigkeiten des Beschwerdeführers entsprach. Ob die Entschädigung zu hoch oder zu tief ausfiel, lässt sich alleine anhand der Höhe der Entschädigung aber nicht bestimmen. Zu diesem Zweck müssen die konkret erbrachten Tätigkeiten untersucht werden.
6.4.3. Falls der Umfang der Tätigkeiten des Beschwerdeführers objektiv nicht bzw. nicht mit verhältnismässigem Aufwand direkt festgestellt werden konnte, hätte die Vorinstanz somit keine tatsächliche Vermutung aufgrund der Höhe der Entschädigung anstellen dürfen. Stattdessen hätte sie nach der Beweislastregel entscheiden müssen. Danach trägt derjenige die Beweislast für eine Tatsache, der aus ihr Rechte ableitet (<ref-law> analog; vgl. <ref-ruling> E. 3.2.6 S. 439 mit Hinweisen). Im Steuerrecht hat die Praxis diesen Grundsatz dahingehend konkretisiert, dass steuerbegründende und -erhöhende Tatsachen von der Steuerbehörde, steuerausschliessende und -mindernde Tatsachen vom Steuerpflichtigen nachzuweisen sind (sog. Normentheorie; <ref-ruling> E. 8.3.1; <ref-ruling> E. 3.8.2 S. 508; <ref-ruling> E. 3.5 S. 252; Urteil 2C_177/2018 vom 22. August 2019 E. 4.1.1). Für die Tatsachen, die eine Steuerumgehung begründen, trägt die Steuerbehörde die Beweislast (vgl. Urteile 2C_171/2019 vom 11. Oktober 2019 E. 5.2.3, in: StE 2020 B 22.1 Nr. 10; StR 74/2019 S. 903; 2C_487/2011 vom 13. Februar 2013 E. 2.8, in: ASA 82 S. 241; 2C_896/2008 vom 30. Oktober 2009 E. 4.2.5, in: StR 65/2010 S. 156).
Im Geltungsbereich der Untersuchungsmaxime (vgl. <ref-law>; § 128 StG/SZ i.V.m. § 18 Abs. 1 des Verwaltungsrechtspflegegesetzes des Kantons Schwyz vom 6. Juni 1974 [VRPG/SZ; SRSZ 234.110]) kann die Beweislastregel freilich erst zur Anwendung kommen, wenn die zuständige Verwaltungs- oder Justizbehörde alle zumutbaren Anstrengungen unternommen hat, um die rechtserhebliche Tatsache festzustellen (vgl. Urteil 2C_247/2020 vom 18. Juni 2020 E. 4.3.4). Die Vorinstanz scheint aber gar nicht erst versucht zu haben, den Umfang der angeblichen Tätigkeiten des Beschwerdeführers zu bestimmen. Namentlich hätte sie etwa den Beschwerdeführer im Rahmen seiner Mitwirkungspflicht zur Substanziierung seiner Tätigkeiten und zur Beibringung von Beweismitteln anhalten können und müssen (vgl. PETER LOCHER, Kommentar zum DBG, 2015, N. 14 zu <ref-law>). Indem die Vorinstanz keine solchen Abklärungen unternahm, verletzte sie ihre Untersuchungspflicht, sodass ihre Sachverhaltsfeststellung in diesem Punkt an einem rechtlichen Mangel krankt (Art. 97 Abs. 1 und <ref-law>).
6.5. Ob und gegebenenfalls inwieweit die vom Beschwerdeführer gewählte Gestaltung absonderlich war, hängt vom Umfang der Tätigkeiten ab, die der Beschwerdeführer den drei im vereinfachten Abrechnungsverfahren abrechnenden Gesellschaften erbrachte. Zu dieser rechtserheblichen Tatsache enthält das angefochtene Urteil keine Feststellung. Sie lässt sich auch nicht aufgrund der Akten feststellen, sodass das Bundesgericht den Sachverhalt nicht von Amtes wegen ergänzen kann (vgl. <ref-law>). Die Sache ist daher grundsätzlich mangels Spruchreife zur ergänzenden Sachverhaltsfeststellung und Neubeurteilung an die Vorinstanz zurückzuweisen.
6.6. Auf diese Rückweisung könnte nur verzichtet werden, falls sich die Beschwerde bereits aus anderen Gründen als begründet erwiese, namentlich wenn es jedenfalls an einem der anderen beiden Elemente der Steuerumgehung fehlte. Dies ist jedoch nicht der Fall.
6.6.1. W ie gross die Steuerersparnis im Vergleich zur wirtschaftlich sachgerechten Gestaltung genau wäre, hängt davon ab, ob und gegebenenfalls inwieweit sich die steuerliche Abrechnung im vereinfachten Abrechnungsverfahren als missbräuchlich erweist (vgl. oben E. 5.4.2). Maximal entspricht sie der Differenz zwischen dem Steuerbetrag bei vollständiger Abrechnung im vereinfachten Abrechnungsverfahren und jenem bei ordentlicher Besteuerung. Aus dem angefochtenen Entscheid ergibt sich nicht unmittelbar, wie gross diese Differenz ist. Der Beschwerdeführer beziffer t sie mit rund Fr. 9 '000.--, waser angesichts seiner gesamten Steuerlast im Jahr 2014 von über Fr. 2'000 '000.-- für nicht erheblich hält.
Es ist dem Beschwerdeführer zwar zuzugestehen, dass die Ersparnis im Vergleich zur gesamten Steuerbelastung nicht besonders ins Gewicht fällt. Dennoch ist eine Steuerersparnis von Fr. 9'000.-- jedenfalls nicht so unbedeutend, als dass sich die Annahme einer Steuerumgehung schon aus diesem Grund verbieten würde. Auf dieser Basis lässt sich die Beschwerde folglich nicht gutheissen.
6.6.2. Was schliesslich das subjektive Element der Steuerumgehung angeht, führt der Beschwerdeführer ins Feld, dass die Abrechnung im vereinfachten Abrechnungsverfahren den wirtschaftlichen Verhältnissen angemessen gewesen sei. Die Vorinstanz verletze den Grundsatz von Treu und Glauben und wende den Tatbestand der Steuerumgehung falsch an, wenn sie die Steuerumgehungsabsicht des Beschwerdeführers aufgrund der übrigen Tatbestandselemente vermute.
Mit diesem Vorbringen dringt der Beschwerdeführer ebenfalls nicht durch. Für den Nachweis der Steuerumgehungsabsicht genügt es praxisgemäss, wenn neben der Steuerersparnis keine anderen Gründe ersichtlich sind, die bei der Rechtsgestaltung eine relevante Rolle gespielt haben (vgl. oben E. 6.1). Falls sich die Gestaltung als absonderlich erweisen sollte, weil das Entgelt künstlich unter dem Maximalbetrag für das vereinfachte Abrechnungsverfahren gehalten worden war (vgl. oben E. 6.4.2), wären keine legitimen wirtschaftlichen Gründe dafür ersichtlich, im vereinfachten Abrechnungsverfahren abzurechnen. In diesem Fall wäre die betreffende Entschädigung vollumfänglich der ordentlichen Besteuerung zu unterwerfen. Falls und soweit umgekehrt die Leistungen des Beschwerdeführers weniger wert waren als in Rechnung gestellt und ein Honorar dementsprechend das marktübliche Entgelt überschritt, hätte die Abrechnung im vereinfachten Abrechnungsverfahren im Umfang des nicht marktüblichen Teils keine einkommenssteuertilgende Wirkung, sei es, weil die Gestaltung insoweit als absonderlich erschiene oder weil dieser Teil dem Beschwerdeführer nicht wegen seiner Arbeit als Verwaltungsratsmitglied, sondern wegen des Beteiligungsverhältnisses ausgerichtet worden war (vgl. oben E. 6.4.2). Somit hängt auch das subjektive Element der Steuerumgehung letztlich vom Umfang der Tätigkeiten ab, die der Beschwerdeführer den Gesellschaften im Gegenzug für die empfangenen Entgelte erbracht haben will.
7.
7.1. Die Beschwerde erweist sich hinsichtlich der direkten Bundessteuer und hinsichtlich der Kantons- und Gemeindesteuern als begründet und ist gutzuheissen. Der angefochtene Entscheid ist aufzuheben und die Sache zur ergänzenden Sachverhaltsfeststellung und Neubeurteilung an die Vorinstanz zurückzuweisen.
7.2. Für die Kostenverlegung gilt dieser Verfahrensausgang als vollständiges Obsiegen des Beschwerdeführers, auch wenn das Bundesgericht seinen Antrag in der Sache mangels Spruchreife unbeantwortet lassen muss (<ref-ruling> E. 11.1 S. 312). Der Kanton Schwyz verfolgt Vermögensinteressen, sodass ihm die Gerichtskosten aufzuerlegen sind (Art. 66 Abs. 1 und 4 BGG). Der Beschwerdeführer hat Anspruch auf eine angemessene Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird hinsichtlich der direkten Bundessteuer 2014 gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 23. März 2020 wird aufgehoben und die Sache wird zur ergänzenden Sachverhaltsfeststellung und Neubeurteilung an die Vorinstanz zurückgewiesen.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird hinsichtlich der Kantons- und Gemeindesteuern 2014 gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 23. März 2020 wird aufgehoben und die Sache wird zur ergänzenden Sachverhaltsfeststellung und Neubeurteilung an die Vorinstanz zurückgewiesen.
3.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
4.
Die Gerichtskosten von Fr. 2'000.-- werden dem Kanton Schwyz auferlegt.
5.
Der Kanton Schwyz hat dem Beschwerdeführer eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 25. November 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler