Sachverhalt: A. A.a. A._ (geboren 1961) wohnt in U._/SZ. Er hält sämtliche Aktien der Gesellschaften B._ Holding AG, C._ AG und D._ AG. Die Holdinggesellschaft B._ Holding AG hält ihrerseits eine Beteiligung von 100 % an der F._ AG und Beteiligungen von jeweils 50 % an der G._ AG und der E._ AG. Mit Ausnahme der E._ AG, bei der er nicht als Mitglied des Verwaltungsrats eingetragen ist, gehört A._ den Verwaltungsräten aller Gesellschaften an. Im Jahr 2014 bezog A._ (u.a.) aus unselbständiger Haupt- und Nebenerwerbstätigkeit von der F._ AG einen Bruttolohn von Fr. 100'000.-- und von der B._ Holding AG von Fr. 50'000.-- (neben einer Bruttodividende von Fr. 10'000'000.--) sowie Verwaltungsratsentschädigungen von der D._ AG von brutto Fr. 53'333.-- (neben einer Bruttodividende von Fr. 7'260'000.--). Des Weiteren bezog A._ Entschädigungen in der Höhe von jeweils brutto Fr. 21'060.-- von der C._ AG, von der G._ AG und von der E._ AG. Dazu kamen weitere Einkünfte aus Nebenerwerbstätigkeit. A.b. Für die Entschädigungen, welche die C._ AG, die G._ AG und die E._ AG A._ entrichteten, wurden die Steuern nach dem vereinfachten Abrechnungsverfahren gemäss Art. 37a des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.14; in der Fassung vom 17. Juni 2005, eingefügt durch das Bundesgesetz vom 17. Juni 2005 über Massnahmen zur Bekämpfung der Schwarzarbeit [BGSA; SR 822.41]) sowie gemäss Art. 11 Abs. 4 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) und § 39a des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) abgerechnet. B. In der Veranlagungsverfügung 2014 vom 12. Juni 2018 wurde A._ kantonal mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 21'995'000.-- (davon privilegierte Beteiligungserträge: Fr. 21'760'000.--) und mit einem steuerbaren Vermögen von Fr. 103'058'000.-- und bundessteuerlich mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 13'299'100.-- veranlagt. Die im vereinfachten Abrechnungsverfahren abgerechneten Einkünfte wurden aufgerechnet. Die hiergegen erhobene Einsprache hiess die Veranlagungsbehörde teilweise gut und reduzierte die Aufrechnung um Fr. 22'000.-- auf Fr. 37'231.--. Dagegen führte A._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz. In Verböserung des Einspracheentscheids unterwarf das Verwaltungsgericht mit Urteil vom 23. März 2020 die gesamten im vereinfachten Abrechnungsverfahren abgerechneten Verwaltungsratsentschädigungen von A._ der ordentlichen Besteuerung. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 4. Mai 2020 beantragt A._ die Aufhebung des Entscheids des Verwaltungsgerichts vom 23. März 2020 betreffend die direkte Bundessteuer 2014 und betreffend die Kantons- und Gemeindesteuern 2014 sowie die Rückweisung der Sache an die Veranlagungsbehörde Schwyz zur Festlegung der Steuerfaktoren, wobei das steuerbare Einkommen Kanton auf Fr. 21'935'269.-- (davon privilegierte Dividende von Fr. 21'760'000.--) und das steuerbare Einkommen Bund auf Fr. 13'238'769.-- festzulegen seien. Die Besteuerung im vereinfachten Abrechnungsverfahren sei nicht aufzuheben; aufzuheben sei hingegen die Unterwerfung der im vereinfachten Abrechnungsverfahren abgerechneten Einkommen unter die ordentliche Besteuerung. Eventualiter beantragt A._, dass die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz zu verpflichten sei, die Rückerstattung der im vereinfachten Abrechnungsverfahren abgeführten Quellensteuer zu veranlassen oder die Quellensteuer von der geschuldeten Einkommenssteuer in Abzug zu bringen. In prozessualer Hinsicht beantragt A._ die Erteilung der aufschiebenden Wirkung. Die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die Eidgenössische Steuerverwaltung (ESTV) beantragen die Abweisung der Beschwerde. Mit Verfügung vom 17. Juni 2020 erkannte der Instruktionsrichter der Beschwerde die aufschiebende Wirkung zu.