Sachverhalt: A. A.a. A.A._ (geboren 1959) wohnt in U._/SZ und ist alleiniger Gesellschafter der C._ AG (100 vinkulierte Namenaktien zu Fr. 1'000.--; am 31. Oktober 2008 nach einer Sitzverlegung in das Handelsregister des Kantons Schwyz eingetragen), sowie der D._ AG (100 vinkulierte Namenaktien zu Fr. 1'000.--; am 2. Juli 1984 in das Handelsregister des Kantons Schwyz eingetragen). Zudem hält er 50 % der Aktien an der E._ AG (50'000 von 100'000 Namenaktien zu Fr. 1.--; am 9. April 2010 im Handelsregister des Kantons Schwyz eingetragen). Alle Gesellschaften haben ihren Sitz in U._/SZ. A.A._ ist einziges Mitglied des Verwaltungsrats der C._ AG und der E._ AG (je mit Einzelunterschrift) und amtet als Präsident (mit Einzelunterschrift) des Verwaltungsrats der D._ AG, dem neben ihm noch ein weiteres Mitglied (mit Kollektivunterschrift zu zweien) angehört. Im Jahr 2015 bezogen A.A._ und B.A._ von der D._ AG (nebst einer Bruttodividende von Fr. 200'000.--) einen Bruttolohn aus unselbständiger Haupterwerbstätigkeit von Fr. 196'320.-- (Nettolohn Fr. 176'516.--) und Fr. 71'403.-- (Nettolohn Fr. 61'611.--), wobei im Bruttolohn von A.A._ auch eine Verwaltungsratsentschädigung von Fr. 5'000.-- enthalten war. Zudem bezog A.A._ von der C._ AG und der E._ AG Verwaltungsratsentschädigungen von je brutto Fr. 21'150.--. Dazu kamen verschiedene weitere Einkünfte aus Nebenerwersbstätigkeit. A.b. Für die Verwaltungsratsentschädigungen, welche die C._ AG und die E._ AG A.A._ entrichteten, wurden die Steuern nach dem vereinfachten Abrechnungsverfahren gemäss Art. 37a des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.14; in der Fassung vom 17. Juni 2005, eingefügt durch das Bundesgesetz vom 17. Juni 2005 über Massnahmen zur Bekämpfung der Schwarzarbeit [BGSA; SR 822.41]) sowie gemäss Art. 11 Abs. 4 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.4) und § 39a des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) abgerechnet. B. In der Veranlagungsverfügung 2015 vom 9. Mai 2017 wurden die Eheleute A._ kantonal mit einem steuerbaren Einkommen von Fr. 285'900.-- (satzbestimmend Fr. 156'000) und mit einem steuerbaren Vermögen von Fr. 6'984'000.-- und bundessteuerlich mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 328'700.-- veranlagt. Die im vereinfachten Abrechnungsverfahren abgerechneten Einkünfte wurden aufgerechnet, soweit sie Fr. 22'000.-- überstiegen. Die hiergegen erhobene Einsprache wiesen die Kantonale Steuerkommission und die Kantonale Verwaltung für die direkte Bundessteuer mit Einspracheentscheid vom 10. Juni 2019 im Wesentlichen ab. Dagegen gelangten die Eheleute mit Beschwerde an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde mit Entscheid vom 23. März 2020 ab. Das Verwaltungsgericht verböserte den angefochtenen Einspracheentscheid, indem es sämtliche im vereinfachten Abrechnungsverfahren abgerechneten Einkünfte von insgesamt Fr. 42'300.-- abzüglich Sozialversicherungsbeiträge der ordentlichen Besteuerung unterwarf. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 4. Mai 2020 beantragen die Eheleute A._ die Aufhebung des Entscheids des Verwaltungsgerichts vom 23. März 2020 betreffend die direkte Bundessteuer 2015 und betreffend die Kantons- und Gemeindesteuern 2015 sowie die Rückweisung der Sache an die Veranlagungsbehörde Schwyz zur Festlegung der Steuerfaktoren, wobei das steuerbare Einkommen Kanton auf Fr. 265'644.-- und das steuerbare Einkommen Bund auf Fr. 306'144.-- festzulegen seien. Die Besteuerung im vereinfachten Abrechnungsverfahren sei nicht aufzuheben; aufzuheben sei hingegen die Unterwerfung der im vereinfachten Abrechnungsverfahren abgerechneten Einkommen unter die ordentliche Besteuerung. Eventualiter beantragen die Eheleute A._, dass die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz zu verpflichten sei, die Rückerstattung der im vereinfachten Abrechnungsverfahren abgeführten Quellensteuer zu veranlassen oder die Quellensteuer von der geschuldeten Einkommenssteuer in Abzug zu bringen. In prozessualer Hinsicht beantragen die Eheleute A._ die Erteilung der aufschiebenden Wirkung. Die Kantonale Steuerkommission / Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die Eidgenössische Steuerverwaltung (ESTV) beantragen die Abweisung der Beschwerde. Mit Verfügung vom 17. Juni 2020 erkannte der Instruktionsrichter der Beschwerde die aufschiebende Wirkung zu.