Sachverhalt: A. A._ war Gesellschafter und Geschäftsführer mit Einzelzeichnungsberechtigung der X._ GmbH (nachfolgend auch: Gesellschaft). Seit dem 27. Juni 2002 war er einziger Gesellschafter und verfügte über das gesamte Stammkapital. Die Gesellschaft bezweckte den Betrieb von Sauna-Clubs. Am 18. August 2011 wurde der Konkurs über sie eröffnet. Mit einzelrichterlicher Verfügung vom 9. September 2011 wurde das Konkursverfahren mangels Aktiven eingestellt. Die Gesellschaft wurde am 30. Dezember 2011 von Amtes wegen im Handelsregister gelöscht. B. Mit Veranlagungsverfügungen vom 11. Januar 2005 wurden der steuerbare Reingewinn der Gesellschaft für die Steuerperioden 2001 und 2002 ermessensweise mit Fr. 1'043'500.-- bzw. Fr. 1'193'600.-- (kantonale Steuer und direkte Bundessteuer) und das steuerbare Kapital mit Fr. 177'000.-- bzw. Fr. 242'000.-- (kantonale Steuer) festgesetzt. Auf die dagegen erhobene Einsprache trat die Kantonale Steuerkommission/Verwaltung für die direkte Bundessteuer Schwyz nicht ein. Das Verwaltungsgericht des Kantons Schwyz wies eine Beschwerde hiergegen mit Urteil vom 30. März 2011 rechtskräftig ab. Mit Veranlagungsverfügungen vom 4. Oktober 2011 wurde die X._ GmbH in Liquidation für die Steuerjahre 2003 bis 2007 wie folgt veranlagt: Jahr steuerbarer Reingewinn kantonal (Fr.) steuerbares Kapital kantonal (Fr.) steuerbarer Reingewinn Bundessteuer (Fr.) 2003 84'500.-- 177'000.-- 84'500.-- 2004 55'500.-- 297'000.-- 55'500.-- 2005 55'500.-- 297'000.-- 55'500.-- 2006 55'500.-- 297'000.-- 55'500.-- 2007 55'500.-- 297'000.-- 55'500.-- Für die Jahre 2001 bis 2007 bestehen folgende Steuerausstände: Kantonale Steuern 2001 Fr. 145'496.55 Kantonale Steuern 2002 Fr. 170'886.60 Kantonale Steuern 2003 Fr. 3'713.75 Kantonale Steuern 2004 Fr. 110.85 Kantonale Steuern 2005 Fr. 6'813.20 Kantonale Steuern 2007 Fr. 6'530.65 Zuzüglich Verzugszinsen für die Steuerjahre 2001 bis 2007 bis 17.01.2014 in der Höhe von total Fr. 86'082.05 und Verzugszinsen für die Steuerjahre 2001 bis 2007 von 3.5% ab 17.01.2014. Direkte Bundessteuer 2001 Fr. 81'515.00 Direkte Bundessteuer 2002 Fr. 95'956.50 Direkte Bundessteuer 2003 Fr. 2'465.00 Direkte Bundessteuer 2005 Fr. 3'751.85 Direkte Bundessteuer 2006 Fr. 3'272.50 Direkte Bundessteuer 2007 Fr. 3'272.50 Zuzüglich Verzugszinsen für die Steuerjahre 2001 bis 2007 bis 17.01.2014 in der Höhe von total Fr. 56'128.30 und Verzugszinsen für die Steuerjahre 2001 bis 2007 von 3.0% ab 17.01.2014. Total offene Forderungen Kanton und Bund (exkl. Verzugszinsen) Fr. 523'784.95 C. Am 20. Januar 2014 erliess die Steuerkommission/Verwaltung für die direkte Bundessteuer gegenüber A._ eine Haftungsverfügung, wonach er für die von der X._ GmbH in Liquidation für die Steuerjahre 2001 bis 2007 geschuldeten Steuern zuzüglich Verzugszinsen hafte. Mit Einspracheentscheid vom 23. Juni 2014 wies die Steuerkommission/Verwaltung für die direkte Bundessteuer die gegen die Haftungsverfügung erhobene Einsprache ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Urteil vom 16. April 2015 ab. Zur Begründung hielt es im Wesentlichen fest, A._ sei gemäss Art. 55 Abs. 1 DBG (SR 642.11) und § 60 Abs. 1 des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) solidarisch für die Gesellschaftssteuern haftbar. Es ging davon aus, dass das Eigenkapital der Unternehmung unter Berücksichtigung der unterlassenen Steuerrückstellungen spätestens Ende 2002 aufgezehrt und die Unternehmung faktisch überschuldet gewesen sei. Ausgehend von einem Beginn der faktischen Liquidation in den Jahren 2001 und 2002 stellte es auf die Bilanz per 31. Dezember 2000 ab und berücksichtigte die geldwerten Leistungen der Folgejahre (2001 und 2002). Angesichts geldwerter Leistungen im Umfang von fast zwei Millionen Franken habe man, ohne das genaue Liquidationsergebnis zu bestimmen, von einem Haftungsumfang ausgehen dürfen, welcher die geschuldeten Steuern offensichtlich übersteige und eine Haftung von A._ für den Gesamtbetrag der geschuldeten Steuern zur Folge habe. D. Mit Eingabe vom 26. Mai 2015 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt die Aufhebung des Entscheids des Verwaltungsgerichts sowie die Aufhebung der Haftungsverfügung. Eventualiter sei die Sache zu ergänzender Sachverhaltsfeststellung und Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Die Steuerkommission/Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung - Letztere soweit die direkte Bundessteuer betreffend - beantragen die Abweisung der Beschwerde, das Verwaltungsgericht verzichtet auf eine Vernehmlassung. Mit Verfügung vom 23. Juni 2015 sind die praxisgemäss vom Bundesgericht getrennt angelegten Dossiers für die kantonalen Steuern (2C_472/2015) und die direkte Bundessteuer (2C_473/2015) vereinigt und ist der Beschwerde antragsgemäss aufschiebende Wirkung erteilt worden.