Sachverhalt:
A.
A._ war Gesellschafter und Geschäftsführer mit Einzelzeichnungsberechtigung der X._ GmbH (nachfolgend auch: Gesellschaft). Seit dem 27. Juni 2002 war er einziger Gesellschafter und verfügte über das gesamte Stammkapital. Die Gesellschaft bezweckte den Betrieb von Sauna-Clubs. Am 18. August 2011 wurde der Konkurs über sie eröffnet. Mit einzelrichterlicher Verfügung vom 9. September 2011 wurde das Konkursverfahren mangels Aktiven eingestellt. Die Gesellschaft wurde am 30. Dezember 2011 von Amtes wegen im Handelsregister gelöscht.
B.
Mit Veranlagungsverfügungen vom 11. Januar 2005 wurden der steuerbare Reingewinn der Gesellschaft für die Steuerperioden 2001 und 2002 ermessensweise mit Fr. 1'043'500.-- bzw. Fr. 1'193'600.-- (kantonale Steuer und direkte Bundessteuer) und das steuerbare Kapital mit Fr. 177'000.-- bzw. Fr. 242'000.-- (kantonale Steuer) festgesetzt. Auf die dagegen erhobene Einsprache trat die Kantonale Steuerkommission/Verwaltung für die direkte Bundessteuer Schwyz nicht ein. Das Verwaltungsgericht des Kantons Schwyz wies eine Beschwerde hiergegen mit Urteil vom 30. März 2011 rechtskräftig ab.
Mit Veranlagungsverfügungen vom 4. Oktober 2011 wurde die X._ GmbH in Liquidation für die Steuerjahre 2003 bis 2007 wie folgt veranlagt:
Jahr steuerbarer Reingewinn kantonal (Fr.) steuerbares Kapital kantonal (Fr.) steuerbarer Reingewinn Bundessteuer (Fr.) 2003 84'500.-- 177'000.-- 84'500.-- 2004 55'500.-- 297'000.-- 55'500.-- 2005 55'500.-- 297'000.-- 55'500.-- 2006 55'500.-- 297'000.-- 55'500.-- 2007 55'500.-- 297'000.-- 55'500.--
Für die Jahre 2001 bis 2007 bestehen folgende Steuerausstände:
Kantonale Steuern 2001 Fr. 145'496.55 Kantonale Steuern 2002 Fr. 170'886.60 Kantonale Steuern 2003 Fr. 3'713.75 Kantonale Steuern 2004 Fr. 110.85 Kantonale Steuern 2005 Fr. 6'813.20 Kantonale Steuern 2007 Fr. 6'530.65
Zuzüglich Verzugszinsen für die Steuerjahre 2001 bis 2007 bis 17.01.2014 in der Höhe von total Fr. 86'082.05 und Verzugszinsen für die Steuerjahre 2001 bis 2007 von 3.5% ab 17.01.2014.
Direkte Bundessteuer 2001 Fr. 81'515.00 Direkte Bundessteuer 2002 Fr. 95'956.50 Direkte Bundessteuer 2003 Fr. 2'465.00 Direkte Bundessteuer 2005 Fr. 3'751.85 Direkte Bundessteuer 2006 Fr. 3'272.50 Direkte Bundessteuer 2007 Fr. 3'272.50
Zuzüglich Verzugszinsen für die Steuerjahre 2001 bis 2007 bis 17.01.2014 in der Höhe von total Fr. 56'128.30 und Verzugszinsen für die Steuerjahre 2001 bis 2007 von 3.0% ab 17.01.2014.
Total offene Forderungen Kanton und Bund (exkl. Verzugszinsen) Fr. 523'784.95
C.
Am 20. Januar 2014 erliess die Steuerkommission/Verwaltung für die direkte Bundessteuer gegenüber A._ eine Haftungsverfügung, wonach er für die von der X._ GmbH in Liquidation für die Steuerjahre 2001 bis 2007 geschuldeten Steuern zuzüglich Verzugszinsen hafte.
Mit Einspracheentscheid vom 23. Juni 2014 wies die Steuerkommission/Verwaltung für die direkte Bundessteuer die gegen die Haftungsverfügung erhobene Einsprache ab.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Urteil vom 16. April 2015 ab. Zur Begründung hielt es im Wesentlichen fest, A._ sei gemäss <ref-law> (SR 642.11) und § 60 Abs. 1 des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) solidarisch für die Gesellschaftssteuern haftbar. Es ging davon aus, dass das Eigenkapital der Unternehmung unter Berücksichtigung der unterlassenen Steuerrückstellungen spätestens Ende 2002 aufgezehrt und die Unternehmung faktisch überschuldet gewesen sei. Ausgehend von einem Beginn der faktischen Liquidation in den Jahren 2001 und 2002 stellte es auf die Bilanz per 31. Dezember 2000 ab und berücksichtigte die geldwerten Leistungen der Folgejahre (2001 und 2002). Angesichts geldwerter Leistungen im Umfang von fast zwei Millionen Franken habe man, ohne das genaue Liquidationsergebnis zu bestimmen, von einem Haftungsumfang ausgehen dürfen, welcher die geschuldeten Steuern offensichtlich übersteige und eine Haftung von A._ für den Gesamtbetrag der geschuldeten Steuern zur Folge habe.
D.
Mit Eingabe vom 26. Mai 2015 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt die Aufhebung des Entscheids des Verwaltungsgerichts sowie die Aufhebung der Haftungsverfügung. Eventualiter sei die Sache zu ergänzender Sachverhaltsfeststellung und Neubeurteilung an das Verwaltungsgericht zurückzuweisen.
Die Steuerkommission/Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung - Letztere soweit die direkte Bundessteuer betreffend - beantragen die Abweisung der Beschwerde, das Verwaltungsgericht verzichtet auf eine Vernehmlassung.
Mit Verfügung vom 23. Juni 2015 sind die praxisgemäss vom Bundesgericht getrennt angelegten Dossiers für die kantonalen Steuern (2C_472/2015) und die direkte Bundessteuer (2C_473/2015) vereinigt und ist der Beschwerde antragsgemäss aufschiebende Wirkung erteilt worden.

Erwägungen:
I. Prozessuales
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) in einer öffentlich-rechtlichen Angelegenheit (<ref-law>) des kantonal letztinstanzlichen Verwaltungsgerichts (<ref-law>). Ein Ausschlussgrund gemäss <ref-law> liegt nicht vor. Der Beschwerdeführer ist durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es im Rahmen der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht offensichtlich sind (<ref-ruling> E. 2 S. 116).
Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2 S. 209 f.; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_837/2014 vom 23. Februar 2015 E. 2.2).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 116 f.). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-ruling> E. 5.1 S. 356; <ref-ruling> E. 2.5 S. 314).
1.4. Der Antrag des Beschwerdeführers, die Haftungsverfügung aufzuheben, ist im Begehren um Aufhebung des angefochtenen Urteils mitenthalten, weshalb sich eine separate Behandlung erübrigt.
II. Direkte Bundessteuer
2.
2.1. Die Vorinstanz nahm eine solidarische Mithaftung des Beschwerdeführers für die Gesellschaftssteuern an. Den aufgerechneten, nicht bilanzierten Beträgen sei offenkundig keine erkennbare geschäftsmässig begründete Gegenleistung gegenübergestanden, weshalb diese als geldwerte Leistungen zu qualifizieren seien. Infolge Ausschüttung dieser geldwerten Leistungen habe eine faktische Liquidation vorgelegen. Diese habe mit den verdeckten Gewinnausschüttungen in den Jahren 2001 und 2002 begonnen. Bei einem Substanzwert der Unternehmung von Fr. 242'270.-- Ende 2002 und Steuerausständen für die Jahre 2001 und 2002 von Fr. 493'854.65, die zum überwiegenden Teil auf die infolge der verdeckten Gewinnausschüttungen vorgenommenen Aufrechnungen zurückgehen würden, sei das Eigenkapital der Unternehmung unter Berücksichtigung der unterlassenen Steuerrückstellungen spätestens Ende 2002 aufgezehrt und die Unternehmung faktisch überschuldet gewesen. Ausgehend vom Beginn der faktischen Liquidation in den Jahren 2001 und 2002 sei einerseits auf die Bilanz per 31. Dezember 2000 abzustellen, andererseits seien auch die geldwerten Leistungen der Folgejahre (2001 und 2002) mitzuberücksichtigen. Angesichts von geldwerten Leistungen im Umfang von fast zwei Millionen Franken sei - ohne das genaue Liquidationsergebnis zu bestimmen - von einem Haftungsumfang auszugehen, der die geschuldeten Steuern offensichtlich übersteige und die Haftung des Beschwerdeführers für den Gesamtbetrag der geschuldeten Steuern zur Folge habe.
2.2. Dagegen wendet der Beschwerdeführer ein, die faktische Liquidation setze kumulativ die Veräusserung oder Verwertung von Aktiven, ohne die eine ordentliche Geschäftstätigkeit nicht mehr möglich sei, und die fehlende Reinvestition des Erlöses und die Verteilung an die Aktionäre bzw. ihnen nahestehende Personen voraus. Indem sich die Vorinstanz nicht mit der Tatsache der unveränderten Weiterführung des Betriebs auseinandergesetzt habe, habe sie den Sachverhalt unrichtig festgestellt. Da der Betrieb viele Jahre unverändert weitergeführt worden sei und regelmässig Gewinne ausgewiesen habe, könne er nicht im Geschäftsjahr 2002 faktisch liquidiert worden sein. Die durch die Steuerverwaltung für die Jahre 2001 und 2002 vorgenommenen Korrekturen hätten ausschliesslich die Aufrechnung von Ertragspositionen (Umsatzkorrekturen) sowie die Privatanteile Geschäftsfahrzeug und Verpflegung betroffen. Eine Veräusserung oder Verwertung von Aktiven habe nicht stattgefunden. Weiter macht der Beschwerdeführer geltend, die Buchhaltung sei nicht integral abgelehnt worden, sondern es sei lediglich eine partielle Ermessensveranlagung bezüglich der aufgerechneten Einzelpositionen erfolgt. Eine materielle Überprüfung der Aufrechnung durch ein Gericht habe nie stattgefunden. Die Annahme der Vorinstanz, die Gesellschaft hätte nach den handelsrechtlichen Vorschriften in den Jahresabschlüssen 2001 und 2002 zusätzliche Steuerrückstellungen bilden müssen, sei unzutreffend. Es könne nicht von einer Aushöhlung der Gesellschaft zu jenem Zeitpunkt gesprochen werden. Eine Überschuldung im Jahr 2002 hätte die Veranlagung von steuerbarem Kapital als Reinvermögen in den Folgejahren nicht zugelassen.
3.
Endet die Steuerpflicht einer juristischen Person, so haften die mit ihrer Verwaltung und die mit ihrer Liquidation betrauten Personen solidarisch für die von ihr geschuldeten Steuern bis zum Betrag des Liquidationsergebnisses oder, falls die juristische Person ihren Sitz oder tatsächliche Verwaltung ins Ausland verlegt, bis zum Betrag des Reinvermögens der juristischen Person. Die Haftung entfällt, wenn der Haftende nachweist, dass er alle nach den Umständen gebotene Sorgfalt angewendet hat (<ref-law>). Diese Bestimmung lehnt sich an Art. 15 Abs. 1 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer an (VStG; SR 642.21; GREMINGER/BÄRTSCHI, in: Zweifel/Athanas [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, Bd. I/2a, DBG, 2. Aufl. 2008, N. 1 zu <ref-law>; ROBERT DANON, La responsabilité fiscale solidaire des organes en cas de liquidation d'une société de capitaux, in: Quelques actions en responsabilité, 2008, S. 217; XAVIER OBERSON, La responsabilité fiscale des organes dirigeants de sociétés anonymes, SJ 2006 II S. 293 ff., 303; Botschaft vom 25. Mai 1983 zu Bundesgesetzen über die Harmonisierung der direkten Steuern der Kantone und Gemeinden sowie über die direkte Bundessteuer, BBl 1983 III 1, 188 zu Art. 61).
3.1. Als Mithaftende nennt das Gesetz einerseits die mit der Verwaltung betrauten Personen, mithin die Verwaltungsräte von Kapitalgesellschaften oder Genossenschaften, die Geschäftsführer von GmbH, die Mitglieder des Vereinsvorstands sowie die Stiftungsorgane, aber auch faktische Organe. Andererseits haften die mit der Liquidation betrauten Personen, wobei hierunter nicht nur die eingesetzten Liquidatoren (vgl. Art. 740, 770, 821a und 913 OR), sondern sämtliche mit der Verwaltung oder Geschäftsleitung befassten Personen fallen sollen, die mit der Liquidationstätigkeit in irgendeiner Form betraut worden sind oder auf die Liquidation einen tatsächlichen Einfluss ausüben (sog. faktische Liquidatoren; <ref-ruling> E. 14c S. 283 f.; PETER LOCHER, Kommentar zum DBG, II. Teil, 2004, N. 8 f. zu <ref-law>; THOMAS A. MÜLLER, Die solidarische Mithaftung im Bundessteuerrecht, 1999, S. 155 f.; THOMAS MEISTER, in: Zweifel/Beusch/Bauer-Balmelli [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, VStG, 2. Aufl. 2012, N. 13 ff. zu <ref-law>). Der Beschwerdeführer gilt als Geschäftsführer mit Einzelzeichnungsberechtigung ohne Weiteres als Mithaftender im Sinne von <ref-law>.
3.2. Am 18. August 2011 wurde der Konkurs über die Gesellschaft eröffnet und mit Verfügung vom 9. September 2011 das Konkursverfahren mangels Aktiven eingestellt, die Gesellschaft somit aufgelöst und am 30. Dezember 2011 im Handelsregister gelöscht. Damit ist eine solidarische Mithaftung des Beschwerdeführers grundsätzlich zu bejahen (zur möglichen Exkulpation nachfolgend E. 3.4).
3.3. Der Haftungsumfang ist auf den Betrag des Liquidationsergebnisses begrenzt (<ref-law>). Liquidationsergebnis bildet, was vom Gesamtvermögen bei Beginn der Liquidation nach Tilgung der Schulden und Liquidationskosten der Gesellschaft übrig bleibt (vgl. Urteile 2C_806/2013 vom 24. März 2014 E. 3.5.1, in: ASA 82 S. 741; 2C_868/2010 vom 19. April 2011 E. 4.1, in: StR 66/2011 S. 686, RDAF 2012 II S. 152; A.335/1976 vom 17. Februar 1978 E. 9, in: ASA 47 S. 541; je mit Hinweisen). Fraglich ist, wie sich das Liquidationsergebnis berechnet, wenn - wie die Vorinstanz zum Schluss gekommen ist - der (handels) rechtlichen Liquidation eine faktische Liquidation vorangeht.
3.3.1. Das Verrechnungssteuerrecht kennt, anders als das Handelsrecht, neben der formellen auch eine faktische Liquidation: Nach ständiger Praxis liegt eine Liquidation nicht nur dann vor, wenn die Gesellschaft nach den Bestimmungen des Obligationenrechts förmlich aufgelöst wird, sondern auch dann, wenn sie durch Aufgabe ihrer Aktiven faktisch liquidiert wird. Eine Gesellschaft wird faktisch liquidiert, indem ihre Aktiven veräussert oder verwertet werden und der Erlös nicht wieder investiert, sondern verteilt wird. Das kann der Fall sein, wenn ihr sämtliche Aktiven entzogen werden, aber auch, wenn ihr zwar einige Aktiven (wie Bankguthaben, flüssige Mittel, Buchforderungen gegen ihre Aktionäre u.ä.) verbleiben, ansonsten jedoch die wirtschaftliche Substanz entzogen wird (<ref-ruling> E. 9c, 10a S. 280; Urteile 2C_806/2013 vom 24. März 2014 E. 3.2, in: ASA 82 S. 741; 2C_349/2008 vom 14. November 2008 E. 2.3, in: ASA 79 S. 391; 2A.259/1997 vom 4. Mai 1999 E. 4, in: ASA 68 S. 739; je mit Hinweisen). Rechtsprechungsgemäss findet die solidarische Mithaftung des Liquidators gemäss <ref-law> auch Anwendung, wenn die juristische Person in diesem Sinne faktisch liquidiert wird (<ref-ruling> E. 14b S. 283; Urteile 2C_806/2013 vom 24. März 2014 E. 3.2, in: ASA 82 S. 741; 2C_499/2011 vom 9. Juli 2012 E. 7.2, in: RDAF 2012 II S. 450; 2C_812/2010 vom 23. März 2011 E. 6.1; je mit Hinweisen).
Die in der Literatur diskutierte Frage, ob auch im Bereich der direkten Bundessteuer eine faktische Liquidation genügt, um eine solidarische Mithaftung der mit der Verwaltung und der Liquidation betrauten Person auszulösen (in diesem Sinne MÜLLER, a.a.O., S. 155; LOCHER, Kommentar zum DBG, N. 13 zu <ref-law>; KALOYAN STOYANOV, La créance d'impôt, seconde partie, in: Les procédures en droit fiscal, 1997, S. 211; a.M. wohl DANON, a.a.O., S. 219; vgl. auch zur ähnlich lautenden Regelung im Mehrwertsteuerrecht: THOMAS P. WENK, in: mwst.com, Kommentar zum MWSTG, Kompetenzzentrum MWST der Treuhand-Kammer [Hrsg.], 2000, N. 18 zu Art. 32 aMWSTG; SUSANNE GANTENBEIN, in: Zweifel/Beusch/Glauser/ Robinson [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, MWSTG, 2015, N. 24 zu <ref-law>), hatte das Bundesgericht bislang nicht zu entscheiden und sie kann auch im vorliegenden Fall offen gelassen werden, zumal die solidarische Mithaftung des Beschwerdeführers angesichts der Auflösung der Gesellschaft ohnehin zu bejahen ist (E. 3.2).
3.3.2. Massgebend ist im vorliegenden Kontext jedoch, dass sich die im Bereich des Verrechnungssteuerrechts im Zusammenhang mit faktischen Liqudiationen entwickelte Rechtsprechung zum Haftungsumfang auch auf den Bereich der direkten Bundessteuer auszuwirken vermag. Der Zweck der solidarischen Mithaftung besteht primär darin, Steuerforderungen abzusichern und präventiv auf die Bezahlung von Steuerschulden hinzuwirken. Die solidarische Mithaftung soll dazu führen, dass sich die Liquidatoren im Falle der Auflösung einer Gesellschaft in ihrem eigenen Interesse um die Bezahlung der Steuern kümmern, und in der Folge die Gefahr, dass der Fiskus zu Schaden kommt, verringert wird (LOCHER, Kommentar zum DBG, N. 1, 4 zu <ref-law>; MÜLLER, a.a.O., S. 55 f., 140). Da sich die in <ref-law> vorgesehene Garantenhaftung bewährt hatte, wurde für den Bereich der direkten Bundessteuer <ref-law> dieser Bestimmung nachgebildet (siehe bereits E. 3; BBl 1983 III 1, 188 zu Art. 61; zur Garantenhaftung: MEISTER, Kommentar zum VStG, N. 3 ff. zu <ref-law>). Auch bei der direkten Bundessteuer besteht ein Interesse daran, einer möglichen Verringerung des Liquiditätsergebnisses durch vorzeitiges Aushöhlen der Gesellschaft entgegenzuwirken und damit Steuerausfälle zu verhindern. Es erscheint daher aus teleologischen Überlegungen angebracht, die zum Verrechnungssteuerrecht ergangene Rechtsprechung grundsätzlich auch hier zu berücksichtigen (vgl. auch RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 3. Aufl. 2009, N. 2 zu <ref-law>; dieselben, Kommentar zum Zürcher Steuergesetz, 3. Aufl. 2013, Rz. 2 zu § 60; ANDREAS SCHORNO, in: Klöti-Weber/Siegrist/Weber [Hrsg.], Kommentar zum Aargauer Steuergesetz, 4. Aufl. 2015, N. 3 zu § 7).
3.3.3. Praxisgemäss ist der Beginn einer faktischen Liquidation dann anzunehmen, wenn die Gesellschaftsaktiven versilbert werden und die Aktionäre bzw. die ihnen nahestehenden Personen den Verwertungserlös erhalten (Urteile 2C_806/2013 vom 24. März 2014 E. 3.3, in: ASA 82 S. 741; 2C_695/2009 vom 3. Februar 2010 E. 2.1, in: StR 65/2010 S. 579). Massgebend ist, dass in Würdigung sämtlicher Umstände eine Disposition nicht mehr als ordentliche geschäftliche Transaktion, sondern als Aushöhlung der Gesellschaft bezeichnet werden muss (so bereits Urteil A.335/1976 vom 17. Februar 1978 E. 8c in: ASA 47 S. 541).
Nach den allgemeinen Regeln hat die steuerpflichtige Gesellschaft den Nachweis des Aufwandcharakters von Leistungen zu erbringen. Juristische Personen müssen der Steuererklärung die unterzeichneten Jahresrechnungen (Bilanzen, Erfolgsrechnungen) der Steuerperiode oder, wenn eine kaufmännische Buchhaltung fehlt, Aufstellungen über Aktiven und Passiven, Einnahmen und Ausgaben sowie Privatentnahmen und Privateinlagen beilegen (<ref-law>). Es obliegt mithin der steuerpflichtigen Gesellschaft zu beweisen, dass eine fragliche Leistung geschäftsmässig begründet ist. So können die Steuerbehörden sichergehen, dass ausschliesslich geschäftliche Gründe - und nicht die engen persönlichen oder wirtschaftlichen Beziehungen zwischen Gesellschaft und Leistungsempfänger - für eine bestimmte Leistung ausschlaggebend waren. Wer Zahlungen leistet, die weder buchhalterisch erfasst noch belegt sind, hat die Folgen einer solchen Beweislosigkeit zu tragen, d.h. seine Zahlungen werden als geldwerte Leistungen betrachtet (BGE 119 lb 431 E. 2c S. 435; Urteile 2C_557/2010 vom 4. November 2010 E. 2.3, in: StR 66/2011 S. 62; 2C_502/2008 vom 18. Dezember 2008 E. 3.3, in: StR 64/2009 S. 588; je mit Hinweisen).
3.3.3.1. Vorliegend wurde der Konkurs über die Gesellschaft am 18. August 2011 eröffnet und das Konkursverfahren am 9. September 2011 mangels Aktiven eingestellt. Den Feststellungen der Vorinstanz zufolge war die Gesellschaft allerdings schon zuvor faktisch liquidiert worden. Mit Urteil vom 30. März 2011 hatte das Verwaltungsgericht die ermessensweise Festsetzung in den Veranlagungsverfügungen vom 11. Januar 2005 des (kantonal und bundessteuerrechtlich) massgebenden steuerbaren Reingewinns der Gesellschaft von Fr. 1'043'500.-- (Steuerperiode 2001) und Fr. 1'193'600.-- (Steuerperiode 2002) gegenüber den deklarierten Beträgen von Fr. 128'147.-- bzw. Fr. 64'715.-- als rechtmässig bestätigt bzw. eine Beschwerde gegen den Nichteintretensentscheid der Steuerkommission/Verwaltung für die direkte Bundessteuer abgewiesen. Der ermessensweisen Festsetzung lagen Gewinnaufrechnungen von Fr. 915'400.-- (Steuerperiode 2001) und Fr. 1'128'900.-- (Steuerperiode 2002) zugrunde. Diese betrafen geldwerte Leistungen, welche die Gesellschaft an den Beschwerdeführer erbracht hatte (WIR-Umsätze, Show-Time-Umsätze, VIP-Karten-Umsätze, Untermiete Party-Veranstaltungen, Dameneintritte, Sonderleistungen "Suite", Kondomverkauf, Champagnerverkauf, Erlösminderung Champagner, Privatanteil Auto sowie Privatanteil Verpflegung). Das (kantonal) steuerbare Kapital von Fr. 177'000.-- bzw. Fr. 242'000.-- gemäss der Selbstdeklaration blieb dagegen unverändert. Das Urteil des Verwaltungsgerichts ist in Rechtskraft erwachsen.
3.3.3.2. Das Steuerrechtsverhältnis besteht einzig zwischen dem Steuersubjekt und dem steuererhebenden Gemeinwesen (RICHNER/FREI/ KAUFMANN/MEUTER, Handkommentar zum DBG, N. 5 zu <ref-law>; LOCHER, Kommentar zum DBG, I. Teil, 2001, N. 25 zu <ref-law>; MÜLLER, a.a.O., S. 17; MEISTER, Kommentar zum VStG, N. 6 zu <ref-law>; SCHORNO, a.a.O., N. 6 zu § 7). Ob das formell rechtskräftig gewordene Urteil auch vom solidarisch Mithaftenden angefochten werden können soll, ist in der Lehre umstritten (vgl. etwa RICHNER/FREI/ KAUFMANN/MEUTER, Handkommentar zum DBG, N. 5 zu <ref-law>; SCHORNO, a.a.O., N. 22 zu § 7; MÜLLER, a.a.O., S. 100; je mit Hinweisen). Vorliegend hatte - und nutzte - der Beschwerdeführer schon als Organ der Gesellschaft die Gelegenheit, den Bestand der Steuerforderung zu bestreiten. Ob eine erneute Anfechtungsmöglichkeit sich zur Wahrung seiner Interessen als erforderlich oder angezeigt erwies, oder ob die Vorinstanz auf seine erneuten Vorbringen gegen die Veranlagung zu Recht nicht eingegangen ist (vgl. dazu NORDIN/PORTMANN, Verantwortlichkeit im Unternehmenssteuerrecht, in: Entwicklungen im Gesellschaftsrecht IX, 2014, S. 219; GREMINGER/BÄRTSCHI, Kommentar zum DBG, N. 10 zu <ref-law>; MÜLLER, a.a.O., S. 100; SCHORNO, a.a.O., N. 22 zu § 7; zu <ref-law>: MEISTER, Kommentar zum VStG, N. 41 zu <ref-law>), kann vorliegend offen bleiben. Der Beschwerdeführer macht zwar vor Bundesgericht geltend, es habe nie eine materielle Überprüfung der Aufrechnungen durch ein Gericht stattgefunden und es sei eine unhaltbare Behauptung, dass in den Folgejahren auch analoge Aufrechnungen hätten vorgenommen werden müssen. Damit bringt er indes nicht rechtsgenüglich vor, inwiefern die Aufrechnungen zu Unrecht erfolgt sein sollen (vgl. E. 1.2). Es braucht nicht weiter darauf eingegangen zu werden.
3.3.3.3. Die Vorinstanz ging richtigerweise davon aus, dass den aufgerechneten, nicht bilanzierten Beträgen keine erkennbaren geschäftsmässig begründeten Gegenleistungen gegenüber standen. In Bezug auf die fehlenden Belege hat die Gesellschaft resp. der Beschwerdeführer als solidarisch Mithaftender rechtsprechungsgemäss die Folgen der Beweislosigkeit zu tragen (vgl. E. 3.3.3). Die Vorinstanz qualifizierte die betreffenden Beträge mithin zu Recht als geldwerte Leistungen, die aufzurechnen sind.
3.3.3.4. Gestützt auf einen Entscheid des Verwaltungsgerichts des Kantons Aargau vom 30. Januar 2013 (WBE.2012.302 E. 4.3.2, 4.4.3) ging die Vorinstanz weiter davon aus, dass geldwerte Leistungen dann Beginn bzw. Teil einer faktischen Liquidation bilden, wenn sie bei einer Ex-post-Betrachtung als eigentlicher "point of no return" zu betrachten seien. Dieser Punkt werde, soweit verdeckte Gewinnausschüttungen in Frage stünden, nicht erst bei Entnahmen anzunehmen sein, durch welche das Eigenkapital der Gesellschaft substanziell aufgezehrt werde bzw. gar die Überschuldung eintrete. Er werde - im Lichte der Kapitalschutzvorschriften - wohl spätestens dann anzunehmen sein, wenn durch die Entnahmen das Aktien- bzw. das Stammkapital einer Gesellschaft (unter Einschluss der stillen Reserven) als deren Folge in substanziellem Umfang nicht mehr gedeckt sei. Bei der Bilanzierung zwecks Beurteilung, ob eine Aushöhlung der Gesellschaft zu bejahen sei, seien grundsätzlich auch Rückstellungen für Steuerrisiken zu berücksichtigen, wenn das Risiko von deren Eintritt mehr als 50% betrage. Bei aus Veranlagungen resultierenden Nachforderungen sei deren Absehbarkeit erforderlich. Bei Entnahmen in ganz erheblichem Umfang aus der Gesellschaft müsse dieser bewusst sein, dass diese Entnahmen im Fall der Entdeckung durch die Steuerbehörden zu massiven Aufrechnungen bei der Gesellschaft führten. Dementsprechend müssten zwar nicht in der exakten Höhe der aus den später vorgenommenen Aufrechnungen resultierenden Steuern, aber doch in einem ganz erheblichen Ausmass Rückstellungen für die zu erwartenden zusätzlichen Steuerlasten gebildet werden (vgl. auch SCHORNO, a.a.O., N. 9 zu § 7, mit Verweis auf die Entscheide des Verwaltungsgerichts des Kantons Aargau WBE.2012.215, WBE.2012.302 und WBE.2012.303 vom 30. Januar 2013).
3.3.3.5. Betriebswirtschaftlich und handelsrechtlich ist allgemein anerkannt, dass für geschuldete Steuern schon vor der Veranlagung Rückstellungen oder passive Rechnungsabgrenzungsposten gebildet werden müssen. Im Rahmen steuerlicher Betriebsprüfungen und hängiger Rechtsmittelverfahren können sich u.a. infolge von verdeckten Gewinnausschüttungen Nachbelastungen bei den Steuern ergeben (vgl. <ref-ruling> E. 5.1 S. 87 f.). Im Zeitpunkt, in dem die Steuerbehörde geldwerte Leistungen aufrechnet - und damit den steuerbaren Gewinn erhöht -, sind auch entsprechende Rückstellungen vorzunehmen. So wie die Aufrechnung der geldwerten Leistungen für das Geschäftsjahr erfolgt, in welchem diese Leistungen erbracht wurden, sind auch die Steuerrückstellungen für dasselbe Jahr vorzunehmen.
Angesichts der Diskrepanz zwischen den selbstdeklarierten Reingewinnen und den erfolgten ermessensweisen Gewinnaufrechnungen war es im vorliegenden Fall offensichtlich, dass Nachforderungen aus der Veranlagung entstehen würden. Es kann zwar offen bleiben, ob die Auffassung der Vorinstanz zutrifft, wonach die Gesellschaft bereits im Bewusstsein, verdeckte Gewinnausschüttungen zu erbringen, erhebliche Rückstellungen hätte bilden müssen. Die Bildung entsprechender Rückstellungen war aber auf jeden Fall aufgrund der Aufrechnung der verdeckten Gewinnausschüttungen in den Jahren 2001 und 2002 notwendig und gegebenenfalls durch die Veranlagungsbehörde gleichzeitig vorzunehmen. Gemäss der Bewertungsmeldung der kantonalen Steuerverwaltung vom 1. September 2011 betrug der Substanzwert der Gesellschaft per 31. Dezember 2002 Fr. 242'270.-- (liberiertes Stammkapital von Fr. 20'000.-- zuzüglich Bilanzgewinn von Fr. 220'270.--). Die Steuerausstände für die Jahre 2001 und 2002 betragen Fr. 493'854.65 (exkl. Zinsen; vgl. Sachverhalt B.). Unter Berücksichtigung der unterlassenen Steuerrückstellungen war das Eigenkapital der Gesellschaft demnach spätestens Ende 2002 aufgezehrt und die Gesellschaft faktisch überschuldet. Soweit der Beschwerdeführer geltend macht, der Umstand, die Gesellschaft in den Steuerperioden 2003 und folgende über viele Jahre unverändert weiterbetrieben zu haben und von der Steuerverwaltung weiterhin mit dem ausgewiesenen Reingewinn und Eigenkapital veranlagt worden zu sein, schliesse eine faktische Liquidation im Jahr 2002 aus, verkennt er das Vorgehen der Veranlagungsbehörde: Bei einer vertieften Prüfung, die in Anbetracht der Einstellung des Konkursverfahrens mangels Aktiven nicht durchgeführt wurde, wären analog der Jahre 2001 und 2002 Aufrechnungen auch für die folgenden Jahre vorgenommen worden. Aus vollzugstechnischen Gründen wurden jedoch die noch offenen Veranlagungen bis zum Zeitpunkt der Löschung der Gesellschaft entsprechend der (provisorischen) Steuerzahlungen vorgenommen. Die Rüge des Beschwerdeführers geht somit fehl.
3.3.4. Der Haftungsumfang ist, wie gesehen, auf den Betrag des Liquidationsergebnisses begrenzt (<ref-law>). Massgebend für die Bestimmung des Liquidationsergebnisses ist das Gesamtvermögen der Gesellschaft bei Beginn der Liquidation, das heisst zum Zeitpunkt, in dem die Gesellschaftsaktiven versilbert werden und die Aktionäre bzw. die ihnen nahestehenden Personen den Verwertungserlös erhalten (vgl. vorne E. 3.3.3). Andernfalls verbliebe bei faktischen Liquidationen kaum Haftungssubstrat (vgl. E. 3.3.1). Was vom Gesamtvermögen bei Beginn der Liquidation nach Tilgung der Schulden und Liquidationskosten der Gesellschaft übrig bleibt, bildet das Liquidationsergebnis (vgl. bereits E. 3.3). Für die Aktiven ist der Stand bei Beginn der faktischen Auflösung massgebend. Aktiven, die nicht versilbert, sondern den Gesellschaftern abgetreten werden, sind für die Berechnung des Liquidationsergebnisses mit dem Verkehrswert zu berücksichtigen (vgl. Urteile 2C_806/2013 vom 24. März 2014 E. 3.5.1, in: ASA 82 S. 741; A.335/1976 vom 17. Februar 1978 E. 9, in: ASA 47 S. 541; je mit Hinweisen). Da bei faktisch abgewickelten Liquidationen eine korrekt erstellte Liquidationsbilanz in der Regel nicht vorliegt, muss zur Bestimmung der Werte bei Beginn der Liquidation zwangsläufig auf die letzte vor Beginn der faktischen Liquidation eingereichte Bilanz abgestellt werden. Im Übrigen sind unklare Positionen ermessensweise zu bestimmen, wobei das Bundesgericht an die Ermessenseinschätzung gebunden ist, wenn sie auf einer richtigen und vollständigen Sachverhaltsermittlung und einer sachgemässen Abwägung der massgebenden Umstände beruht (Urteile 2C_806/2013 vom 24. März 2014 E. 3.5.1, in: ASA 82 S. 741; 2C_695/2009 vom 3. Februar 2010 E. 2.2, in: StR 65/2010 S. 579; 2C_502/2008 vom 18. Dezember 2008 E. 4.2, in: StR 64/2009 S. 588).
Die Vorinstanz stellte ausgehend von einem Beginn der faktischen Liquidation in den Jahren 2001 und 2002 auf die Bilanz per 31. Dezember 2000 ab. Sie berücksichtigte zudem die geldwerten Leistungen der Jahre 2001 und 2002 der Gesellschaft an den Beschwerdeführer, welche beinahe zwei Millionen Franken betrugen. Angesichts dieser Tatsache ging die Vorinstanz - ohne das genaue Liquidationsergebnis zu bestimmen - von einem Haftungsumfang aus, der die Schulden (Fr. 523'784.95 zuzüglich Zinsen) offensichtlich übersteigt. An diesem Vorgehen der Vorinstanz ist nichts auszusetzen.
3.4. Zu prüfen bleibt, ob sich der Beschwerdeführer exkulpieren kann. Bei der Liquidatorenhaftung handelt es sich um eine Garantenhaftung (vorstehend E. 3.3.2; Urteil 2C_868/2010 vom 19. April 2011 E. 5.1 mit Hinweisen, in: StR 66/2011 S. 686, RDAF 2012 II S. 152). Sie entfällt, wenn der Haftende nachweist, dass er alle nach den Umständen gebotene Sorgfalt angewendet hat (Art. 55 Abs. 1 in fine DBG).
3.4.1. Der Entlastungsbeweis ist im DBG offener formuliert als im Verrechnungssteuer- oder Mehrwertsteuergesetz (vgl. <ref-law> und <ref-law>, wo alles Zumutbare zur Feststellung und Erfüllung der Steuerforderung verlangt wird); er orientiert sich vielmehr an analogen privatrechtlichen Formulierungen wie etwa in <ref-law> (MÜLLER, a.a.O., S. 158; GREMINGER/BÄRTSCHI, Kommentar zum DBG, N. 9 zu <ref-law>; LOCHER, Kommentar zum DBG, N. 19 zu <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, N. 18 zu <ref-law>). In der Lehre wird dafürgehalten, vom strengen Regime des Verrechnungssteuergesetzes abzuweichen (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, N. 18 zu <ref-law>; DANON, a.a.O., S. 219). Hierfür spricht auch die Bemerkung anlässlich der parlamentarischen Beratungen im Ständerat des zuständigen Berichterstatters der Kommission (auf deren Anregung die Entlastungsmöglichkeit erst Eingang in das Gesetz fand), "die Haftung werde in diesem Gesetz relativ weit getrieben" (Berichterstatter Binder, AB 1986 S 197). Ferner sollten aufgrund der - anders als im Verrechnungssteuer- und Mehrwertsteuergesetz - fehlenden zeitlichen Beschränkung der Haftung auf Forderungen, die während der Geschäftstätigkeit der Liquidatoren und Mitglieder der Verwaltung entstanden sind, nicht zu hohe Anforderungen an den Nachweis der gebotenen Sorgfalt gestellt werden (MÜLLER, a.a.O., S. 158). Die Haftung der mit der Liquidation oder der Verwaltung betrauten Person soll daher entfallen, wenn diese nachweisen kann, dass sie keine Unsorgfalt walten liess, die kausal für den Schaden des Gemeinwesens war (MÜLLER, a.a.O., S. 158; LOCHER, Kommentar zum DBG, N. 19 zu <ref-law>), resp. dass sie faktisch und rechtlich keine Möglichkeit hatte, für den Steueranspruch entsprechende Sicherstellungsmassnahmen anzuordnen (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, N. 18 zu <ref-law>). Angesichts der restriktiven Regelung der Mithaftung und insbesondere in Anbetracht des unterschiedlichen Wortlauts in den beiden Gesetzen, erscheint es gerechtfertigt, den Entlastungsbeweis nach <ref-law> weniger streng auszulegen als in <ref-law>. Die Frage braucht indes an dieser Stelle nicht abschliessend beurteilt zu werden.
3.4.2. Der Beschwerdeführer macht zu seiner Entlastung geltend, es hätten ihm in den Jahren 2001 und 2002 zwar sämtliche Stammanteile der Gesellschaft gehört, die Führung des Geschäftsbetriebs sei jedoch durch Angestellte erfolgt. Er sei einzig für die Oberleitung zuständig gewesen, nicht aber für das Tagesgeschäft oder die Kassenführung. Dabei verkennt er, dass er selber die Entnahme der Mittel aus der Gesellschaft veranlasst und damit die faktische Liquidation der Gesellschaft vorgenommen resp. eingeleitet hatte. Er vermag sich somit nicht zu entlasten.
3.5. Am Entscheid der Vorinstanz ist demnach im Ergebnis nichts auszusetzen; der Beschwerdeführer ist für die ausstehenden Steuern haftbar. Die Beschwerde betreffend die direkte Bundessteuer 2001 bis 2007 ist somit abzuweisen.
III. Staatssteuer
4.
Die massgeblichen Bestimmungen betreffend die solidarische Mithaftung im kantonalen Steuerrecht (§ 60 Abs. 1 und Abs. 3 StG/SZ) stimmen im Wesentlichen wörtlich mit der Regelung von <ref-law> überein. Für die Begründung der Mithaftung des Beschwerdeführers für die kantonalen Steuern kann somit auf die Erwägungen zur direkten Bundessteuer verwiesen werden. Die Beschwerde betreffend die kantonalen Steuern 2001 bis 2007 ist ebenfalls abzuweisen.
IV. Kosten und Entschädigung
5.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 65, 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer 2001 bis 2007 wird abgewiesen.
2.
Die Beschwerde betreffend die kantonalen Steuern 2001 bis 2007 wird abgewiesen.
3.
Die Gerichtskosten von Fr. 9'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 14. September 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Fuchs