Sachverhalt:
A.
Mit Verfügung vom 30. März 2010 wurden A.A._ und B.A._ für das Steuerjahr 2005 von der Steuerverwaltung des Kantons Schwyz hinsichtlich der Kantons- und Gemeindesteuern mit einem steuerbaren Einkommen von Fr. 3'405'800.--, einem steuerbaren Vermögen von Fr. 1'128'000.-- und hinsichtlich der direkten Bundessteuer mit einem steuerbaren Einkommen von Fr. 3'414'700.-- veranlagt. Gegenüber der Selbstdeklaration rechnete die Steuerbehörde insbesondere ein Einkommen aus der Privatentnahme von Patenten auf, die per 31. Dezember 2005 vom Geschäfts- ins Privatvermögen überführt worden waren.
Dagegen erhoben die Eheleute A._ Einsprache. Nach einer ergebnislosen Besprechung auf der kantonalen Steuerverwaltung überwies der zuständige Steuerkommissär mit Zustimmung der stellvertretenden Abteilungsleiterin die Einsprache zur Behandlung an die Steuerkommission. Die Einsprache wurde abgewiesen. Das Verwaltungsgericht wies mit Entscheid vom 22. November 2012, an welchem Verwaltungsrichter Andreas Risi mitwirkte, die Beschwerde ab.
B.
Vor Bundesgericht beantragen die Eheleute A.A._ und B.A._, den Entscheid des Verwaltungsgerichts aufzuheben und die Sache zwecks Neufestsetzung der kantonalen Einkommenssteuern sowie der direkten Bundessteuer zurückzuweisen. Sie rügen u.a. eine Verletzung des Anspruchs auf ein unparteiisches und unvoreingenommenes Gericht nach <ref-law>, da Herr Andreas Risi (mitwirkender Verwaltungsrichter) mit der stellvertretenden Abteilungschefin der kantonalen Steuerverwaltung verheiratet sei.
C.
Die Steuerkommission/Verwaltung für die direkte Bundessteuer des Kantons Schwyz, das Verwaltungsgericht des Kantons Schwyz und die Eidgenössische Steuerverwaltung in Bezug auf die direkte Bundessteuer beantragen die Abweisung der Beschwerde.
Nachdem das Verwaltungsgericht in seiner Vernehmlassung ans Bundesgericht u.a. ausgeführt hat, dass die Beschwerdeführer den Ausstand bereits vor Verwaltungsgericht hätten monieren sollen, machen diese in ihrer Replik vom 28. Mai 2013 geltend, dem Vertreter sei erst im Nachhinein per Zufall die Tatsache bekannt geworden, dass der Richter Andreas Risi mit der stellvertretenden Abteilungsleiterin der kantonalen Steuerverwaltung verheiratet sei.

Erwägungen:
1.
1.1. Die Vorinstanz hat die Verfahren betreffend direkte Bundessteuer und Kantonssteuern vereinigt und ein einziges Urteil gefällt. Die Steuerpflichtigen fechten dieses Urteil mit einer einzigen - vorliegend zulässigen (vgl. <ref-ruling> E. 1.3.2 S. 264 f.) - Beschwerdeschrift an. Das Bundesgericht eröffnet regelmässig zwei Verfahren, wenn sowohl die direkte Bundessteuer als auch die kantonalen Steuern streitig sind, um die Fälle aller Kantone einheitlich zu erfassen. Das Bundesgericht behält sich aber vor, die beiden Verfahren zu vereinigen und nur ein Urteil zu fällen (vgl. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.2 S. 465), sofern es um denselben Sachverhalt geht und sich bundes- und kantonalrechtlich dieselben Rechtsfragen stellen. Das Bundesgericht hat im vorliegenden Fall für die direkte Bundessteuer (2C_90/2013) und die Kantonssteuern (2C_89/2013) separate Dossiers angelegt. Die Verfahren sind hier allerdings zu vereinigen.
1.2. Die Beschwerden sind zulässig (vgl. <ref-law> in Verbindung mit <ref-law> [SR 642.11] sowie Art. 73 StHG [SR 642.14]).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht geltend gemacht werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>). Das Bundesgericht prüft zudem die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
2.
2.1. Strittig ist im vorliegenden Fall der Ausstand von Verwaltungsrichter Andreas Risi. Das DBG und das StHG enthalten in ihren Verfahrensvorschriften (<ref-law> bzw. Art. 50 StHG) keine Vorschriften über den Ausstand. Anwendbar ist damit die Justizverordnung des Kantons Schwyz vom 18. November 2009 (§ 2 Abs. 2; SRSZ 231.110). § 132 nennt die Ausstands-, § 133 die Ablehnungsgründe. Beide Vorschriften werden indes nicht als verletzt gerügt, sondern nur die Minimalvorschrift der Bundesverfassung (<ref-law> i.V.m. <ref-law>). Es ist deshalb der Sachverhalt nur in Bezug auf diese zu prüfen.
2.2. Nach <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen, wenn also Umstände bestehen, die geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist. Ob diese Garantien verletzt sind, prüft das Bundesgericht frei (zum Ganzen <ref-ruling> E. 5.1 S. 125 f.; <ref-ruling> E. 2.1 S. 229; je mit weiteren Hinweisen).
Das Bundesgericht hat sich verschiedentlich mit der Beziehung der Richter und den Verfahrensbeteiligten, insbesondere zwischen Richtern und Parteien oder Richtern und Parteivertretern, auseinandergesetzt (vgl. etwa <ref-ruling> E. 5 S. 125 ff.; <ref-ruling> E. 3.2.1 S. 124; <ref-ruling> E. 5.2 S. 3 f.; <ref-ruling> E. 5 S. 276 f.; Urteile 1P.754/2006 vom 13. Februar 2007 E. 2.4; 1C_428/2007 vom 19. Juni 2008 E. 2.1; 1P.265/1997 vom 14. August 1997 E. 2b). Die vorliegende Konstellation tangiert ebenfalls dieses Verhältnis. Ein Ausstandsgrund besteht dabei dann, wenn sich aus dem Familienrechtsverhältnis der Anschein der Befangenheit bei der Entscheidfindung des Richters ergibt.
2.3.
2.3.1. Die Ehefrau des Verwaltungsrichters Andreas Risi ist stellvertretende Abteilungsleiterin der Abteilung "Veranlagung Natürliche Personen" (vgl. Staatskalender des Kantons Schwyz 2012 - 2014, S. 90). Die Abteilung gliedert sich in drei Bereiche und umfasst etwa 50 Steuerkommissärinnen und -kommissäre. Der Steuerkommissär, der die Beschwerdeführer veranlagte, ist einer von mehreren Teamleitern.
2.3.2. Kantonale Verwaltungen sind hierarchisch aufgebaut (vgl. RAIMUND E. GERMANN, Öffentliche Verwaltung in der Schweiz, Bd. 1, Der Staatsapparat und die Regierung, 1998, S. 61 ff.; PIERRE MOOR, Droit administratif, Volume III, L'organisation des activités administratives, 1992, S. 42 ff. i.V.m. 9 ff. "une sorte de tradition helvétique"). Mit der Hierarchisierung der Verwaltung sind notwendigerweise rechtliche Funktionen verbunden (vgl. TSCHANNEN/ZIMMERLI/MÜLLER, Allgemeines Verwaltungsrecht, 3. Aufl. 2009, S. 46; MOOR, a.a.O., S. 42 ff. i.V.m. 10) : Dazu gehört u.a. die Dienstaufsicht und der Dienstbefehl. Dem Leiter einer kantonalen Abteilung und seiner Stellvertreterin, die jenen definitionsgemäss vertritt und deshalb grundsätzlich über den gleichen Wissensstand und die gleichen Kompetenzen verfügt, kommt die Aufgabe zu, innerhalb der Abteilung für eine einheitliche gesetzmässige Praxis zu sorgen. Beide haben Weisungsbefugnis über die Mitarbeiter der Abteilung, und zwar nicht nur in personeller, sondern auch in fachlicher Hinsicht. Ihnen steht auch die Weisungsbefugnis in konkreten Einzelfällen zu (siehe dazu TSCHANNEN/ZIMMERLI/MÜLLER, a.a.O., S. 39 Rz. 32 2. Lemma; MOOR, a.a.O., S. 10). Damit kommt dem Abteilungsleiter bzw. seiner Stellvertreterin quasi flächendeckend die Möglichkeit zu, auf jeden Einzelfall (direkt) Einfluss zu nehmen, welcher später vom Verwaltungsgericht allenfalls überprüft werden muss. Ist nun ein Verwaltungsrichter bzw. eine Verwaltungsrichterin mit einer solchen weisungsberechtigten Person verheiratet oder in einer dauernden Lebensgemeinschaft, so liegen Umstände vor, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit dieses Richters bzw. dieser Richterin zu erwecken, weil die Urteilsfindung des Richters bzw. der Richterin von der Rechtsauffassung seiner Ehefrau bzw. ihres Ehemanns (positiv oder negativ) beeinflusst werden könnte (vgl. dazu auch Regina Kiener, Richterliche Unabhängigkeit, 2001, 134). Daher kann bei solchen Konstellationen der Richter bzw. die Richterin nicht über Entscheide einer Behörde urteilen, welche seine Ehefrau bzw. ihr Ehemann durch deren bzw. dessen - oben dargestellte - Weisung veranlasst hat (siehe auch das Bundesgericht betreffend <ref-law>).
2.3.3. Auch die Verwaltung des Kantons Schwyz ist hierarchisch aufgebaut (vgl. § 20 ff. der Verordnung vom 27. November 1986 über die Organisation des Regierungsrates und der kantonalen Verwaltung [SRSZ 143.110] und die Vollzugsverordnung vom 11. September 2007 über die Aufgaben und die Gliederung der Departemente und der Staatskanzlei [SRSZ 143.111]); das trifft auch auf die kantonale Steuerverwaltung zu. Es erübrigt sich jedoch, darauf näher einzugehen und das konkrete Stellvertretungsverhältnis zu analysieren, denn die stellvertretende Abteilungsleiterin hat - wie aus den Akten hervorgeht (<ref-law>) - an der Veranlagung tatsächlich mitgewirkt. Insofern bestehen offensichtlich Umstände, die geeignet sind, Misstrauen in die Unparteilichkeit des mitentscheidenden Richters zu erwecken.
2.4. Nach der bundesgerichtlichen Rechtsprechung muss der Ablehnungs- bzw. Ausstandsgrund sofort geltend gemacht werden, wenn der Betroffene davon Kenntnis hat; wer sich trotzdem stillschweigend auf das Verfahren einlässt, verzichtet auf die Geltendmachung seiner Rechte; ein späteres Vorbringen ist treuwidrig und der Ablehnungsgrund deshalb verwirkt (vgl. <ref-ruling> E. 3.3 S. 211; <ref-ruling> E. 4.3.1 S. 21).
Im vorliegenden Fall kann offengelassen werden, ob unter der in E. 2.3.2 geschilderten Konstellation anders zu verfahren und eine nachträgliche Rüge vor der nächsthöheren Instanz zuzulassen wäre. Hier ist die tatsächliche Mitwirkung der stellvertretenden Abteilungsleiterin zu beurteilen: Zwar können die Beschwerdeführer ohne Weiteres die Namen der urteilenden Verwaltungsrichter eruieren; daraus lässt sich für die vorliegende Konstellation indes nur dann ein Ausstandsgrund für diese folgern, wenn bei der Vorinstanz in der gleichen Sache "besonders nahe" Personen (Ehefrau/Ehemann, Lebenspartner bzw. -partnerin) mitgearbeitet haben. Insofern bedürfen die Beschwerdeführer der Kenntnis der in der Steuerverwaltung arbeitenden Personen; eine Pflicht, bei der Steuerverwaltung nach möglichen Gründen für einen Ausstand des Verwaltungsrichters Risi zu forschen, besteht aber nicht (vgl. <ref-ruling> E. 4c S. 263; Kiener, a.a.O., S. 360 f.). Aus den diversen Schreiben der Steuerverwaltung an die Beschwerdeführer ergibt sich zudem nicht, dass diese wissen konnten, dass die stellvertretende Abteilungsleiterin direkt in die strittige Angelegenheit involviert war. Auch anderweitig spricht nichts dafür, dass die Aussage der Beschwerdeführer tatsachenwidrig ist, wonach sie erst im Nachhinein vom Ausstandsgrund Kenntnis erlangt haben. Insofern kann nicht als rechtsmissbräuchlich bezeichnet werden, dass die Befangenheit erst im bundesgerichtlichen Verfahren gerügt wurde.
3.
Nach dem Gesagten ist die Beschwerde gutzuheissen. Das Urteil ist unbesehen seiner inhaltlichen Richtigkeit aufzuheben (vgl. <ref-ruling> E. 3a S. 16; Kiener, a.a.O., S. 369) und zum neuen Entscheid an die Vorinstanz zurückzuweisen. Der Kanton Schwyz trägt die Gerichtskosten, da er Vermögensinteressen wahrnimmt (Art. 65 und 66 Abs. 1 und 4 BGG), und hat den Beschwerdeführern eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_89/2013 und 2C_90/2013 werden vereinigt.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer (2C_90/2013) wird gutgeheissen, das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 22. November 2012 aufgehoben und die Angelegenheit zur Durchführung eines neuen Verfahrens an die Vorinstanz zurückgewiesen.
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern (2C_89/2013) wird gutheissen, das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 22. November 2012 aufgehoben und die Angelegenheit zur Durchführung eines neuen Verfahrens an die Vorinstanz zurückgewiesen.
4.
Die Gerichtskosten von Fr. 7'000.-- werden dem Kanton Schwyz auferlegt.
5.
Der Kanton Schwyz hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 13. Juni 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass