Sachverhalt:
A.
Der in U._, Gemeinde V._, Kanton Schwyz, wohnhafte A._ (der Steuerpflichtige bzw. Beschwerdeführer) wollte gemäss eigener Darstellung gemeinsam mit B._ Bauprojekte realisieren, bildete mit diesem eine einfache Gesellschaft und sah sich nach Altliegenschaften um. Etwas später sei die Frage der Finanzierung mit der Bank angesprochen worden. Als eine geeignete Liegenschaft für die Überbauung gefunden worden sei, hätten sich er und B._ aus Risikoüberlegungen und zur Haftungsbeschränkung dazu entschlossen, die Bauprojekte nicht privat abzuwickeln, sondern über ihre Aktiengesellschaften, d.h. die von ihm beherrschte C._ AG mit Sitz in W._ und die von B._ beherrschte D._ AG mit Sitz in X._. Es sei zu einem Wechsel der Gesellschafter gekommen. Anstelle der beiden Privatpersonen seien die C._ AG und die D._ AG getreten.
Am 5. August 2014 veranlagte die kantonale Steuerverwaltung/kantonale Verwaltung für die direkte Bundessteuer den Steuerpflichtigen für die kantonalen Steuern 2008 und 2009 sowie für die direkte Bundessteuer 2008 und 2009. Dabei rechnete sie gegenüber der Selbstdeklaration namentlich ein Einkommen aus der Baugesellschaft E._ entsprechend einer Beteiligung des Steuerpflichtigen von einem Drittel auf.
B.
Eine Einsprache des Steuerpflichtigen gegen diese Veranlagungen wies die Kantonale Steuerkommission (Abteilung II) / Verwaltung für die direkte Bundessteuer am 15. Dezember 2016 in einem einzigen Entscheid, soweit hier erheblich, sowohl hinsichtlich der Veranlagung für die kantonalen Steuern 2008 und 2009 als auch mit Bezug auf die direkten Bundessteuern 2008 und 2009 ab, wobei sie dem Steuerpflichtigen für das Verfahren betreffend die kantonalen Steuern 9/10 der Kosten von Fr. 1'530.00 auferlegte.
Gegen den Einspracheentscheid gelangte der Steuerpflichtige ans Verwaltungsgericht des Kantons Schwyz. Dieses wies seine Beschwerde am 31. Oktober 2017 sowohl hinsichtlich der kantonalen Steuern 2008 und 2009 als auch mit Bezug auf die direkten Bundessteuern 2008 und 2009 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Steuerpflichtige, es sei sowohl für die kantonalen Steuern 2008 und 2009 als auch für die direkten Bundessteuern 2008 und 2009 auf die Aufrechnung des Gewinnanteils des Baukonsortiums zu verzichten.
Das Verwaltungsgericht des Kantons Schwyz, die Kantonale Steuerkommission (Abteilung II) / Verwaltung für die direkte Bundessteuer und die eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. In einer unaufgefordert eingereichten Replik hält der Beschwerdeführer an seinen Anträgen fest.

Erwägungen:
1.
1.1. Die Vorinstanz hat ein einziges Urteil für die kantonalen Steuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit - wie im vorliegenden Fall - die zu entscheidenden Rechtsfragen im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt sind (<ref-ruling> E. 1.3.1 S. 262 f.). Unter diesen Umständen ist dem Beschwerdeführer nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht zu haben; aus seiner Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.3.3 S. 264; Urteil 2C_800/2016, 2C_801/2016 vom 14. Februar 2017 E. 1.2).
1.2.
1.2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5 S. 157) und verfügt über volle Kognition (<ref-law>; <ref-ruling> E. 2 S. 236).
1.2.2. Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2.1 S. 465; <ref-ruling> E. 2 S. 210; Urteil 2C_583/2016 vom 1. Dezember 2017 E. 1.2.1). Im Übrigen kann das Bundesgericht die Auslegung und Anwendung kantonalen (und kommunalen) Verfassungs-, Gesetzes- oder Verordnungsrechts nicht als solche überprüfen, sondern lediglich daraufhin, ob dadurch Bundes-, Völker- oder interkantonales Recht verletzt wird (Art. 95 lit. a, b und e BGG; <ref-ruling> E. 2.1 S. 372). Dabei beschränkt sich die Überprüfung auf die Verletzung verfassungsmässiger Rechte (<ref-ruling> E. 1.3 S. 96), insbesondere auf den Aspekt der Verletzung des Willkürverbots (<ref-law>, <ref-ruling> E. 4.2 S. 516).
Die Verletzung von verfassungsmässigen Rechten (einschliesslich der Grundrechte) und von rein kantonalem Recht prüft das Bundesgericht in jedem Fall nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungsobliegenheit gemäss <ref-law>). Soweit die Beschwerdeschrift diesen Anforderungen nicht genügt, ist darauf nicht einzugehen.
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>; <ref-ruling> E. 4.4.3 S. 156). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig - das heisst willkürlich - sind oder auf einer anderen Rechtsverletzung im Sinn von <ref-law> beruhen (<ref-law>; <ref-ruling> E. 2 S. 5). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinn mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. Art. 42 Abs. 2 und <ref-law>). Rein appellatorische Kritik an der Sachverhaltsfeststellung und an der Beweiswürdigung genügt den Begründungs- und Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
Die Sachverhaltsfeststellung oder Beweiswürdigung einer Gerichtsbehörde ist willkürlich (<ref-law>), wenn diese den Sinn und die Tragweite eines Beweismittels offensichtlich verkannt, wenn sie ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn sie auf Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (dazu <ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.1.2 S. 62). Dass die Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2 S. 560).
2.
2.1.
2.1.1. In formeller Hinsicht bemängelt der Beschwerdeführer, das Verfahren vor der Steuerkommission des Kantons Schwyz erfülle die Anforderungen an ein unabhängiges Gericht nicht, sässen im Spruchkörper doch Personen der Steuerverwaltung, die sich vorgängig mit demselben Fall beschäftigt hätten. Diese Zusammensetzung verletze seinen verfassungsmässigen Anspruch auf einen unabhängigen Richter; es liege ein Fall der objektiven Befangenheit vor. Zudem sei in einem internen zweistufigen Verfahren vor Steuerverwaltung und Steuerkommission, die am Ende einen Rechtsmittelentscheid fälle, nicht klar gewährleistet, ob die Steuerkommission überhaupt die Anforderungen an ein unabhängiges Gericht erfüllt. Dadurch werde der Rechtsmittelweg verkürzt und es stehe ein echtes Rechtsmittel an eine Instanz mit voller Kognition weniger zur Verfügung. Aus diesen Gründen sei die vom Kanton Schwyz gewählte Organisation des Instanzenzuges in Steuerangelegenheiten zu überprüfen und nötigenfalls anzupassen bzw. aufzuheben.
2.1.2. Die erstmals im Verfahren vor Bundesgericht beanstandete mangelnde Unabhängigkeit der kantonalen Steuerkommission hätte bereits im Einspracheverfahren vorgebracht werden müssen, sind doch entsprechende Vorbringen nach den Regeln von Treu und Glauben so früh als möglich geltend zu machen, andernfalls die Berufung darauf verwirkt (<ref-ruling> E. 4.3 S. 496 f.; vgl. Urteil 2C_128/2017, 2C_129/2017 vom 10. Februar 2017 E. 4.2.1). Im Übrigen ist die Behauptung, die Einsprachebehörde müsse eine von der Verwaltung unabhängige Gerichtsinstanz sein, vom Ansatz her unzutreffend (Urteil 2C_557/2013, 2C_569/2013 vom 12. August 2013 E. 3.2). Das Einspracheverfahren ist seiner Natur nach ein fortgesetztes Veranlagungsverfahren (Urteil 2C_458/2012, 2C_459/2012 vom 15. März 2013 E. 4.2.2 mit Hinweisen; vgl. dort auch zur Kostenauflage im Einspracheverfahren betreffend die Kantons- und Gemeindesteuern im Kanton Schwyz). Für das Einspracheverfahren ergeben sich zwar aus <ref-law> analog zu <ref-law> bestimmte Anforderungen an die Unparteilichkeit, Unbefangenheit und Unvoreingenommenheit der Entscheidbehörde. Die Anforderungen von <ref-law> können aber nicht unbesehen auf <ref-law> übertragen werden (<ref-ruling> E. 5.2 S. 451 f.). Art. 48 Abs. 4 StHG sieht sogar ausdrücklich vor, dass die Veranlagungsbehörde über die Einsprache entscheidet. Damit sieht der Bundesgesetzgeber selbst vor, dass ganz oder zumindest zum Teil die gleichen Personen über die Einsprache entscheiden, welche zuvor den Veranlagungsentscheid getroffen haben. Dass im Übrigen das in § 153 des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) vorgesehene zweistufige Einspracheverfahren (zunächst Überprüfung durch die verfügende Abteilung; Überweisung an die Steuerkommission nur, wenn sich die Einsprache als begründet erweist oder keine Einigung erzielt werden kann) den bundesrechtlichen Vorgaben von Art. 48 StHG widersprechen soll, macht der Beschwerdeführer zu Recht nicht geltend.
Auch soweit der Beschwerdeführer der Sache nach bemängelt, der Kanton Schwyz kenne für Steuerentscheide nur ein einstufiges Rechtsmittelverfahren vor einer unabhängigen gerichtlichen Instanz, ist sein Vorbringen offensichtlich unbegründet. Art. 145 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) räumt den Kantonen ebenso wie Art. 50 Abs. 3 StHG die Möglichkeit ein, den Weiterzug des Beschwerde- bzw. Rekursentscheids an eine weitere verwaltungsunabhängige kantonale Instanz vorzusehen. Eine entsprechende bundesrechtliche Verpflichtung der Kantone besteht aber indessen gerade nicht. Es ist daher nicht zu beanstanden, wenn im Kanton Schwyz Einspracheentscheide der Kantonalen Steuerkommission und der Verwaltung für die direkte Bundessteuer nur der Beschwerde ans Kantonale Verwaltungsgericht unterliegen (vgl. § 166 StG/SZ sowie § 10 der Kantonalen Vollzugsverordnung vom 20. Dezember 1994 zum Bundesgesetz über die direkte Bundessteuer [VVDBG/SZ; SRSZ 171.111]).
2.2. Der Beschwerdeführer bemängelt weiter die Länge des Einspracheverfahrens, welches über zwei Jahre gedauert habe (vgl. so schon Beschwerde ans Verwaltungsgericht, S. 3). Der Einspracheentscheid vom 15. Dezember 2016 sei überdies am Freitag, 16. Dezember 2016, mit A-Post Plus versandt worden. Der Entscheid sei am Samstag, 17. Dezember 2016, zugestellt worden und er, der Beschwerdeführer, habe erst am folgenden Montag, 19. Dezember 2016, also am zweiten Tag der bereits laufenden Rechtsmittelfrist, von der Zustellung erfahren. Dadurch sei die Rechtsmittelfrist von 30 Tagen faktisch um zwei Tage verkürzt worden, was eine Verletzung des rechtlichen Gehörs darstelle (Beschwerdeschrift, S. 13 Ziff. 4.5 und 4.6, so auch schon Beschwerde ans Verwaltungsgericht, S. 3).
Es kann offen bleiben, ob die faktische Verkürzung einer Rechtsmittelfrist, die hier schon vor Vorinstanz gerügt wurde, eine Verletzung des Anspruchs auf rechtliches Gehör darstellen kann. Wenn überhaupt wäre das nur in Extremfällen denkbar, wenn dem Beschwerdeführenden durch behördliches Verhalten die Möglichkeit, seine Argumente innert der gesetzlichen Beschwerdefrist vorzubringen, massiv beschnitten und er bei deren schriftlicher Formulierung in eigentliche Zeitnot gebracht wird. Ein solcher Fall liegt hier, wo dem Beschwerdeführer nach Zustellung des Einspracheentscheids ins Postfach seines Rechtsvertreters die gesamte Rechtsmittelfrist für die Ausarbeitung der Beschwerde ans Verwaltungsgericht zur Verfügung stand, nicht vor. Im Übrigen ist entgegen der Auffassung des Beschwerdeführers nicht zu beanstanden, dass der Einspracheentscheid per A-Post Plus ins Postfach von dessen Vertreter zugestellt wurde. Eine unzulässige oder gar schikanöse Verkürzung der Rechtsmittelfrist wurde dadurch nicht bewirkt. Es liegt vielmehr im Verantwortungsbereich des Beschwerdeführers bzw. von dessen Vertreter, wenn dieser sich Post an sein Postfach zustellen lässt und dieses nicht samstags, sondern erst am darauf folgenden Montag leert. Dass die Zustellung hier am 17. Dezember 2016 kurz vor Weihnachten erfolgte, ändert nichts.
Entgegen der Auffassung des Beschwerdeführers hat die Steuerkommission mit ihrem Einspracheentscheid vom 15. Dezember 2016 auch nicht das Rechtsverzögerungsverbot verletzt. Zwar liegen zwischen Einsprache (vom 4. September 2014) und Einspracheentscheid rund zwei Jahre und drei Monate. Das Einspracheverfahren betreffend den Beschwerdeführer selbst und die von diesem beherrschte C._ AG waren indessen zu koordinieren. Als Folge der Zweistufigkeit des Einspracheverfahrens im Kanton Schwyz wurde die Einsprache zudem erst an die Steuerkommission überwiesen, nachdem keine Einigung erzielt werden konnte (Weigerung des Einspracherückzugs durch den Beschwerdeführer am 19. Juni 2015; vgl. Einspracheentscheid, S. 3). Werden diese Umstände in Betracht gezogen, liegt hier auch in Anbetracht der Natur des Verfahrens als Steuerverfahren (vgl. zu den massgebenden Kriterien für die Beurteilung, ob eine Rechtsverzögerung vorliegt <ref-ruling> E. 4.4 S. 277; Urteil 2C_509/2016 vom 24. Mai 2017 E. 2.1), zumal den Akten auch kein Hinweis darauf zu entnehmen ist, dass der Beschwerdeführer der Kantonalen Steuerkommission gegenüber eine beförderliche Behandlung seiner Einsprache angemahnt hätte, im Einspracheentscheid der Kantonalen Steuerkommission am 15. Dezember 2016 (noch) keine im Licht von <ref-law> unzulässige Rechtsverzögerung.
3.
3.1. In der Sache wirft der Beschwerdeführer der Vorinstanz eine willkürliche Beweiswürdigung vor (vgl. vorne E. 1.3). Entgegen deren Annahme sei er in den Jahren 2008 und 2009 nicht mehr Mitglied der Baugesellschaft E._ gewesen, sondern, ebenso wie B._ durch die D._ AG, seinerseits durch die von ihm beherrschte C._ AG als Mitglied ersetzt worden, wobei die hälftige Teilung des Gewinns aus der Baugesellschaft E._ zwischen den beiden Beteiligten D._ AG und C._ AG vereinbart worden sei. Dementsprechend seien entgegen der Auffassung der Vorinstanz bei ihm selbst keine Gewinnanteile aus der Baugesellschaft E._ als Einkommen zu erfassen.
3.2. Die Vorinstanz ist in Übereinstimmung mit der Sachdarstellung des Beschwerdeführers davon ausgegangen, dass dieser sich im Hinblick auf die Realisierung von Bauprojekten mit B._ zu einer einfachen Gesellschaft zusammengefunden hat. Dabei sei der Zeitpunkt von deren Begründung ungewiss. Weder am Kaufvertrag, mit dem die C._ AG im Jahr 2004 im Hinblick auf die Realisierung von Bauprojekten ein Grundstück erworben habe, noch am Hypothekardarlehensvertrag aus dem gleichen Jahr seien der Beschwerdeführer und B._ beteiligt gewesen. Erstmals greifbar sei ein Zusammenwirken der beiden bei Eröffnung des Basisvertrags vom 20. März 2007 mit der Bank F._; von diesem Zeitpunkt an sei von einer einfachen Gesellschaft ("Baugesellschaft E._"), bestehend aus dem Beschwerdeführer und B._ auszugehen. Damit sei nach der für die Beweislastverteilung im Steuerrecht geltenden Normentheorie der Beschwerdeführer für den nach diesem Zeitpunkt behaupteten steuermindernden Umstand seines Austritts aus der Gesellschaft beweisbelastet. Der Austritt - und gleichzeitige Ersatz durch die von ihm beherrschte D._ AG - sei für B._ unbestritten. Hingegen liessen die Akten nicht mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit auf einen Austritt auch des Beschwerdeführers aus der Gesellschaft schliessen.
3.3. Der Beschwerdeführer beanstandet als willkürlich, dass die Vorinstanz allein - statisch - auf die Bankdokumentation abstelle. Wie sich aus dem Fragebogen zur Abklärung der Mehrwertsteuerpflicht für die Baugesellschaft E._ ergebe, sei er am 20. bzw. 21. Dezember 2007 mit Wirkung nach aussen in verbindlicher Weise erkennbar aus der einfachen Gesellschaft ausgetreten. Das Verwaltungsgericht habe zu Unrecht aus der Unterzeichnung der Werkverträge, die einzig vom Beschwerdeführer für die Baugesellschaft E._ unterzeichnet worden seien, abgeleitet, dass die C._ AG bei diesen keine Rolle spiele. Er habe diese Verträge in seiner Eigenschaft als Verwaltungsrat der C._ AG unterzeichnet. Das Verwaltungsgericht verkenne auch die Tragweite der Gewinnverteilungsvereinbarung vom 10. November 2008, indem es ausführe, dass diese nicht als schriftlicher Gesellschaftsvertrag verstanden werden könne. Entscheidend sei vielmehr, was die Parteien als juristische Laien wirklich gewollt hätten, nämlich für eine einfache Gesellschaft, die sich allein aus der C._ AG und der D._ AG zusammengesetzt habe, den Gewinn hälftig teilen. Auf diesen Inhalt der Gewinnverteilungsvereinbarung müsse auch aufgrund des tatsächlich Gelebten zurückgeschlossen werden. Das Verwaltungsgericht unterstelle, dass die Gutschrift der Gewinnanteile bei der C._ AG und der D._ AG einen anderen Rechtsgrund haben könnte als die Bautätigkeit aus Konsortium. Wieso hier die Massgeblichkeit der Handelsbilanz infrage gestellt werde, sei nicht ersichtlich. Das Verwaltungsgericht führe zudem aus, dass für den Austritt aus der Gesellschaft im vorliegenden Fall das Schriftformerfordernis gelte und leite auch daraus ab, dass kein solcher Austritt stattgefunden habe. Das Schriftformerfordernis handle jedoch vom Selbstkontrahieren bei Rechtsgeschäften, was hier gerade nicht vorliege. Insgesamt erweise sich damit die Beweiswürdigung des Verwaltungsgerichts, welches wegen angeblich gewichtiger Argumente (Unterzeichnung der Werkverträge angeblich nur durch den Beschwerdeführer, angebliche Uneindeutigkeit der Gewinnverteilungsvereinbarung, unzulässige Vermutungen betreffend die Verbuchung der Gewinnanteile in der D._ AG und der C._ AG; unzutreffende Folgerungen aus dem Schriftformerfordernis beim Selbstkontrahieren) das einzige Dokument, welches den Austritt des Beschwerdeführers aus der Baugesellschaft E._ belege, diskreditiere und in seiner Relevanz herunterspiele, als willkürlich einseitig.
3.4.
3.4.1. Unbestrittenermassen waren der Beschwerdeführer und B._ die beiden ursprünglichen Mitglieder der Baugesellschaft E._ und schlossen beide gemeinsam den Basisvertrag mit der Bank F._ vom 20. März 2007. Ebenso unterliegt keinem Zweifel, dass in der Folge B._ als Mitglied der Baugesellschaft E._ durch die von ihm beherrschte D._ AG ersetzt wurde und dass die C._ AG in die Gesellschaft eintrat (Bankschreiben vom 19. November 2007 sowie Kreditvertrag vom gleichen Tag). Vor diesem Hintergrund macht es Sinn, dass der ausgetretene B._ eine Solidarbürgschaft zugunsten der Baugesellschaft E._ übernahm. Aus den Bankdokumenten geht damit entgegen der Auffassung des Beschwerdeführers klar hervor, dass die D._ AG, die C._ AG und er selbst Mitglieder der Baugesellschaft E._ wurden bzw. blieben. Gerade die Vereinbarung einer Solidarbürgschaft mit B._ deutet darauf hin, dass allein er aus der Gesellschaft ausschied und nicht auch der Beschwerdeführer. Andernfalls hätte die Bank den Beschwerdeführer nicht mehr als Vertragspartner aufgeführt; so lässt sich im Übrigen erklären, dass die Bank gegenüber dem Beschwerdeführer nicht auch - wie offenbar gegenüber B._ - auf dem Abschluss einer Solidarbürgschaft bestand. Es kann sich damit nur noch, wie die Vorinstanz zutreffend ausgeführt hat, fragen, ob und wann der Beschwerdeführer allenfalls in der Folge doch aus der Baugesellschaft E._ ausgeschieden ist und/oder ob die Gesellschafterinnen D._ AG und C._ AG den Beschwerdeführer von der Gewinnbeteiligung ausgeschlossen haben.
3.4.2. Der Beschwerdeführer will aus dem Fragebogen zur Abklärung der Mehrwertsteuerpflicht, der vom 20. Dezember 2007 datiert, als Mitglieder der Baugesellschaft E._ lediglich die C._ AG und die D._ AG nennt und von ihm allein unter dem Stempel der Baugesellschaft E._ unterzeichnet ist, ableiten, dass er persönlich mit dieser Erklärung erkennbar aus der einfachen Gesellschaft ausgetreten sei. Entgegen der Auffassung des Beschwerdeführers lässt sich das aus der Erklärung gegenüber der Eidgenössischen Steuerverwaltung nicht ohne weiteres ableiten, zumal, worauf das Verwaltungsgericht zutreffend hinweist, bei der Mehrwertsteuer die Steuerpflicht unabhängig von der Rechtsform ist, d.h. auch die einfache Gesellschaft selbst Steuersubjekt sein kann (vgl. angefochtener Entscheid E. 2.5 S. 12). Die Angaben auf dem Fragebogen stellen damit höchstens ein Indiz dafür dar, dass der Beschwerdeführer bei dessen Einreichung aus der Baugesellschaft E._ ausgeschieden war.
Daneben bestehen aber auch in eine andere Richtung weisende Anhaltspunkte, wie insbesondere der Grundvertrag für ein Kontokorrent-Kreditkonto vom 2. März 2009, in dem als Vertragspartner der Bank F._ auch mehr als ein Jahr später nach wie vor die Baugesellschaft E._ mit den Mitgliedern D._ AG, C._ AG und dem Beschwerdeführer figuriert. Ein eindeutiges Ergebnis hinsichtlich des behaupteten Austritts des Beschwerdeführers aus der Baugesellschaft E._ lässt sich entgegen seiner Auffassung insbesondere auch nicht aus der Vereinbarung zwischen "B._ (D._ AG) " einer- und "A._ (C._ AG) " andererseits vom 10. November 2008 betreffend die Gewinnverteilung 2008 und 2009 aus der Baugesellschaft E._ ableiten. Aus dieser Vereinbarung geht, da der Beschwerdeführer darin neben der C._ AG erscheint, gerade nicht klar hervor, dass er selbst zu diesem Zeitpunkt aus der Baugesellschaft E._ ausgeschieden war.
Zusätzlich hat das Verwaltungsgericht darauf hingewiesen, dass das behauptete Ausscheiden des Beschwerdeführers mit gleichzeitigem Eintritt der C._ AG in die Baugesellschaft E._ entgegen seiner Auffassung ein Insichgeschäft darstellen würde (angefochtener Entscheid E. 2.5 S. 12) : Der Beschwerdeführer hätte einerseits für die C._ AG (als eintretende Gesellschafterin) und andererseits für sich selbst (als ausscheidender Gesellschafter) gehandelt (vgl. zur rechtsgeschäftlichen Übertragung der Mitgliedschaft in einer einfachen Gesellschaft Lukas Handschin/Reto Vonzun, in: Zürcher Kommentar, 4. Aufl. 2009, N. 27 zu <ref-law>). Obwohl die rechtsgeschäftliche Mitgliedschaftsübertragung (zumindest hinsichtlich des Verpflichtungsgeschäfts) keiner besonderen Form bedarf, hätte daher grundsätzlich die Formvorschrift von <ref-law> beachtet werden müssen.
Es ist zwar auch durchaus vorstellbar, dass der Beschwerdeführer diese Formvorschrift einfach deshalb nicht einhielt, weil sie ihm unbekannt war. Selbst dann genügt aber für sich allein genommen das Fehlen jeglicher eindeutiger schriftlicher Dokumente, welche den Austritt des Beschwerdeführers aus der Baugesellschaft E._ belegen, für die Annahme, dass er im hier relevanten Zeitraum (noch) Mitglied der Baugesellschaft E._ war bzw. wirkt sich die ihm obliegende Beweislast angesichts des non liquet hinsichtlich des Nachweises des Austritts zu seinen Lasten aus, zumal die Baugesellschaft E._, wie bereits erwähnt, gegenüber der Bank F._ im März 2009 noch mit drei Mitgliedern auftrat. Entgegen der Auffassung des Beschwerdeführers ist es daher zumindest vertretbar, wenn das Verwaltungsgericht ohne einen klaren Nachweis für seinen Austritt aus der Baugesellschaft E._ davon ausgegangen ist, er sei in den Jahren 2008 und 2009 weiterhin deren Mitglied gewesen.
3.4.3. Von der Frage der Mitgliedschaft zu unterscheiden ist jene der Gewinnverteilung. Wird es nicht anders vereinbart, so hat jeder Gesellschafter, ohne Rücksicht auf die Art und Grösse seines Beitrages, gleichen Anteil an Gewinn und Verlust (<ref-law>). Damit besteht zwar die Vermutung, dass Gewinn und Verlust zwischen den Mitgliedern einer einfachen Gesellschaft nach Köpfen geteilt werden. Diese Gewinn- und Verlustverteilung ist indessen nicht zwingend, sondern die Gesellschafter sind grundsätzlich frei, eine andere Gewinn- und Verlustverteilung zu vereinbaren; das Gesetz stellt dafür auch keine besonderen Formvorschriften auf (vgl. Handschin/Vonzun, a.a.O., N. 56 sowie zu den Schranken abweichender Vereinbarungen N. 65 ff. zu <ref-law>). Hier kann daher in tatsächlicher Hinsicht nicht ausgeschlossen werden, dass der Beschwerdeführer zwar noch Mitglied der Baugesellschaft E._ war, die Mitglieder der Baugesellschaft E._ indessen eine andere als die gesetzlich vorgesehene Gewinnverteilung, nämlich eine Gewinnverteilung nur an die D._ AG und die C._ AG, nicht aber an den Beschwerdeführer vereinbart haben. Darauf deuten die beiden Jahresrechnungen 2008 (Langjahr vom 1. Juli 2007 bis 31. Dezember 2008) und 2009 der Baugesellschaft E._ hin, in denen lediglich für die D._ AG und die C._ AG Gewinnanteile ausgewiesen sind. Auch wenn diese - gegenüber dem behaupteten Austritt "schwächere" - Sachverhaltsvariante in Betracht gezogen wird, erweist sich die Beweiswürdigung des Verwaltungsgerichts, obwohl es diesen möglichen Sachverhalt nicht, zumindest nicht explizit, behandelt hat, im Ergebnis als vertretbar.
Die beiden Jahresrechnungen der Baugesellschaft E._ stellen zwar ein Indiz für das Bestehen einer von der Regel gemäss <ref-law> abweichenden Gewinnverteilungsvereinbarung zwischen den Gesellschaftern der Baugesellschaft E._ dar. Auch wenn für die Vereinbarung einer solchen von der gesetzlich vermuteten abweichenden Gewinnverteilung keine Formvorschriften bestehen, liegt jedoch, zumal der Beschwerdeführer ausser den beiden Jahresrechnungen keine zusätzlichen Beweismittel vorgelegt hat, der Schluss auf das Fehlen einer entsprechenden Vereinbarung nahe. Dieser Schluss ist auch deshalb zumindest vertretbar, weil ansonsten die Steuerbehörden sich selbst - ohne jegliche sonstige Hinweise auf das Bestehen einer Vereinbarung betreffend eine von der gesetzlichen abweichende Gewinnverteilung - stets die Gewinnzuweisung gemäss der Jahresrechnung der einfachen Gesellschaft entgegenhalten lassen müssten. Letztlich hätten es damit die Gesellschafter unabhängig davon, ob tatsächlich eine von der gesetzlichen abweichende Gewinnverteilungsvereinbarung besteht, in der Hand, durch die (nachträgliche) Erstellung einer Jahresrechnung der Gesellschaft die ihnen aus steuerlicher Sicht jeweils am günstigsten scheinende Gewinnverteilung zu präsentieren. Es ist daher zumindest vertretbar, wenn das Verwaltungsgericht es für den Nachweis einer von der gesetzlichen abweichenden Gewinnverteilung nicht hat genügen lassen, dass entsprechende Jahresrechnungen der Baugesellschaft E._ vorgelegt wurden.
Die Beweiswürdigung des Verwaltungsgerichts verletzt im Übrigen auch nicht etwa, wie der Beschwerdeführer geltend macht, das Massgeblichkeitsprinzip. Als materieller Grundsatz besagt dieses zunächst, dass der nach kaufmännischen Vorschriften ermittelte Reingewinn gemäss Erfolgsrechnung Ausgangspunkt für die Bemessung des steuerbaren Gewinns ist (<ref-ruling> E. 3.1 S. 85; <ref-ruling> E. 3.3.1 S. 122; Urteil 2C_16/2015 vom 6. August 2015 E. 2.2.2). Der Steuerpflichtige ist nicht nur (abstrakt) bei der Aufstellung der Steuerbilanz an die handelsrechtlichen Vorgaben gebunden (materielle Massgeblichkeit), sondern der (konkret) zulässigerweise gebildete handelsrechtliche Ansatz ist für die steuerrechtliche Gewinnermittlung verbindlich (formelle Massgeblichkeit; siehe statt vieler Brigitte Knobbe-Keuk, Bilanz- und Unternehmenssteuerrecht, 9. Aufl. 1993, S. 21 ff.; Peter Locher, Kommentar DBG, II. Teil, 2004, N 6 f. zu <ref-law>; Rolf Benz, Handelsrechtliche und steuerrechtliche Grundsätze ordnungsmässiger Bilanzierung, Diss. Zürich 2000, S. 195). Ein formeller, beweisrechtlicher Inhalt kommt dem Massgeblichkeitsprinzip nur insoweit zu, als sich daraus eine Vermutung dafür ergibt, dass verbuchte Aufwendungen und Erträge in steuerlicher Hinsicht auch tatsächlich Aufwendungen und Erträge darstellen (Locher, a.a.O., N. 170 zu <ref-law>).
Daraus folgt für die zu beurteilende Beweiswürdigung hinsichtlich der Gewinnverteilung in der Baugesellschaft E._ zunächst, dass das Massgeblichkeitsprinzip diese nicht beschlägt, da es nur die Gewinnermittlung und nicht etwa die Gewinnverteilung betrifft (Markus Reich/Julia von Ah, in: Kommentar StHG, 3. Aufl. 2017, N. 23 zu Art. 8 StHG). Darüber hinaus stellt der Umstand, dass in der Jahresrechnung einer einfachen Gesellschaft eine von der nach Köpfen abweichende Gewinnverteilung verbucht wurde (nicht etwa aufgrund des Massgeblichkeitsprinzips, sondern als Dokumentation der Tatsache, dass der Gewinn tatsächlich vereinbarungsgemäss so geteilt wurde), zwar ein Indiz dafür dar, dass die Gesellschafter tatsächlich eine entsprechende Vereinbarung getroffen haben. Kann indessen wie hier vertretbar davon ausgegangen werden, dass der einfachen Gesellschaft mehr Mitglieder angehören als gemäss der Gewinnverteilung in der Jahresrechnung und fehlt jeglicher sonstiger Anhaltspunkt dafür, dass tatsächlich eine von der gesetzlichen abweichende Gewinnverteilung zwischen den Mitgliedern der einfachen Gesellschaft vereinbart wurde, so ist es nicht willkürlich anzunehmen, der nach dem Massgeblichkeitsprinzip ermittelte Gewinn der einfachen Gesellschaft stehe deren Mitgliedern entsprechend der subsidiären gesetzlichen Regel von <ref-law> zu gleichen Teilen zu.
Dies führt zur Abweisung der Beschwerde sowohl hinsichtlich der direkten Bundessteuer als auch mit Bezug auf die Staats- und Gemeindesteuern.
4.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Es ist keine Parteientschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen.
2.
Die Beschwerde betreffend die kantonalen Steuern wird abgewiesen.
3.
Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 30. Juli 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Quinto