Sachverhalt:
A.
Die Bauunternehmung A._AG mit Sitz in U._/SZ betreibt ein Hoch- und Tiefbauunternehmen. Die Aktien werden zu 70% von A.A._, dem einzigen Mitglied des Verwaltungsrates, zusammen mit seiner Ehefrau, B.A._, gehalten. Die restliche Beteiligung von 30% befindet sich im Eigentum von C.A._, dem Vater von A.A._.
C.A._ erwarb am 27. April 2007 zum Preis von Fr. 860'000.-- zwei Liegenschaften in U._, die er am 6. Juli 2009 zum Preis von Fr. 850'000.-- an seinen Sohn A.A._ weiterveräusserte. Darauf befand sich das Altersheim Z._, an dem die Bauunternehmung A._AG im Jahre 2008 mit Um- und Anbauarbeiten begann. Auftraggeber und Bauherr war von Anfang an A.A._. Nebst Fremdarbeiten von Subunternehmen in der Höhe von Fr. 169'855.-- leistete die Bauunternehmung A._AG im Jahr 2008 1'574,5 Stunden eigene Arbeiten. Diese bewertete die Steuerverwaltung des Kantons Schwyz mit einem Ansatz von Fr. 60.-- (total Fr. 94'470.--) und rechnete sie zusammen mit den Fremdarbeiten als angefangene Arbeiten im Gewinn der Bauunternehmung A._AG für das Steuerjahr 2008 auf.
B.
Mit Einspracheentscheid vom 30. Juni 2014 rechnete die kantonale Steuerverwaltung die angefangenen (fremden wie eigenen) Arbeiten der Bauunternehmung beim Einkommen der Eheleute A._ als im Jahr 2008 von der Gesellschaft empfangene geldwerte Leistung im Betrag von Fr. 264'325.-- für die Staats- sowie die direkte Bundessteuer auf, was das Verwaltungsgericht des Kantons Schwyz mit Urteil vom 20. Juli 2015 bestätigte.
C.
Am 3. September 2015 haben A.A._ und B.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das vorinstanzliche Urteil aufzuheben und ohne die Aufrechnung von Fr. 264'325.-- veranlagt zu werden.
D.
Die kantonale und die Eidgenössische Steuerverwaltung (diese nur für die direkte Bundessteuer) sowie das Verwaltungsgericht des Kantons Schwyz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
I. Prozessuales
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid betreffend die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG, SR 642.14) und mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG, SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf das form- und fristgerecht eingereichte Rechtsmittel der gemäss <ref-law> legitimierten Beschwerdeführer ist somit grundsätzlich einzutreten.
1.2. Die Vorinstanz hat die Verfahren betreffend Kantonssteuern und direkte Bundessteuer vereinigt und einen einzigen Entscheid gefällt. Die Beschwerdeführer fechten diesen Entscheid mit einer einzigen Beschwerdeeingabe an. Das ist zulässig, sofern in der Beschwerde zwischen den beiden Steuerarten unterschieden wird und aus den Anträgen hervorgeht, inwieweit diese angefochten sind und wie zu entscheiden ist (vgl. <ref-ruling> E. 1.3.2 S. 264 f.; <ref-ruling>. E. 4.2 S. 559). Das Bundesgericht seinerseits eröffnet grundsätzlich zwei Verfahren, wenn sowohl die kantonalen Steuern wie auch die direkte Bundessteuer streitig sind, um die Fälle aller Kantone einheitlich zu erfassen. Es behält sich aber vor, die beiden Verfahren zu vereinigen und nur ein Urteil zu fällen. Das rechtfertigt sich auch hier, weil es um den gleichen Sachverhalt geht, sich dieselben Parteien gegenüberstehen, die Materie steuerlich harmonisiert ist und sich identische Rechtsfragen stellen (vgl. Urteil 2C_603/2012, 2C_604/2012 vom 10. Dezember 2012 E. 1).
In der vorliegend eingereichten Beschwerdeschrift sind die Ausführungen zur Staatssteuer zwar nicht räumlich von denjenigen zur direkten Bundessteuer getrennt. Die Anträge und die Beschwerdebegründung beziehen sich jedoch klar auf beide Aspekte des angefochtenen Entscheids. Zudem werden die anwendbaren Gesetzesbestimmungen des kantonalen Rechts sowie des Bundesrechts allesamt genannt und im notwendigen Umfang fallbezogen diskutiert. Eine solche Vorgehensweise steht einem vollumfänglichen Eintreten nicht entgegen, wenn berücksichtigt wird, dass der angefochtene Entscheid weder in der Begründung noch im Dispositiv zwischen den beiden Steuerarten unterschieden hat (vgl. dazu u.a. Urteil 2C_516/2013 vom 4. Februar 2014 E. 1.3 in: StR 69/2014 S. 302).
1.3. Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften unter anderem die Begehren und deren Begründung zu enthalten; in der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletze (vgl. <ref-law>).
1.3.1. Unerlässlich ist namentlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin Bundesrecht verletzt wird. Die Beschwerdeschrift soll vor Bundesgericht z.B. nicht bloss die Rechtsstandpunkte und Argumente wiederholen, wie sie im kantonalen Verfahren vorgebracht worden sind, sondern muss sich konkret und spezifisch mit den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz auseinandersetzen (vgl. u.a. <ref-ruling> E. 2.1 S. 245 f.).
1.3.2. Besonderes gilt hinsichtlich der Sachverhaltsfeststellungen der Vorinstanz. Diese sind für das Bundesgericht verbindlich, es sei denn, die Partei zeige auf, dass sie qualifiziert falsch oder in Verletzung von Verfahrensvorschriften getroffen worden sind; entsprechende Mängel sind ebenfalls spezifisch geltend zu machen und zu begründen (vgl. Art. 105 Abs. 1 und Art. 97 Abs. 1 BGG; dazu <ref-ruling> E. 2.3 S. 266 und 137 I 58 E. 4.1.2 S. 62; je mit Hinweisen), sofern sie nicht ins Auge springen (vgl. <ref-law>).
1.3.3. Eine diesen strengen Anforderungen genügende Begründung ist hier nicht in allen Punkten zu erkennen. Soweit das nicht der Fall ist, ist auf die Beschwerde nicht weiter einzugehen.
II. Direkte Bundessteuer
2.
Nach <ref-law> sind als Ertrag aus beweglichem Vermögen steuerbar insbesondere Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art.
2.1. Der Grundtatbestand der geldwerten Leistung besteht darin, dass:
- die leistende Kapitalgesellschaft oder Genossenschaft für ihre Leistung keine oder keine gleichwertige Gegenleistung erhält,
- der Beteiligungsinhaber der Kapitalgesellschaft oder Genossenschaft direkt oder indirekt (z. B. über eine ihm nahestehende Person oder Unternehmung) einen Vorteil erlangt, die Kapitalgesellschaft oder Genossenschaft diesen Vorteil einer nicht nahestehenden, also fernstehenden Person unter gleichen Bedingungen nicht zugestanden hätte, weshalb die Leistung insofern ungewöhnlich ist (Kriterium des Drittvergleichs), und
- der Charakter dieser Leistung für die Organe der Kapitalgesell-schaft oder Genossenschaft erkennbar war (vgl. u.a. <ref-ruling> E. 4.1 S. 91 f.; <ref-ruling> E. 2.2 S. 59 f.; je mit weiteren Hinweisen).
2.2. Die Bauunternehmung A._AG begann im Jahre 2008 mit dem mehrjährigen An- und Umbauprojekt im Zusammenhang mit den beiden Liegenschaften in U._. Auftraggeber und Bauherr war A.A._, der im Jahre 2008 dafür keine Gegenleistung erbrachte. Die Gesellschaft verbuchte in der Jahresrechnung 2008 weder Ertragseingänge noch Debitoren oder angefangene Arbeiten.
Die Beschwerdeführer anerkennen, dass die angefangenen Arbeiten in der Jahresrechnung 2008 der Bauunternehmung nicht periodengerecht abgegrenzt und bei dieser daher zu Recht besteuert wurden. Dagegen könne nicht von einer geldwerten Leistung der Gesellschaft an sie selber gesprochen werden, sondern nur um nicht periodengerecht verbuchte angefangene Arbeiten. Zu diesem Schluss hätte die Vorinstanz kommen müssen, wenn sie - statt sich bloss auf die Nichtverbuchung im Jahr 2008 zu stützen - auch das Verhalten der Gesellschaft und der Anteilsinhaber in den nachfolgenden Steuerperioden mit berücksichtigt hätte.
2.3. Die Einwendungen der Beschwerdeführer gegen den angefochtenen Entscheid erweisen sich als unbegründet:
2.3.1. Das Verwaltungsgericht hat das Verhalten der Gesellschaft und der Anteilsinhaber in den Nachfolgeperioden sehr wohl in seine Beurteilung mit eingeschlossen. Es hat sich nicht auf die Argumentation beschränkt, die Forderung sei 2008 nicht aktiviert gewesen und folglich liege eine geldwerte Leistung vor. Vielmehr hat es geprüft, ob aufgrund des Verhaltens in den Folgejahren angenommen werden muss, dass die Gesellschaft trotz Nichtverbuchung gar nicht auf eine Gegenleistung gegenüber ihren Mehrheitsaktionären verzichten wollte.
2.3.2. Das hat die Vorinstanz dann aber im konkreten Fall verneint und sich dabei auf folgende Feststellungen gestützt:
Aus E. 4.1 des angefochtenen Entscheids ergibt sich, dass die Korrekturen im Gewinn bei den angefangenen Arbeiten erst durch das Steuerkontrollverfahren veranlasst wurden.
In E. 4.3 hat das Verwaltungsgericht hervorgehoben, dass der geringe Baufortschritt keine mögliche Erklärung für die Nichtaktivierung war, weil der Gesellschaft bzw. den Beschwerdeführern nicht entgehen konnte, dass dadurch die Erfolgsrechnung entscheidend beeinflusst wurde und das Geschäftsjahr 2008 statt eines Verlustes mit einem Gewinn abgeschlossen worden wäre.
In E. 4.4 wird ausgeführt, dass die Beschwerdeführer auch aus den 2009 und 2010 geleisteten Akontozahlungen nichts ableiten können. Denn diese sind gerade nicht für die 2008 geleisteten Arbeiten erfolgt, sondern für Fremdarbeiten und Material der betreffenden Steuerperiode. Erst auf den 31.12.2010 lässt sich eine "Akontozahlung (bzw. eine Umbuchung KK A.A._) " feststellen. Die Akontozahlungen 2009 und 2010 sprechen somit nicht dagegen, dass das Weglassen der Erträge in der Jahresrechnung 2008 mit der Absicht eines Leistungsverzichts erfolgte.
In E. 5 hat die Vorinstanz zusammenfassend festgehalten, dass die Beschwerdeführer durch die Nichtverbuchung der angefangenen Arbeiten und die unterbliebene Aktivierung der erbrachten Leistungen in der Jahresrechnung 2008 die Mittel der Gesellschaft ohne entsprechende Gegenleistung entziehen wollten. Das Verwaltungsgericht hat somit die Nichtverbuchung in der massgeblichen Periode als Indiz für eine geldwerte Leistung genommen, das hätte widerlegt werden können, es aber in Würdigung des Folgeverhaltens nicht wurde.
2.3.3. Die genannten Punkte der verwaltungsgerichtlichen Beurteilung beruhen allesamt auf Sachverhaltsfeststellungen, die für das Bundesgericht verbindlich sind (vgl. oben E. 1.3). Was die Beschwerdeführer dagegen vorbringen, ist nicht einmal ansatzweise geeignet, die hier massgeblichen Feststellungen als geradezu offensichtlich unrichtig erscheinen zu lassen (vgl. oben E. 1.3.2), soweit sie sich damit überhaupt spezifisch auseinander setzen (vgl. oben E. 1.3.1).
2.3.4. Es gelingt den Beschwerdeführern auch nicht darzutun, dass die Vorinstanz aus den erwähnten Sachverhaltsfeststellungen rechtliche Schlüsse gezogen hätte, die sich als bundesrechtswidrig erweisen würden. Unbegründet ist unter den gegebenen Umständen namentlich die Einwendung, aus einer von der Steuerverwaltung erfassten Gewinnaufrechnung bei der Gesellschaft könne nicht ohne weiteres auf einen geldwerten Vorteil beim Aktionär geschlossen werden; ein solcher Automatismus bestehe nicht.
Nun hat die Vorinstanz aber einen solchen Automatismus gerade nicht angenommen, insbesondere nicht in einem allgemeingültigen, über die Umstände des konkreten Einzelfalls hinausgehenden Sinn (vgl. oben E. 2.3.1). Vielmehr beruht die Aufrechnung der geldwerten Leistung im Einkommen der Beschwerdeführer nicht nur auf der Veranlagung der Gesellschaft, sondern eben auf den genannten Sachverhaltsfeststellungen (vgl. oben E. 2.3.2 u. 2.3.3). Über die Nichtverbuchung der angefangenen Arbeiten und über die blosse Jahresrechnung 2008 hinaus hat das Verwaltungsgericht sich auf die Gesamtheit der massgeblichen Umstände gestützt, um daraus zu schliessen, dass die Absicht, vom Beschwerdeführer eine Gegenleistung zu erhalten, fehlte und die Voraussetzungen für eine geldwerte Leistung an die Beschwerdeführer (vgl. oben E. 2.1) allesamt erfüllt sind.
2.4. Vergeblich behaupten die Beschwerdeführer weiter, die Bauunternehmung habe nie Leistungen ohne Gegenleistungen erbringen wollen; auch sei eine geldwerte Leistung zu keinem Zeitpunkt beabsichtigt gewesen. Beides ist nämlich für eine geldwerte Leistung nicht erforderlich (vgl. oben E. 2.1). Vielmehr genügt bereits, dass für den Beschwerdeführer als handelndes Organ der Bauunternehmung der Verzicht der Gesellschaft auf eine angemessene Gegenleistung erkennbar war.
Gerade das war aber unter den gegebenen Umständen der Fall: Wenn die Kosten aus dem angefangenen Bauprojekt in der Jahresrechnung 2008 als Aufwand verbucht wurden, so ist dies als Indiz zu werten, dass die Gesellschaft damit kundtat, die Kosten übernehmen und somit zu Gunsten des Aktionärs tragen zu wollen. Die Absicht der Gesellschaft den Beschwerdeführern die eigenen Arbeiten zu verrechnen, hat die Vorinstanz vorliegend zu Recht verneint (vgl. dazu schon oben E. 2.3.2 u. 2.3.3).
2.5. Schliesslich sind nicht die steuerlichen Folgen zu beurteilen, die sich ergeben hätten, wenn die Beschwerdeführer die angefangenen Arbeiten aktiviert und darauf (unzulässigerweise) eine Wertberichtigung gebildet hätten. Darum geht es hier nicht.
III. Kantonssteuern
3.
Art. 7 Abs. 1 StHG und § 21 Abs. 1 lit. c des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ, SRSZ 172.200) entsprechen im Wesentlichen <ref-law>. Die Erwägungen zur direkten Bundessteuer sind somit für die kantonalen Steuern analog massgebend und führen dort zum gleichen Ergebnis.
IV. Kosten und Entschädigung
4.
Nach dem Gesagten sind die Beschwerden abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_741/2015 und 2C_742/2015 werden vereinigt.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen.
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantonssteuern wird abgewiesen.
4.
Die Gerichtskosten von Fr. 3'500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 3. Mai 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter