Sachverhalt:
A.
A.X._ und B.X._betrieben in J._/SZ das Restaurant Q._, welches sich auf dem Grundstück KTN xxx von A.X._ als Alleineigentümer befand. A.X._ hatte das Grundstück am 16. Februar 2006 zu einem Preis von Fr. 1'170'000.-- gekauft. Im Zuge der Betriebsaufgabe verkaufte A.X._ das Grundstück am 24. Juli 2008 zum Preis von Fr. 2'300'000.--. Dieser Verkauf wurde kantonal mit der Grundstückgewinnsteuer abgerechnet, wobei ein partieller Steueraufschub wegen Ersatzbeschaffung von Wohneigentum gewährt wurde, weil die Steuerverwaltung von einem Anteil von je 50 % privater und geschäftlicher Nutzung ausging. A.X._ und B.X._sind zudem Eigentümer einer Liegenschaft in K._/SG. Mit Veranlagungsverfügung vom 24. August 2010 wurden A.X._ und B.X._bei den kantonalen Steuern mit einem steuerbaren Einkommen von Fr. 4'000.-- (satzbestimmend Fr. 6'000.--) und einem steuerbaren Vermögen von Fr. 139'000.-- veranlagt; bei der direkten Bundessteuer wurden sie mit einem steuerbaren Einkommen von Fr. 1'138'000.-- veranlagt mit der Begründung, die Liegenschaft in J._ sei Geschäftsvermögen gewesen.
B.
Eine dagegen erhobene Einsprache hiess die Steuerkommission am 9. November 2012 teilweise gut und setzte kantonal das steuerbare und satzbestimmende Einkommen auf Fr. 0.-- bzw. das steuerbare Vermögen auf Fr. 89'000.-- fest. Gleichzeitig veranlagte sie das bundessteuerrechtlich steuerbare Einkommen auf Fr. 1'030'100.--.
C.
A.X._ und B.X._erhoben betreffend die direkte Bundessteuer Beschwerde beim Verwaltungsgericht des Kantons Schwyz mit dem Antrag, der steuerbare Gewinn aus dem Verkauf des Grundstücks in J._ mit Fr. 0.--, eventualiter mit Fr. 514'554.--, satzbestimmend Fr. 576'544.--, festzusetzen. Mit Entscheid vom 20. Februar 2013 wies das Verwaltungsgericht die Beschwerde ab.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. April 2013 wiederholen A.X._ und B.X._beim Bundesgericht das vorinstanzlich gestellte Rechtsbegehren.
Das Verwaltungsgericht und die Verwaltung für die direkte Bundessteuer des Kantons Schwyz sowie die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Die Beschwerde ist zulässig (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG; <ref-law>) und die Beschwerdeführer sind hierzu legitimiert (<ref-law>). Auf das frist- und formgerecht erhobene Rechtsmittel ist einzutreten.
1.2. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
Der direkten Bundessteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte (<ref-law>), namentlich alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (<ref-law>). Steuerfrei sind Kapitalgewinne aus der Veräusserung von Privatvermögen (<ref-law>). Hingegen gehören Kapitalgewinne aus der Veräusserung von Geschäftsvermögen zu den steuerbaren Einkünften aus selbständiger Erwerbstätigkeit; als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (<ref-law>; so genannte Präponderanzmethode [vgl. <ref-ruling> E. 3.3 S. 423]).
3.
Streitig ist einzig, ob die Liegenschaft in J._ Geschäfts- oder Privatvermögen bildete.
3.1. Ob ein Wertgegenstand dem Privat- oder dem Geschäftsvermögen zuzuordnen ist, entscheidet sich aufgrund einer Würdigung aller in Betracht kommenden tatsächlichen Umstände. Ausschlaggebendes Zuteilungskriterium ist dabei die aktuelle technisch-wirtschaftliche Funktion des fraglichen Vermögensgegenstands; massgebend ist also in erster Linie, ob der Gegenstand tatsächlich dem Geschäft dient. Die buchmässige Behandlung eines Gegenstands ist für sich allein nicht ausschlaggebend, aber im Rahmen der Gesamtwürdigung als Indiz zu werten. Zu berücksichtigen ist nicht nur die formelle Aufnahme (oder Nichtaufnahme) des Gegenstands in die Bilanz, sondern die konkrete buchhalterische Behandlung insgesamt, also etwa auch die Vornahme von Abschreibungen oder die Verbuchungsweise von einschlägigen Aufwands- und Ertragspositionen usw. (<ref-ruling> E. 3.2 S. 422). Nach dem Kreisschreiben Nr. 2 der Eidgenössischen Steuerverwaltung vom 12. November 1992, auf welches auch das Bundesgericht abstellt, sind alle den geschäftlich genutzten Liegenschaftsteil betreffenden Erträge ins Verhältnis zum Gesamtertrag aus der Liegenschaft zu setzen. Dieser umfasst sämtliche auf die Liegenschaft entfallenden Einkünfte gemäss <ref-law>, unter Einbezug des zum Marktwert festgesetzten Eigenmietwerts für den geschäftlich genutzten Teil. Beträgt der so ermittelte Anteil der geschäftlichen Nutzung mehr als 50 %, liegt eine vorwiegend geschäftliche Nutzung vor und gilt die Liegenschaft insgesamt als Geschäftsvermögen. Die nicht vorwiegend geschäftlich genutzten Objekte gehören demgegenüber gesamthaft zum Privatvermögen, auch wenn sie teilweise geschäftlich genutzt werden (<ref-ruling> E. 3.3 S. 423).
3.2. Eine vom Inhaber selbst genutzte Wohnung in einer Betriebsliegenschaft gehört nur ausnahmsweise zum Geschäftsvermögen, so wenn die Wohnung selber ganz oder vorwiegend der selbständigen Erwerbstätigkeit des Betriebsinhabers dient, sonst aber in aller Regel zum Privatvermögen, da keine betriebliche Notwendigkeit besteht, im gleichen Gebäude zu wohnen, in dem sich das Geschäft befindet; das gilt auch für Gastwirtschaften (<ref-ruling> E. 4.5 S. 426 f.). Wo eine vom Betriebsinhaber selbst genutzte Wohnung nicht oder nicht vorwiegend der selbständigen Erwerbstätigkeit dient, bleibt sie auch dann Privatvermögen, wenn die gesamte Liegenschaft als Anlagevermögen in der Geschäftsbuchhaltung aufgeführt wird (<ref-ruling> E. 6 S. 428).
3.3. Die Vorinstanz hat festgestellt, der Gastwirtschaftsbetrieb umfasse 48 Sitzplätze plus 30 auf der Terrasse und 12 Parkplätze. Die Mietwerte betrügen: Für die Parkplätze Fr. 6'000.-, für das Restaurant samt Wirtewohnung Fr. 36'000.- und für die zusätzliche 4-Zimmer-Wohnung Fr. 6'000.-. Auch wenn die Wirtewohnung als Privatvermögen zu qualifizieren sei, müsste deren Mietwert mindestens Fr. 18'000.- betragen, damit die Liegenschaft gesamthaft als Privatvermögen einzustufen wäre. Dafür, dass die Wirtewohnung einen so hohen Mietwert habe, liessen sich den Akten keine Anhaltspunkte entnehmen. Solches werde von den Beschwerdeführern auch nicht substantiiert nachgewiesen. Für die Qualifikation als Geschäftsvermögen spreche auch, dass der Beschwerdeführer die Liegenschaft grundsätzlich zu Geschäftszwecken gekauft habe und zum Kaufpreis von Fr. 1'170'000.- beim Anlagevermögen verbucht habe, ebenso Fr. 52'000.- für Umbau und Renovation im Jahre 2006. Hypotheken von insgesamt Fr. 1'100'000.- seien beim langfristigen Fremdkapital als Geschäftsschulden deklariert worden; auch seien Liegenschaftskosten und Hypothekarzinsen in der Erfolgsrechnung verbucht worden.
3.4. Die Beschwerdeführer machen geltend, die buchhalterische Behandlung sei nicht nachvollziehbar und deshalb nicht ausschlaggebend. Die Vorinstanz habe einseitig auf die Ertragssituation des Grundstücks abgestellt. Es wären auch die anderen im Kreisschreiben Nr. 2 genannten Kriterien zu berücksichtigen. Sie hätten bereits vor Verwaltungsgericht geltend gemacht (und dafür Beweise angeboten, welche die Vorinstanz rechtswidrig nicht abgenommen habe), dass die privat bewohnten Wohnungen rund zwei Drittel der gesamten Bruttogeschossfläche umfassten. Zudem wäre bei den Liegenschaftserträgen auf marktkonforme Mietzinse abzustellen; sie hätten nach dem Verkauf der Liegenschaft die 4-Zimmer-Familienwohnung zu einem Monatszins von Fr. 3'400.-- vom Käufer gemietet; der daraus resultierende Ertragswert für die Wohnung sei damit weit höher als derjenige für das Restaurant.
3.5. Das Vorbringen betreffend "Mietzins nach dem Kauf" wird erstmals vor Bundesgericht erhoben, obwohl der Mietvertrag vom Juli 2008 datiert und ohne weiteres bereits vor der Vorinstanz hätte eingereicht werden können; es handelt sich daher um ein unzulässiges Novum (E. 1.2). Zudem geht aus dem Mietvertrag nicht hervor, dass sich der Zins allein auf die Wohnung bezieht, was denn auch offensichtlich überhöht wäre. Es ist somit nicht dargelegt, dass die Ertragswerte, von denen die Vorinstanz ausgegangen ist, offensichtlich unrichtig wären.
3.6. Auch die von der Vorinstanz festgestellten buchhalterischen Aspekte sind nicht offensichtlich unrichtig. Selbst wenn die Deklaration in der Steuererklärung 2008 nicht in allen Teilen nachvollziehbar ist, geht doch daraus hervor, dass die Beschwerdeführer sehr wohl zwischen der Privatliegenschaft in K._ und der als Geschäftsvermögen betrachteten Liegenschaft in J._ unterschieden. Auch wenn die buchhalterische Behandlung nicht ausschlaggebend ist, so kann sie doch als Indiz mitberücksichtigt werden (vorne E. 3.1).
3.7. Unter diesen Umständen ist die für geschäftliche bzw. private Zwecke genutzte Fläche nicht ausschlaggebend, so dass die Vorinstanz ohne Gehörsverletzung im Rahmen einer zulässigen antizipierten Beweiswürdigung (vgl. <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 3 S. 157) auf die Abnahme der entsprechenden Beweise verzichten konnte.
3.8. Angesichts der bundesgesetzlich klar festgelegten Präponderanzmethode (vorne E. 2) ist auch nicht massgebend, dass die kantonale Steuerverwaltung im Rahmen der kantonalen Grundstückgewinnsteuer in Abweichung von der einkommenssteuerrechtlichen Betrachtung für die Gewährung des Steueraufschubs wegen Ersatzbeschaffung von der Wertzerlegungsmethode ausgeht und einen 50-prozentigen Privatanteil angenommen hat.
3.9. Die Vorinstanz hat mit Recht die Liegenschaft als überwiegend geschäftlich benutzt und damit als Geschäftsvermögen qualifiziert. Der Kapitalgewinn ist daher steuerbar. Das Quantitativ ist nicht mehr umstritten, abgesehen vom Eventualantrag auf bloss hälftige Besteuerung. Diesem kann aber angesichts der überwiegend geschäftlichen Nutzung nicht stattgegeben werden.
4.
Die Beschwerde erweist sich damit als unbegründet. Die Beschwerdeführer tragen die Kosten des bundesgerichtlichen Verfahrens (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung und dem Verwaltungsgericht (Kammer II) des Kantons Schwyz sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 31. Juli 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein