Sachverhalt: A. A.X._ und B.X._betrieben in J._/SZ das Restaurant Q._, welches sich auf dem Grundstück KTN xxx von A.X._ als Alleineigentümer befand. A.X._ hatte das Grundstück am 16. Februar 2006 zu einem Preis von Fr. 1'170'000.-- gekauft. Im Zuge der Betriebsaufgabe verkaufte A.X._ das Grundstück am 24. Juli 2008 zum Preis von Fr. 2'300'000.--. Dieser Verkauf wurde kantonal mit der Grundstückgewinnsteuer abgerechnet, wobei ein partieller Steueraufschub wegen Ersatzbeschaffung von Wohneigentum gewährt wurde, weil die Steuerverwaltung von einem Anteil von je 50 % privater und geschäftlicher Nutzung ausging. A.X._ und B.X._sind zudem Eigentümer einer Liegenschaft in K._/SG. Mit Veranlagungsverfügung vom 24. August 2010 wurden A.X._ und B.X._bei den kantonalen Steuern mit einem steuerbaren Einkommen von Fr. 4'000.-- (satzbestimmend Fr. 6'000.--) und einem steuerbaren Vermögen von Fr. 139'000.-- veranlagt; bei der direkten Bundessteuer wurden sie mit einem steuerbaren Einkommen von Fr. 1'138'000.-- veranlagt mit der Begründung, die Liegenschaft in J._ sei Geschäftsvermögen gewesen. B. Eine dagegen erhobene Einsprache hiess die Steuerkommission am 9. November 2012 teilweise gut und setzte kantonal das steuerbare und satzbestimmende Einkommen auf Fr. 0.-- bzw. das steuerbare Vermögen auf Fr. 89'000.-- fest. Gleichzeitig veranlagte sie das bundessteuerrechtlich steuerbare Einkommen auf Fr. 1'030'100.--. C. A.X._ und B.X._erhoben betreffend die direkte Bundessteuer Beschwerde beim Verwaltungsgericht des Kantons Schwyz mit dem Antrag, der steuerbare Gewinn aus dem Verkauf des Grundstücks in J._ mit Fr. 0.--, eventualiter mit Fr. 514'554.--, satzbestimmend Fr. 576'544.--, festzusetzen. Mit Entscheid vom 20. Februar 2013 wies das Verwaltungsgericht die Beschwerde ab. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. April 2013 wiederholen A.X._ und B.X._beim Bundesgericht das vorinstanzlich gestellte Rechtsbegehren. Das Verwaltungsgericht und die Verwaltung für die direkte Bundessteuer des Kantons Schwyz sowie die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde.