Sachverhalt: A. A.A._ war bis 1993 in U._ als Landwirt tätig. Ein Teil der ursprünglichen landwirtschaftlichen Liegenschaft ist an einer starken Hanglage gelegen und wurde im Jahre 1988 an die Z._AG Bauunternehmung (nachfolgend: Z._ AG) veräussert, die dort Terrassenhäuser realisierte (Liegenschaft GB-Nr. zzz). Am 13. Januar 1993 parzellierte A.A._ von der Stammparzelle die Liegenschaft GB-Nr. xxx ab. Unter Beizug eines Architekturbüros und der Z._ AG erschloss A.A._ in der Folge diese Liegenschaft und realisierte eine Überbauung mit fünf Mehrfamilienhäusern und einer Tiefgarage (nachfolgend: Überbauung U.1._). Die Finanzierung erfolgte im Wesentlichen durch den vorangegangenen Liegenschaftsverkauf an die Z._ AG im Jahr 1988. Mit Dienstbarkeitsvertrag vom 23. Dezember 1994 räumte A.A._ (als Eigentümer des Grundstücks GB-Nr. xxx) der Z._ AG (als Eigentümerin des Grundstücks GB-Nr. zzz) gegen Entschädigung ein Benützungsrecht an gesamthaft 37 Tiefgaragenplätzen der Überbauung U.1._ ein. Der daraus resultierende Gewinn von Fr. 148'294.-- wurde in der Veranlagungsverfügung 1995/1996 als Einkommen aus gewerbsmässigem Liegenschaftenhandel aufgerechnet. Gleichzeitig wurde in der Veranlagungsverfügung vermerkt, mit Ausnahme der selbst bewohnten Liegenschaft würden sämtliche Liegenschaften Geschäftsvermögen aus gewerbsmässigem Liegenschaftenhandel darstellen. In der Folge wurden die Liegenschaften in den Veranlagungsverfügungen 1997/98 und 1999/2000 als Geschäftsvermögen qualifiziert, in den Veranlagungsverfügungen 2002 bis 2006 als Privatvermögen und in der Veranlagungsverfügung 2007 - bestätigt mit Einspracheentscheid vom 24. November 2011 - erneut als Geschäftsvermögen. Im Jahr 2009 veräusserte A.A._ die Liegenschaft GB-Nr. xxx an die von ihm gehaltene Immobiliengesellschaft K._ AG. B. Am 31. Juli 2012 veranlagte die Steuerbehörde des Kantons Schwyz A.A._ und B.A._ für die direkte Bundessteuer 2009 mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 2'148'700.--. In Abweichung zur Selbstdeklaration wurde - nebst einigen unbestrittenen Aufrechnungen - ein Einkommen aus gewerbsmässigem Liegenschaftenhandel von Fr. 2'056'774.-- veranlagt. Die dagegen erhobene Einsprache wurde am 12. Juli 2013 teilweise gutgeheissen und das steuerbare und satzbestimmende Einkommen bundessteuerlich auf Fr. 700'600.-- festgelegt. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz am 20. November 2013 ab. C. Vor Bundesgericht beantragen A.A._ und B.A._, den angefochtenen Entscheid aufzuheben, die Liegenschaft GB-Nr. xxx als Privatvermögen zu qualifizieren und das steuerbare Einkommen für die direkte Bundessteuer 2009 auf Fr. 91'900.-- festzusetzen. Das Verwaltungsgericht des Kantons Schwyz verzichtet auf Vernehmlassung. Die Steuerverwaltung des Kantons Schwyz und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde. Per Schreiben vom 14. Februar 2014 - und somit nach Ablauf der angesetzten Frist - reichte die Steuerverwaltung des Kantons Schwyz eine ergänzende Vernehmlassung ein.