Sachverhalt:
A.
A.A._ war bis 1993 in U._ als Landwirt tätig. Ein Teil der ursprünglichen landwirtschaftlichen Liegenschaft ist an einer starken Hanglage gelegen und wurde im Jahre 1988 an die Z._AG Bauunternehmung (nachfolgend: Z._ AG) veräussert, die dort Terrassenhäuser realisierte (Liegenschaft GB-Nr. zzz). Am 13. Januar 1993 parzellierte A.A._ von der Stammparzelle die Liegenschaft GB-Nr. xxx ab. Unter Beizug eines Architekturbüros und der Z._ AG erschloss A.A._ in der Folge diese Liegenschaft und realisierte eine Überbauung mit fünf Mehrfamilienhäusern und einer Tiefgarage (nachfolgend: Überbauung U.1._). Die Finanzierung erfolgte im Wesentlichen durch den vorangegangenen Liegenschaftsverkauf an die Z._ AG im Jahr 1988.
Mit Dienstbarkeitsvertrag vom 23. Dezember 1994 räumte A.A._ (als Eigentümer des Grundstücks GB-Nr. xxx) der Z._ AG (als Eigentümerin des Grundstücks GB-Nr. zzz) gegen Entschädigung ein Benützungsrecht an gesamthaft 37 Tiefgaragenplätzen der Überbauung U.1._ ein. Der daraus resultierende Gewinn von Fr. 148'294.-- wurde in der Veranlagungsverfügung 1995/1996 als Einkommen aus gewerbsmässigem Liegenschaftenhandel aufgerechnet. Gleichzeitig wurde in der Veranlagungsverfügung vermerkt, mit Ausnahme der selbst bewohnten Liegenschaft würden sämtliche Liegenschaften Geschäftsvermögen aus gewerbsmässigem Liegenschaftenhandel darstellen. In der Folge wurden die Liegenschaften in den Veranlagungsverfügungen 1997/98 und 1999/2000 als Geschäftsvermögen qualifiziert, in den Veranlagungsverfügungen 2002 bis 2006 als Privatvermögen und in der Veranlagungsverfügung 2007 - bestätigt mit Einspracheentscheid vom 24. November 2011 - erneut als Geschäftsvermögen.
Im Jahr 2009 veräusserte A.A._ die Liegenschaft GB-Nr. xxx an die von ihm gehaltene Immobiliengesellschaft K._ AG.
B.
Am 31. Juli 2012 veranlagte die Steuerbehörde des Kantons Schwyz A.A._ und B.A._ für die direkte Bundessteuer 2009 mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 2'148'700.--. In Abweichung zur Selbstdeklaration wurde - nebst einigen unbestrittenen Aufrechnungen - ein Einkommen aus gewerbsmässigem Liegenschaftenhandel von Fr. 2'056'774.-- veranlagt. Die dagegen erhobene Einsprache wurde am 12. Juli 2013 teilweise gutgeheissen und das steuerbare und satzbestimmende Einkommen bundessteuerlich auf Fr. 700'600.-- festgelegt. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz am 20. November 2013 ab.
C.
Vor Bundesgericht beantragen A.A._ und B.A._, den angefochtenen Entscheid aufzuheben, die Liegenschaft GB-Nr. xxx als Privatvermögen zu qualifizieren und das steuerbare Einkommen für die direkte Bundessteuer 2009 auf Fr. 91'900.-- festzusetzen.
Das Verwaltungsgericht des Kantons Schwyz verzichtet auf Vernehmlassung. Die Steuerverwaltung des Kantons Schwyz und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde.
Per Schreiben vom 14. Februar 2014 - und somit nach Ablauf der angesetzten Frist - reichte die Steuerverwaltung des Kantons Schwyz eine ergänzende Vernehmlassung ein.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid (vgl. <ref-law>) eines oberen kantonalen Gerichts in einer Angelegenheit des öffentlichen Rechts. Dagegen steht gemäss <ref-law> in Verbindung mit <ref-law> (SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Ein Ausschlussgrund nach <ref-law> liegt nicht vor. Auf das form- und fristgerecht eingereichte Rechtsmittel der hierzu legitimierten Beschwerdeführer (vgl. <ref-law>) ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.6 S. 280 mit Hinweis). Hinsichtlich der Verletzung von Grundrechten, darin eingeschlossen solcher, die sich aus Völkerrecht ergeben, gilt eine qualifizierte Rügepflicht (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2 S. 76 f.; <ref-ruling> E. 5.2 S. 373, 274 E. 1.6 S. 280 f.).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; <ref-ruling> E. 1.2.1 S. 138; <ref-ruling> E. 10.1 S. 445; <ref-ruling> E. 1.6 S. 280 f.). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinne mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. Art. 42 Abs. 2 und <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.; <ref-ruling> E. 1.3 S. 351 f.). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- bzw. Rügeanforderungen nicht (BGE <ref-ruling> E. 10.1 S. 445).
2.
2.1. Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne aus der Veräusserung von Privatvermögen (<ref-law>; <ref-ruling> E. 2.1 S. 365 f.; <ref-ruling> E. 3.1 S. 421 f.). Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (<ref-law>). Dazu zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Der Veräusserung gleichgestellt ist unter anderem die Überführung von Geschäfts- in Privatvermögen. Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (<ref-law>; BGE <ref-ruling> E. 3.2 S. 422).
2.2. Für den Begriff der selbständigen Erwerbstätigkeit kennzeichnend ist die Tätigkeit einer natürlichen Person, mit der diese auf eigenes Risiko, unter Einsatz der Produktionsfaktoren Arbeit und Kapital, in einer von ihr frei gewählten Arbeitsorganisation, dauernd oder vorübergehend, haupt- oder nebenberuflich, in jedem Fall aber mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Untergeordnete Anhaltspunkte sind etwa die Beschäftigung von Personal, das Ausmass der Investitionen, ein vielfältiger, wechselnder Kundenstamm und das Vorliegen eigener Geschäftsräumlichkeiten (<ref-ruling> E. 5b S. 120 f. [direkte Bundessteuer]; <ref-ruling> E. 2.4.2 S. 256 ff. [Mehrwertsteuer]; <ref-ruling> E. 3.1 S. 252 f. [AHV]). Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Urteile 2C_1273/2012 vom 13. Juni 2013 E. 2.2, in: StE 2013 B 23.1 Nr. 79; 2C_136/2008 vom 27. Juni 2008 E. 3.1).
2.3. Steuerbarer Immobilienhandel im Sinne einer selbständigen Erwerbstätigkeit liegt gemäss bundesgerichtlicher Praxis dann vor, wenn die steuerpflichtige Person An- und Verkäufe von Liegenschaften systematisch und mit der Absicht der Gewinnerzielung vornimmt. Erforderlich ist die Entwicklung einer Tätigkeit, die in ihrer Gesamtheit auf Erwerb gerichtet ist (vgl. zum Ganzen <ref-ruling> E. 6a S. 124; <ref-ruling> E. 3b S. 449 f.; Urteil 2C_948/2010 vom 31. Oktober 2011 E. 2.3, in: StE 2012 B 23.2 Nr. 40). Als Indizien kommen in Betracht: die systematische bzw. planmässige Art und Weise des Vorgehens (aktives, wertvermehrendes Tätigwerden durch Parzellierung, Überbauung, Werbung usw.; Erwerb in der offenkundigen Absicht, die Liegenschaft möglichst rasch mit Gewinn weiterzuverkaufen; Ausnützung der Marktentwicklung), die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die kurze Besitzesdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte, die Verwendung der erzielten Gewinne bzw. deren Wiederanlage in gleichartige Vermögensgegenstände oder die Realisierung der Gewinne im Rahmen einer Personengesellschaft (vgl. Urteile 2C_1081/2013 / 2C_1164/2013 vom 2. Juni 2014 E. 5.3, in: StR 69/2014, S. 720; 2C_1276/2012 vom 24. Oktober 2013 E. 4.2, in: RDAF 2014 II S. 68; 2C_713/2012 vom 3. März 2013 E. 3.1; 2C_834/2012 vom 19. April 2013 E. 5.5, in: StR 68/2013 S. 901; je mit Hinweisen).
2.4. Keine selbständige Erwerbstätigkeit bzw. kein gewerbsmässiger Immobilienhandel liegt vor, wenn lediglich das eigene Vermögen verwaltet wird, insbesondere etwa durch die Vermietung eigener Liegenschaften (Urteile 2C_948/2010 vom 31. Oktober 2011 E. 2.5, in: StE 2012 B 23.2 Nr. 40; 2C_403/2009 vom 1. März 2010 E. 2.3, in: StR 65/2010 S. 458; 2P.317/2005 vom 3. April 2006 E. 2.2; 2A.52/2003 vom 23. Januar 2004 E. 2.5, in: ASA 74 S. 737). Daran ändert nichts, wenn das Vermögen umfangreich ist, professionell verwaltet wird und kaufmännische Bücher geführt werden (Urteil 2C_869/2008 vom 7. April 2009 E. 2.3, in: StE 2009 B 23.1 Nr. 66 mit Hinweisen). Überdies liegt normalerweise private Vermögensverwaltung vor, wenn der Eigentümer seine Liegenschaft (en) mit Wohn- oder Geschäftsbauten überbaut, um aus deren Vermietung einen Ertrag zu erzielen (Urteil 2A.52/2003 vom 23. Januar 2004 E. 2.5 mit Hinweis, in: ASA 74 S. 737; ferner Urteil H 301/01 vom 29. März 2005 E. 5.2 [AHV]). Dies gilt - ohne Hinzutreten weiterer Umstände - selbst dann, wenn zur Werterhöhung und Erleichterung des Weiterverkaufs Stockwerkeigentumseinheiten begründet werden (Urteil 2C_1276/2012 vom 24. Oktober 2013 E. 4.3.1, in: RDAF 2014 II S. 68). Allerdings setzt dies voraus, dass das Geschäft nicht ausschliesslich mit fremden Mitteln finanziert worden ist (vgl. Urteile 2C_455/2011 vom 5. April 2012 E. 5.3 und 2C_1156/2012 / 2C_1157/2012 vom 19. Juli 2013 E. 8.2.2).
3.
3.1. Die Vorinstanz führt im Wesentlichen aus, die Abparzellierung und Erschliessung der Liegenschaft als solche erfülle den Tatbestand des gewerbsmässigen Liegenschaftenhandels grundsätzlich noch nicht. Anders zu beurteilen sei hingegen die anschliessende Erstellung der Mehrfamilienhäuser mit Tiefgarage. Ein solches planmässiges und auf Wertvermehrung ausgerichtetes Vorgehen stelle eine Tätigkeit dar, welche in ihrer Gesamtheit auf Erwerb gerichtet sei und den Rahmen privater Vermögensverwaltung offenkundig sprenge. Zwar bestünden keine Anhaltspunkte, dass die Liegenschaft in der offenkundigen Absicht überbaut worden sei, sie möglichst rasch mit Gewinn weiter zu veräussern. Aber auch wenn vorgesehen sei, ein Mehrfamilienhaus zu behalten und ohne Verkaufsabsicht bloss zu verwalten, stehe dies rechtsprechungsgemäss einer Qualifizierung als gewerbsmässigem Liegenschaftenhandel bei einem späteren Verkauf nicht entgegen. Das gelte namentlich auch vor dem Hintergrund, dass die Beschwerdeführer die Qualifikation der Liegenschaft als Geschäftsvermögen früher nicht bestritten hätten.
3.2. Die Beschwerdeführer bringen vor, bis und mit heute hätten keine Veräusserungen an Dritte stattgefunden, welche als gewerbsmässiger Liegenschaftenhandel qualifiziert werden könnten. Der Beschwerdeführer 1 sei beruflich nie im Bau- oder Immobilienbereich tätig gewesen und habe nie eine Liegenschaft gewerbsmässig an Dritte veräussert. Die einzige "Veräusserung" betreffe die entgeltliche Einräumung des Benützungsrechts an den 37 Tiefgaragenplätzen. Sie wiederum sei wegen der einzig sinnvollen Realisierung der Parkplatzsituation für die Gesamtüberbauung erfolgt. Schliesslich sei die frühere Qualifikation als Geschäftsvermögen nicht entscheidend; der Beschwerdeführer habe sich zu keinem Zeitpunkt als gewerbsmässiger Liegenschaftenhändler gesehen.
3.3.
3.3.1. Wann eine Tätigkeit in ihrem gesamten Erscheinungsbild auf Erwerb ausgerichtet ist, lässt sich nur unter Berücksichtigung der gesamten Umstände des Einzelfalls entscheiden. Ein auf Wertvermehrung gerichtetes Tätigwerden - vorliegend die Einzonung, Parzellierung und Überbauung der Liegenschaft - kann zwar im Rahmen der vorzunehmenden Gesamtwürdigung ein Indiz unter mehreren für eine Erwerbstätigkeit sein, sprengt aber als solches den Rahmen einer blossen bzw. gewöhnlichen Verwaltung eigenen, privaten Vermögens nicht (vgl. Urteil 2C_1276/2012 vom 24. Oktober 2013 E. 4.3.1, in: RDAF 2014 II S. 68). Dies gilt umso mehr, als auch die private Kapitalanlage regelmässig ertragsorientiert erfolgt und in diesem Sinne eine Gewinnabsicht vorhanden sein kann (Blumenstein/Locher, System des schweizerischen Steuerrechts, 6. Aufl. 2002, S. 178; Beat Hirt, Grundfragen der Einkommensbesteuerung, 1998, S. 182 f.).
3.3.2. Entgegen der Auffassung der Vorinstanz kann eine Erwerbstätigkeit nicht bereits dann angenommen werden, wenn der Eigentümer - wie hier - von Beginn an vorsah, die Mehrfamilienhäuser zu behalten und ohne Verkaufsabsicht bloss zu verwalten. Die Vermietung eigener Liegenschaften sprengt den Rahmen gewöhnlicher Vermögensverwaltung grundsätzlich nicht. Unstrittig hat der Beschwerdeführer 1 die streitbetroffene Liegenschaft nicht in Erwartung eines baldigen Kapitalgewinns überbaut. Auch erscheint der hier zu beurteilende Verkauf der Liegenschaft an die vom Beschwerdeführer 1 beherrschte Immobilien-AG wirtschaftlich betrachtet als Vermögensumschichtung. Die entgeltliche Einräumung der Grunddienstbarkeit (Benützungsrecht an 37 Tiefgaragenplätzen) führt nicht zu einem anderen Schluss. Sie erfolgte, weil die Z._ AG aufgrund der Steilheit der eigenen Parzelle keine Parkplätze planen konnte. Darin liegt noch kein auf Erwerb gerichtetes Tätigwerden des Beschwerdeführers 1. Entsprechendes gilt für die Tatsache, dass er bereits im Jahr 1988 einen Teil seiner Liegenschaft abparzelliert und verkauft hatte und den Erlös zur Finanzierung der Überbauung U.1._ einsetzte. Vielmehr ermöglichte dies dem Beschwerdeführer 1, die Überbauung mit nur wenig Fremdkapital zu verwirklichen. Schliesslich weist der Liegenschaftenhandel keine besondere Nähe zur vormaligen Tätigkeit als Landwirt auf.
3.4. Zu beachten sind indes auch die weiteren Umstände, namentlich allfällige weitere Liegenschaftskäufe und -verkäufe (vgl. z.B. Urteil 2C_1276/2012 vom 24. Oktober 2013 E. 4.3.1, in: RDAF 2014 II S. 68).
3.4.1. Die streitbetroffene Liegenschaft wurde in den Veranlagungsverfügungen 1995/96, 1997/98 und 1999/2000 zum Geschäftsvermögen gezählt und der Gewinn aus der Einräumung der Grunddienstbarkeit als Einkommen aus gewerbsmässigem Liegenschaftenhandel qualifiziert. Weiter wurden in der Veranlagungsverfügung 1999/2000 ein Verlust von Fr. 23'110.-- aus Liegenschaftenhandel betreffend eine Liegenschaft im Kanton Zürich, ein Gewinn von Fr. 16'032.-- aus dem Verkauf von vier Autoabstellplätzen und eine Überführung vom Geschäfts- ins Privatvermögen (ohne Gewinn) berücksichtigt. In der Steuerperiode 2007 machten die Beschwerdeführer für von ihnen gehaltene Liegenschaften in W._ und U._ pauschale Unterhaltskosten statt der effektiv angefallenen Kosten geltend. Mit Einspracheentscheid vom 24. November 2011 wurden nur die effektiven Unterhaltskosten anerkannt mit der Begründung, die Liegenschaft in U._ stelle Geschäftsvermögen dar, während die Qualifikation der Liegenschaft in W._ offengelassen werden konnte.
3.4.2. Nach ständiger Praxis des Bundesgerichts kommt einer Veranlagung bei periodischen Steuern nur für die betreffende Periode Rechtskraft zu; die tatsächlichen und rechtlichen Verhältnisse können daher in einem späteren Veranlagungszeitraum anders gewürdigt werden. Die Erwägungen, worauf die Festsetzungen beruhen, haben nur die Bedeutung von Motiven; diese nehmen an der materiellen Rechtskraft der Entscheidung für sich allein grundsätzlich nicht teil. Rechtskräftig wird deshalb nur die Taxation als solche, nicht die rechtlichen Qualifikationen einzelner Posten, die dazu geführt haben (<ref-ruling> E. 2.4.3 S. 120; Urteil 2A.747/2004 vom 9. Mai 2005 E. 3.2, in: Pra 2006 Nr. 16 S. 119; je mit Hinweisen).
3.4.3. Wohl wurde die streitbetroffene Liegenschaft in den Veranlagungsverfügungen der Jahre 2002 bis 2006 als Privatvermögen qualifiziert. Allerdings können die Beschwerdeführer daraus nichts zu ihren Gunsten ableiten, zumal sich die Veranlagungsbehörde in diesen Jahren zur Qualifizierung der Liegenschaft nicht (ausdrücklich) geäussert hat (vgl. Urteil 2A.747/2004 vom 9. Mai 2005 E. 4.1, in: Pra 2006 Nr. 16 S. 119). Soweit sie dies in den Vorjahren getan hatte und anschliessend in der Steuerperiode 2007 wiederum tat, ging sie stets von Geschäftsvermögen aus. Das erscheint bereits deswegen naheliegend, weil die Beschwerdeführer gegen die Qualifikation als Geschäftsvermögen (mit entsprechenden Steuerfolgen) in den Veranlagungsverfügen 1995/96, 1997/98, 1999/2000 nicht opponierten (vgl. <ref-law>; <ref-ruling> E. 3 S. 130; Urteil 2C_475/2008 vom 1. Juli 2009 E. 3.3 mit Hinweisen). Dafür spricht auch, dass sich die Beschwerdeführer im Schreiben vom 24. März 2009 vorbehaltlos auf die Qualifikation als Geschäftsvermögen einliessen. Nähere Angaben hierzu fehlen im vorinstanzlichen Urteil, weil die Vorinstanz - zu Unrecht - isoliert auf die Liegenschaft in U._ abgestellt hat. Aus den eben erwähnten Veranlagungsverfügungen und den vom Bundesgericht eingeholten Steuerakten (<ref-law>) geht jedoch hervor, dass die Beschwerdeführer weitere Liegenschaften in diversen anderen Kantonen hielten bzw. halten, nämlich in Luzern, Zug und Zürich. Sodann ist die Steuerverwaltung bereits in den Steuerperioden 1995/96, 1999/2000 sowie 2008 aufgrund von verschiedenen Liegenschaftsveräusserungen von gewerbsmässigem Liegenschaftshandel ausgegangen, wobei sich dies in der Steuerperiode 1999/2000 zu Gunsten der Beschwerdeführer auswirkte, indem - im Rahmen der Bundessteuer - ein Verlust aus Liegenschaftshandel zum Abzug zugelassen wurde.
3.5. Aufgrund der gesamten Umstände, insbesondere auch der früher getätigten Liegenschaftsverkäufe, ist die vorinstanzliche Qualifizierung der Liegenschaftsveräusserung als gewerbsmässiger Liegenschaftenhandel und die entsprechende Einkommensaufrechnung nicht zu beanstanden. Masslich ist die Aufrechnung nicht bestritten. Die Beschwerde ist damit abzuweisen.
4.
Die Beschwerdeführer haben aufgrund ihres Unterliegens die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 und 66 Abs. 1 BGG). Dem Kanton Schwyz, der in seinem amtlichen Wirkungskreis obsiegt, ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 2. Oktober 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Petry