Sachverhalt:
A.
A._ erwarb die Liegenschaften KTN xxx, yyy, und zzz (heute vereinigt als KTN xxx) mit zwei Gebäuden in U._ von seinem Vater und seiner Schwester in den Jahren 1993, 1997, 1998 und 2004 jeweils zu Vorzugspreisen unter Anrechnung an die Erbschaft. In den Jahren 2005 und 2006 liess er Unterhaltsarbeiten an den bestehenden Gebäuden ausführen. In den Jahren 2009 und 2010 liess er die bestehenden Gebäude abtragen und mit einem Mehrfamilienhaus mit sechs Wohnungen überbauen. Von Dezember 2010 bis Februar 2011 verkaufte A._ vier Wohnungen. Eine Wohnung ist noch nicht verkauft; eine Wohnung übernahm er selbst.
Am 21. August 2012 wurde A._ für die direkte Bundessteuer 2010 und 2011 veranlagt. Dabei nahm die Veranlagungsbehörde gegenüber den deklarierten Faktoren Aufrechnungen für Einkommen aus gewerbsmässigem Liegenschaftenhandel in der Höhe von Fr. ... (2010) und Fr. ... (2011) vor. Den Beginn der gewerbsmässigen Tätigkeit setzte sie auf den 1. Januar 2008 und den Verkehrswert des Landes in diesem Zeitpunkt auf 1'500.-- pro m2 fest.
Für die kantonalen Steuern erfolgte keine entsprechende Aufrechnung.
B.
Eine Einsprache, mit welcher der Steuerpflichtige sowohl das Vorhandensein eines gewerbsmässigen Liegenschaftenhandels wie auch den angenommenen Verkehrswert des Landes per 1. Januar 2008 bestritt, blieb ohne Erfolg.
Mit Entscheid vom 17. September 2013 wies das Verwaltungsgericht des Kantons Schwyz eine Beschwerde von A._ ab.
C.
Mit Beschwerde in öffentlichrechtlichen Angelegenheiten beantragt A._, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 17. September 2013 sei aufzuheben und das steuerbare Einkommen für das Jahr 2010 auf Fr. ... und für das Jahr 2011 auf Fr. ... festzusetzen; es sei festzustellen, dass es sich beim Gewinn des Beschwerdeführers aus den Veräusserungen der Wohnungen um einen steuerfreien privaten Kapitalgewinn handle. Eventualiter sei das steuerbare Einkommen für das Jahr 2010 auf Fr. ... und für das Jahr 2011 auf Fr. ... festzusetzen.
Die Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Schwyz verzichtete auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) einer letzten und oberen kantonalen Instanz (Art. 86 Abs. 1 und 2 BGG) in einer Angelegenheit des öffentlichen Rechts (<ref-law> i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11]). Der Beschwerdeführer ist durch die Entscheidung besonders berührt und hat ein schutzwürdiges Interesse an deren Aufhebung oder Änderung (<ref-law>). Dem Feststellungsantrag kommt neben dem Leistungsbegehren keine selbständige Bedeutung zu. Im Übrigen ist die Beschwerde zulässig.
1.2. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern der rechtliche Mangel nicht geradezu offensichtlich ist. Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht untersucht es in jedem Fall nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; zum Ganzen <ref-ruling> E. 1.6 S. 280 f.; <ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.4 S. 400; <ref-ruling> E. 1.4.1 f. S. 254).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.4. Die vorliegende Sache betrifft nur die direkte Bundessteuer. Streitig ist, ob der Beschwerdeführer als Quasi-Liegenschaftshändler, d.h. als weder haupt- noch nebenberuflich tätiger Liegenschaftenhändler, die Veräusserungsgewinne (Kapitalgewinne) zu versteuern hat. Umstritten ist ferner - falls gewerbsmässiger Liegenschaftenhandel zu bejahen ist - die Festsetzung des Einbuchungswertes der Liegenschaften.
2.
2.1. Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme von Kapitalgewinnen aus der Veräusserung von Privatvermögen (Art. 16 Abs. 1 und 3 DBG). Steuerbar sind alle Einkünfte namentlich aus einem Handels- und Gewerbebetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (vgl. <ref-law>). Dazu zählen nach <ref-law> auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen.
2.2. Nach ständiger Rechtsprechung des Bundesgerichts sind Veräusserungsgewinne steuerbar, wenn sie sich aus irgendeiner auf Erwerb (Verdienst) gerichteten Tätigkeit der steuerpflichtigen Person ergeben; dabei ist gleichgültig, ob diese im Haupt- oder Nebenberuf, regelmässig oder einmalig ausgeübt wird. Auch Gewinne aus der Veräusserung von Liegenschaften unterliegen der Einkommenssteuer, wenn sie im Rahmen einer solchen Tätigkeit erzielt werden. Steuerfrei sind sie nur, wenn sie bei der blossen Verwaltung des eigenen Privatvermögens oder einer zufällig sich bietenden Gelegenheit (ohne eigentliche auf Verdienst gerichtete Tätigkeit) erlangt werden. Ob Veräusserungsgewinne nach <ref-law> zu besteuern sind, ist im Einzelfall stets nach den gesamten Umständen zu beurteilen. Als Indizien für eine selbständige Erwerbstätigkeit können bei Liegenschaftsgewinnen etwa in Betracht kommen die (systematische bzw. planmässige) Art und Weise des Vorgehens, die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die Besitzesdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Realisierung im Rahmen einer Personengesellschaft. Jedes dieser Indizien kann zusammen mit andern, im Einzelfall aber auch allein ausreichen, um eine Erwerbstätigkeit anzunehmen (vgl. zum Ganzen <ref-ruling> E. 6a S. 124; <ref-ruling> E. 3b S. 449 f.; Urteile 2C_455/2011 vom 5. April 2012 E. 5.1; 2C_403/2009 vom 1. März 2010 E. 2, in: StE 2011 B 23.1 Nr. 69, StR 65/2010 S. 458, RDAF 2010 II 600; 2A.358/2005 vom 23. November 2005 E. 2.1 f.).
2.3. Zum Begriff des gewerbsmässigen Liegenschaftenhandels besteht eine reichhaltige Praxis des Bundesgerichts. Es konnte sich in neueren Urteilen wiederholt mit Grenzfällen in diesem Bereich befassen.
2.3.1. Im Urteil 2C_1276/2012 vom 24. Oktober 2013 (in: RDAF 2014 II S. 68, StR 69/2014) erwog das Bundesgericht, der Erwerb einer Liegenschaft und die Begründung von Stockwerkeigentum im Hinblick auf den gewinnbringenden Verkauf lasse nicht zwingend auf eine auf Erwerb gerichtete Tätigkeit schliessen und könne noch als Verwaltung des privaten Vermögens betrachtet werden. Wenn jedoch die weiteren Liegenschaftstransaktionen, deren zeitliche Nähe und die Art der Finanzierung betrachtet würden, müsse gewerbsmässiger Liegenschaftenhandel angenommen werden. Im konkreten Fall hatte ein Ehepaar innerhalb von sieben Jahren zwei grosse Mietliegenschaften erworben, teilweise Stockwerkeigentum begründet und wieder verkauft. Finanziert wurden die Geschäfte zur Hauptsache mit Hypothekar- und Lombardkrediten. Angesichts der Kaufpreise (insgesamt Fr. ...) und der eingesetzten Eigenmittel (Fr. ...) konnte nicht mehr nur von der Verwaltung des privaten Vermögens gesprochen werden. Das Bundesgericht betonte den Grundsatz, dass alle Umstände im Einzelfall zu berücksichtigen seien, und sprach sich gegen die isolierte Betrachtung einzelner Merkmale und namentlich der Besitzesdauer aus (E. 4.3.2 und 4.4).
2.3.2. Im Entscheid 2C_819/2011 vom 20. April 2012 (in: RDAF 2012 II S. 260) verneinte das Bundesgericht das Vorliegen eines gewerbsmässigen Liegenschaftenhandels seitens der Steuerpflichtigen, die über keinerlei Kenntnisse im Immobilienbereich verfügten und deren Beitrag sich darin erschöpfte, ihre durch Erbvorbezug erworbene Landparzelle als Teil des zu überbauenden Grundstücks in eine Baugesellschaft (einfache Gesellschaft) einzubringen, während Verkauf und Promotion durch die Hauptgesellschafterin, eine Bau und Generalunternehmung, erfolgte (E. 3.3).
2.3.3. Im Urteil 2C_948/2010 vom 31. Oktober 2011 (in: StE 2012 B 23.2 Nr. 40) sprach der Umstand, dass sich die Immobilie vor ihrem gewinnbringenden Verkauf relativ lang im Besitz ihrer Erbauer befand (Mietliegenschaft), eher für die Verwaltung von Privatvermögen. Die Gründung einer einfachen Gesellschaft (Baugesellschaft) mit überwiegend im Baugewerbe tätigen Gesellschafter zum Zweck des Erwerbs und nachmaligen Erstellung der Baute mit 24 Alterswohnungen legte indessen die Annahme eines Immobilienhandels nahe. Im Urteil betonte das Bundesgericht das Erfordernis der Berücksichtigung aller massgeblichen Umstände und erwähnte, dass eine lange Haltedauer für sich betrachtet der Annahme einer selbständigen, auf Erwerb gerichteten Tätigkeit nicht entgegenstehe (E. 3).
2.3.4. Im Urteil 2C_907/2010 vom 16. Mai 2011 vergrösserte ein Geschwisterpaar eine teils ererbte, teils durch Vorempfang erworbene unüberbaute Parzelle durch Zukauf von weiterem Land und realisierte darauf ein Appartementhaus mit 15 Stockwerkeinheiten, von denen es innerhalb eines Jahres sechs Einheiten verkaufte. Das sprengte den Rahmen der schlichten Verwaltung des privaten Vermögens, auch wenn kein besonders hoher Fremdfinanzierungsanteil von 40 % vorlag. Hinzu kam, dass beide Geschwister als Verwaltungsratspräsidentin resp. als Verwaltungsratsmitglied einer Immobiliengesellschaft über Erfahrungen im Immobilienbereich verfügten, wie sich aus dem kantonalen Entscheid ergibt.
3.
3.1. Gemäss den Feststellungen tatsächlicher Art der Vorinstanz im angefochtenen Entscheid, die nicht offensichtlich unrichtig und für das Bundesgericht verbindlich sind, erwarb der Beschwerdeführer die in Frage stehenden Liegenschaften in den Jahren 1993, 1994, 1997, 1998 und 2004 von seinem Vater und seiner Schwester zu Vorzugspreisen. Der letzte Zukauf erfolgte im Jahr 2004 von seinem Vater zu einem erbvertraglich festgelegten Preis von Fr. .... Auf diese Weise erwarb der Beschwerdeführer eine zusammenhängende Fläche von rund 1100 m2 mit zwei Gebäuden. Der Erwerb einer Wohnliegenschaft unter Verwandten zu Vorzugspreisen oder anrechnungsweise ist in der Regel eine private Angelegenheit. Das allein lässt noch nicht auf eine gewerbsmässige Tätigkeit schliessen.
3.2. In den Jahren 2005 und 2006 nahm der Beschwerdeführer Unterhaltsarbeiten vor. Diese erwiesen sich aber angesichts des Alters der Gebäude (Baujahr um 1900) als Fehlinvestition, weshalb er sich im Jahr 2008 entschloss, die Liegenschaften "optimaler und für seine private Situation sinnvoller zu nutzen". Er befolgte die Empfehlung von Immobilienfachleuten, die alten Gebäude abzutragen und eine neue Überbauung zu erstellen. Nach einer kurzen Planungsphase wurde das Baugesuch am 23. Juni 2008 für die Erstellung eines Mehrfamilienhauses mit Untergeschoss, drei Vollgeschossen, Attikageschoss, Tiefgarage und sechs Parkplätzen eingereicht und mit dem Bau im Herbst 2009 begonnen. Der Beschwerdeführer war hierfür auf fremde Mittel angewiesen und musste planmässig vorgehen. Insgesamt wurden sechs Wohnungen erstellt. Vier Wohnungen wurden in den Jahren 2010 und 2011 veräussert. Zwei Wohnungen blieben im Eigentum des Beschwerdeführers. Eine dieser Wohnungen bewohnt er selbst.
3.3. Der Verkauf von vier Wohnungen kann eine private oder auch eine Handelstätigkeit sein. Für die Qualifikation kommt es daher darauf an, in welchem Kontext die Verkäufe erfolgten. Angesichts des Alters der abgetragenen Gebäude lag es nahe, diese durch einen Neubau zu ersetzen. Da der Beschwerdeführer keine Kinder hat und seine Wohnbedürfnisse eingeschränkt sind, lag es nahe, nach Realisierung der Überbauung einzelne Wohnungen zu veräussern. Damit konnten zugleich auch die Baukredite zurückbezahlt werden. Nach den Feststellungen der Vorinstanz betrugen seine Privatschulden Ende 2010 Fr. ... und nach dem Verkauf der Wohnungen Ende 2011 noch Fr. .... Zwei Wohnungen wurden zurückbehalten. Auf diese Weise konnte der Beschwerdeführer sein Vermögen sinnvoll anlegen und seine Verschuldungssituation bereinigen. Auch diese Tätigkeit lässt sich noch als Verwaltung und Diversifizierung des eigenen (privaten) Vermögens begreifen und rückt den Beschwerdeführer noch nicht in die Nähe eines Liegenschaftenhändlers.
3.4. Bei Betrachtung dieser Tätigkeit im gesamten Kontext deutet ebenfalls nichts auf einen Liegenschaftenhandel hin. Weitere Käufe oder Verkäufe sind nicht bekannt. Die Besitzesdauer allein ist nicht signifikant, sondern nur in Verbindung mit weiteren Elementen, welche zum Liegenschaftenhandel Bezug haben. Vorliegend befanden sich die einzelnen Landparzellen während 5 bis 16 Jahren im Besitz des Beschwerdeführers, ohne dass eine Handelstätigkeit zu registrieren war. Der Beschwerdeführer erlernte den Beruf eines kaufmännischen Angestellten und ist heute bei einem Gemeindesteueramt angestellt. Diese Tätigkeit hat ebenfalls keinen Bezug zu einer Tätigkeit im Immobilienbereich. Der Beschwerdeführer musste für die Überbauung wohl planmässig vorgehen und war auf die Hilfe von Fachpersonen angewiesen, wie die Vorinstanz ausführt. In dieser Situation befindet sich jedoch grundsätzlich jeder Private, wenn er sich entschlossen hat, ein Haus zu bauen. An dieser Beurteilung ändert nichts, dass der Beschwerdeführer die ihm zustehende baurechtliche Ausnützung vermutlich voll ausschöpfte. Auch einem Privaten muss es erlaubt sein, von seinem Eigentum im Rahmen der Rechtsordnung vollumfänglich Gebrauch zu machen.
3.5. Die vorliegende Konstellation hat gewisse Ähnlichkeiten mit dem in den Urteilen 2C_455/2011 vom 5. April 2012 E. 5.3 und 2C_1156/2012 vom 19. Juli 2013 E 8.2.1 f. (1. und 2. Rechtsgang) entschiedenen Fall: Ein Steuerpflichtiger, dessen berufliche Tätigkeit (Laborant) mit der Immobilienbranche nichts zu tun hat, erwarb im Jahr 1989 eine unbebaute Parzelle, die er im gleichen Jahr mit einem Mehrfamilienhaus mit zehn Einheiten überbauen liess. Noch in der Bauphase verkaufte er zur Finanzierung des Bauvorhabens vier Wohnungen. In der Folge übernahm er eine Wohnung selbst, die restlichen Wohnungen vermietete er. Im Jahr 2003 kaufte er zwei Wohnungen zurück und verkaufte im Jahr 2006 erneut eine Wohnung mit zwei Parkplätzen. Das Bundesgericht bejahte einen Liegenschaftenhandel. Bestimmend war die Zahl der Transaktionen, der Fremdfinanzierungsgrad von 97 %, der praktisch einer ausschliesslichen Fremdfinanzierung gleichkam, sowie der Umstand, dass die restlichen neun Wohnungen nicht ausschliesslich der Dauervermietung dienten, sondern in den Jahren 2003 und 2006 teilweise erneut Gegenstand von Verkäufen und eines Rückkaufs bildeten.
Im vorliegenden Fall bestand ebenfalls ein hoher Fremdfinanzierungsgrad, wie sich bereits aus den im Jahr 2010 um rund zwei Millionen Franken gestiegenen Privatschulden herauslesen lässt. Dabei handelt es sich aber nicht um das einzig ausschlaggebende Element. Entscheidend ist vielmehr, dass der Beschwerdeführer keine unbebaute Liegenschaft in der Absicht erwarb, sie zu überbauen, sondern eine Liegenschaft mit bereits bestehenden Gebäuden. Er fasste denn auch ursprünglich die Renovation ins Auge und nahm Unterhaltsarbeiten vor, was sich aber als Fehlinvestition erwies. Erst danach entschloss er sich, die bestehenden Gebäude durch neue zu ersetzen. Im Übrigen nahm der Verschuldungsgrad wohl zu, doch war der Beschwerdeführer infolge der Bautätigkeit in keinem Zeitpunkt überschuldet. Im Jahre 2010 deklarierte er bereits wieder ein Reinvermögen von rund Fr. .... (Vorjahr rund Fr. ...). Diese Umstände lassen gesamthaft betrachtet nicht auf eine Handelstätigkeit schliessen.
3.6. Die Eidgenössische Steuerverwaltung beruft sich für ihren abweichenden Rechtsstandpunkt insbesondere auf das Urteil 2C_907/2010 vom 16. Mai 2011 (vgl. E. 2.3.4 hiervor). Dieses unterscheidet sich indes in wesentlichen Punkten von dem hier vorliegenden Fall: Zum einen verfügten die damaligen Geschwister, die sich zu Realisierung eines Bauprojekts zu einer einfachen Gesellschaft zusammengeschlossen hatten, bereits als Verwaltungsratspräsidentin bzw. als Verwaltungsrat einer Immobiliengesellschaft über einschlägige Erfahrungen im Immobiliensektor. Zudem handelte es sich - im Unterschied zum vorliegenden Fall - um eine unbebaute Parzelle. Diese war zum Teil ererbt, zu einem grossen Teil wurde sie jedoch im Hinblick auf die Realisierung des Bauprojekts käuflich erworben. Das liess auf eine Gewinnabsicht und auf einen Liegenschaftenhandel schliessen. Auch dieses Urteil erweist sich mithin mit Blick auf die vorliegende Konstellation nicht als einschlägig.
3.7. Die Einschätzung des Beschwerdeführers als (Quasi-) Liegenschaftenhändler lässt sich daher nicht bestätigen. Sie erweist sich nach den von der Rechtsprechung zum Liegenschaftenhandel entwickelten Kriterien als bundesrechtswidrig.
3.8. Die Frage des Einbuchungswerts der Grundstücke im Zeitpunkt der Aufnahme der Tätigkeit als Quasi-Liegenschaftenhändler (Eventualantrag) stellt sich damit nicht (vgl. E. 1.4 hiervor).
4.
Die Beschwerde ist nach dem Gesagten hinsichtlich der direkten Bundessteuer aufzuheben. Die Angelegenheit ist an die kantonalen Verwaltung für die direkte Bundessteuer zurückzuweisen, damit diese eine neue Veranlagung vornimmt (<ref-law>).
5.
Bei diesem Verfahrensausgang trägt der Kanton die bundesgerichtlichen Kosten (Art. 65 und 66 Abs. 4 e contrario BGG). Dieser hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 17. September 2013 aufgehoben und die Sache zu neuer Veranlagung im Sinne der Erwägungen an die Verwaltung für die direkte Bundessteuer des Kantons Schwyz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 3'500.-- werden dem Kanton Schwyz auferlegt.
3.
Der Kanton Schwyz hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'500.-- zu entschädigen.
4.
Über die Kosten und Entschädigung im kantonalen Verfahren hat die Vorinstanz in einem Zusatzentscheid zu diesem Entscheid zu befinden.
5.
Dieses Urteil wird den Parteien, der Verwaltung für die direkte Bundessteuer des Kantons Schwyz, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 25. August 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann