Sachverhalt:
A.
Mit Beitragsverfügung vom 9. Mai 2012 (Rektifikat) setzte die Ausgleichskasse Schwyz für U._ den AHV/IV/EO-Beitrag für selbstständige Erwerbstätigkeit (inkl. Verwaltungskosten) für das Jahr 2007 auf Fr. 61'626.- fest. Die von U._ hiegegen erhobene Einsprache wies sie mit Entscheid vom 20. August 2012 ab. Gleichzeitig änderte sie die Verfügung von Amtes wegen ab und setzte den zu bezahlenden Betrag auf Fr. 59'766.60 herab.
B.
Mit Entscheid vom 19. Dezember 2012 wies das Verwaltungsgericht des Kantons Schwyz die von U._ eingereichte Beschwerde ab.
C.
U._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der kantonale Entscheid sei aufzuheben; eventualiter sei die Liegenschaft X._ in A._ als Privatvermögen zu bezeichnen und damit von der Beitragspflicht zu befreien; allenfalls sei die Sache an die Vorinstanz (en) zurückzuweisen.
Erwägungen:
1.
1.1. Gemäss Art. 4 Abs. 1 AHVG schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach Art. 9 Abs. 1 AHVG ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Als selbstständiges Einkommen gelten laut Art. 17 AHVV alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Art. 18 Abs. 2 DBG und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Art. 18 Abs. 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Art. 18 Abs. 2 DBG. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von Art. 9 Abs. 1 AHVG und Art. 17 AHVV fällt die blosse Verwaltung des eigenen Vermögens. Der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-) Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (BGE 125 V 383 E. 2a S. 385 mit Hinweisen).
1.2. Nach der Rechtsprechung gehören beim gewerbsmässigen Liegenschaftshandel nicht nur die erzielten Grundstücksgewinne, sondern notwendigerweise auch der während der Besitzdauer anfallende Mietertrag zum Einkommen aus gewerbsmässiger Tätigkeit. Denn es kann nicht allein die Kaufs- und Verkaufstätigkeit als gewerbsmässig, der Ertrag aus dem Liegenschaftsbesitz aber als Ergebnis blosser Vermögensverwaltung betrachtet werden. Dabei ist zu beachten, dass der Grundsatz der parallelen Verabgabung von Vermögensgewinn und Vermögensertrag bei Annahme von Geschäftsvermögen zwingend ist und dem Grundsatz vorgeht, dass der Beitragspflichtige sich entgegenhalten lassen muss, was er steuerrechtlich vorgekehrt hat (Urteil 9C_803/2011 vom 23. August 2012 E. 3.4).
1.3. Art. 17 AHVV führt bei der Umschreibung des Einkommens aus selbstständiger Erwerbstätigkeit zu einer Harmonisierung zwischen dem Beitragsrecht der AHV und dem Steuerrecht. Soweit das AHVG und die AHVV keine abweichende Regelung enthalten, unterliegen grundsätzlich alle steuerbaren Einkünfte aus selbstständiger Erwerbstätigkeit auch der Beitragspflicht. Gemäss Art. 17 AHVV i.V.m. Art. 18 Abs. 2 Satz 3 DBG gelten als Geschäftsvermögen alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen. Der Begriff des Geschäftsvermögens setzt sich steuerrechtlich somit aus zwei Tatbestandsmerkmalen zusammen, einer selbstständigen Erwerbstätigkeit einerseits und dem Umstand, dass der fragliche Vermögensgegenstand dieser tatsächlich dient anderseits. Dass gleich wie im Steuerrecht auch im AHV-Beitragsrecht eine Verbindung zwischen Geschäftsvermögen und selbstständiger Erwerbstätigkeit besteht, erhellt namentlich aus Art. 17 AHVV. Danach unterliegen Überführungsgewinne nach Art. 18 Abs. 2 DBG der Beitragspflicht; diese stellen demzufolge Einkommen aus selbstständiger Erwerbstätigkeit dar (BGE 134 V 250 E. 4.2 S. 254 f.; Urteil 9C_551/2008 vom 16. Januar 2009 E. 2.2).
1.4. Vom Einkommen aus selbstständiger Erwerbstätigkeit werden Beiträge erhoben (Art. 3 f. und 8 f. AHVG). Das Einkommen aus selbstständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital wird von den kantonalen Steuerbehörden ermittelt und den Ausgleichskassen gemeldet (Art. 9 Abs. 3 AHVG). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (Art. 23 Abs. 4 AHVV). Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskasse und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Diese Bindung betrifft also nicht die beitragsrechtliche Qualifikation und beschlägt daher nicht die Fragen, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbstständiger oder unselbstständiger Tätigkeit vorliegt und ob die Person, die das Einkommen bezogen hat, beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung aufgrund des Rechts der Alters- und Hinterlassenenversicherung zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (BGE 121 V 80 E. 2c S. 82 f.). Das gilt namentlich auch für die Qualifikation eines Vermögensbestandteils als Privat- oder Geschäftsvermögen, zumal diese Unterscheidung steuerrechtlich häufig ohne Belang ist, da steuerrechtlich der Ertrag sowohl aus Privat- als auch aus Geschäftsvermögen steuerbar ist. Die Steuermeldung ist daher mit Bezug auf den Vermögensertrag keine zuverlässige Grundlage für die AHV-Beitragsfestsetzung, weshalb die Qualifikation als beitragsfreier Kapitalertrag auf Privatvermögen oder beitragspflichtiges Einkommen aus Geschäftsvermögen im Beitragsfestsetzungsverfahren erfolgen muss. In Bezug auf den Vermögensgewinn ist demgegenüber auch steuerrechtlich die Unterscheidung von Geschäfts- und Privatvermögen von Bedeutung, weshalb sich die AHV-Behörden in der Regel auf die Steuermeldung verlassen können und eigene nähere Abklärungen nur dann vornehmen müssen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (BGE 134 V 250 E. 3.3 S. 253 f. mit Hinweisen).
2.
2.1. Der Beschwerdeführer stellt sich auf den Standpunkt, alleine die Einräumung eines entgeltlichen Nutzungsrechts an gesamthaft 37 Tiefgaragenplätzen auf der Parzelle Y._ in B._ zu Gunsten der Bauunternehmung Q._ AG könne keine Besteuerung wegen gewerbsmässigem Liegenschaftenhandel auslösen. Die Liegenschaft Y._ sei keinesfalls als Geschäftsvermögen des gewerbsmässigen Liegenschaftshandels zu qualifizieren. Dies gelte im Weiteren auch für die Liegenschaft X._ in A._.
2.2. Die Vorinstanz stellte für das Bundesgericht in verbindlicher Weise (Art. 105 Abs. 1 BGG) fest, dass der Beschwerdeführer bis 1993 einen Landwirtschaftsbetrieb führte. Die ursprüngliche landwirtschaftliche Liegenschaft wurde dann in zwei Teile unterteilt. Ein Teil der Parzelle ist an einer starken Hanglage gelegen und wurde an die Bauunternehmung Q._ AG veräussert, welche dort Terrassenhäuser erstellte. Auf dem flachen Teil realisierte der Beschwerdeführer 1994 eine Überbauung mit fünf Mehrfamilienhäusern und einer Autoeinstellhalle. Kurz nach Baubeginn Mitte 1992 stellte er anfangs 1993 seinen Landwirtschaftsbetrieb ein. Der auf der Landwirtschaftsparzelle bestehende Stall wurde abgerissen. Mit Dienstbarkeitsvertrag vom 23. Dezember 1994 räumte der Beschwerdeführer der Q._ AG ein entgeltliches Benützungsrecht an gesamthaft 37 Tiefgaragenplätzen auf seiner Liegenschaft ein. Die Einräumung dieses Benützungsrechts begründete er damit, dass die Q._ AG aufgrund der Steilheit ihrer Parzelle keine eigenen Parkplätze, geschweige denn eine Einstellhalle planen konnte. Der Gewinn aus der Einräumung dieses entgeltlichen Benützungsrechts wurde dem Beschwerdeführer in der Veranlagungsverfügung 1995/1996 als Einkommen aus gewerbsmässigem Liegenschaftshandel aufgerechnet. Gleichzeitig erklärte die kantonale Steuerverwaltung sämtliche Liegenschaften der Familie U._ (mit Ausnahme der selbst bewohnten Liegenschaft) zu Geschäftsvermögen. Dies betraf auch die Liegenschaft X._ in A._, wie aus der Begründung der Veranlagungsverfügung 1995/1996 (vom 22. Mai 2000) hervorgeht. Der Beschwerdeführer bestätigte dies in seinem Schreiben vom 1. Juni 2012 an die Beschwerdegegnerin.
2.3. Entgegen der Darstellungen der Beschwerde hat keineswegs einzig die Einräumung des entgeltlichen Benützungsrechts an den 37 Tiefgaragenplätzen zur Qualifikation als gewerbsmässiger Liegenschaftshandel geführt. Anlass dazu war vielmehr, dass der Beschwerdeführer seinen Landwirtschaftserwerb aufgab und eine unternehmerische Tätigkeit mit Abparzellierung, Verkauf, Erschliessung, Erstellung und Betrieb seiner Liegenschaften aufnahm, die weit über die Verwaltung eigenen Vermögens hinausgeht. Dieser Ausgangssachverhalt ist entscheidend und prägend für die folgende Zeit, weil sich daran effektiv nichts geändert hat. Wie die kantonale Steuerkommission im Einspracheentscheid vom 24. November 2011 zu Recht darlegte, erfüllte die Abparzellierung und Erschliessung der Liegenschaft als solche den Tatbestand des gewerbsmässigen Liegenschaftenhandels zwar grundsätzlich noch nicht. Anders zu beurteilen war hingegen die anschliessende Erstellung der Mehrfamilienhäuser mit Tiefgarage. Ein solch planmässiges und auf Wertvermehrung ausgerichtetes Vorgehen stellte eine Tätigkeit dar, welche in ihrer Gesamtheit auf Erwerb gerichtet war und den Rahmen privater Vermögensverwaltung offenkundig sprengte. Der Umstand, dass der Beschwerdeführer nicht in Ausübung seines Berufes an den Bauprojekten beteiligt war, schliesst eine gewerbsmässige Tätigkeit nicht aus. Vielmehr ist der Beizug von fachkundigen Personen, deren Wissen als Hilfspersonen wiederum dem Beschwerdeführer zuzurechnen ist, zusammen mit den anderen Indizien bei der Gesamtbeurteilung zu berücksichtigen (BGE 2A.74/2003 vom 8. September 2004 E. 3.4). Dass er zur Realisierung der Überbauung nur wenig Fremdkapital aufnahm, ist im Rahmen der Gesamtbeurteilung nicht erheblich (BGE 2A.433/2004 vom 13. April 2005). Eine lange Besitzdauer oder der Umstand, dass seit längerer Zeit keine Grundstückgeschäfte getätigt worden sind, standen für sich allein betrachtet der Annahme einer selbstständigen, auf Erwerb gerichteten Tätigkeit nicht entgegen. Gerade im Liegenschaftenhandel kommt es häufig vor, dass Grundstücke aus ganz verschiedenen Gründen über viele Jahre hinaus behalten werden.
2.4. Da durch blossen Zeitablauf die fraglichen Liegenschaften nicht in das Privatvermögen übergehen konnten (BGE 125 II 113 E. 6c/bb S. 126), weisen nach wie vor alle Umstände darauf hin, dass die Liegenschaften Y._ in B._ und X._ in A._ Geschäftsvermögen geblieben sind. Die Behandlung als Privatvermögen in den Jahren 2002-2006 war ein offensichtliches Versehen der Steuerverwaltung. Dies begründet keine Vertrauensposition in dem Sinn, dass sich eine steuerpflichtige Person auch in den Folgejahren auf die gleiche steuerrechtliche Behandlung berufen könnte. Vielmehr ist der Steuertatbestand grundsätzlich von Mal zu Mal neu und umfassend zu prüfen (Urteil 2C_458/2011 vom 2. April 2012 E. 4.3). Meldete darum die kantonale Steuerverwaltung ein Einkommen des Beschwerdeführers aus gewerbsmässigem Liegenschaftenhandel, war die Beschwerdegegnerin berechtigt, diesen mit Beitragsverfügung vom 9. Mai 2012 für das Jahr 2007 zur Bezahlung von Fr. 59'766.60 (gemäss Einspracheentscheid vom 20. August 2012) zu verpflichten.
3.
Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Januar 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Schmutz