Sachverhalt:
A.
Mit Nachtragsverfügungen vom 11. November 2011 erhob die Ausgleichskasse Schwyz von S._ für die Jahre 1998-2003 Beiträge als Selbstständigerwerbender. Den Verfügungen lagen Steuermeldungen vom 24. Juni und vom 19. Oktober 2011 zu Grunde. Letztere stützte sich auf einen u.a. von S._ mit den Steuerbehörden abgeschlossenen Vergleich vom 21. Dezember 2009. Gegen die Nachtragsverfügungen der Jahre 1998-2000 erhob S._ Einsprache mit dem Hauptantrag, die Beitragsverfügungen seien auf Grund der Verjährung vollständig aufzuheben. Eventualiter beantragte er, die beitragspflichtigen Einkommen seien anhand überprüfbarer Unterlagen anzupassen und die Nachtragsverfügungen der Jahre 1998-2000 entsprechend zu korrigieren. Mit Entscheid vom 29. Oktober 2012 wies die Ausgleichskasse Schwyz die Einsprache mit Bezug auf den Hauptantrag ab und sistierte die Entscheidung über den Eventualantrag bis zur rechtskräftigen Entscheidung über die Verjährungsfrage.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 21. März 2013 ab, soweit darauf einzutreten war.
C.
S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Eventuell sei darüber hinaus festzustellen, dass eine allfällige AHV-Schuld aus den Nachtragsverfügungen 1998-2000 auf Grund der einvernehmlichen Regelung mit den Steuerbehörden vom 21. Dezember 2009 bereits im Jahr 2010 verjährt sei.
Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 138 III 46 E. 1 und 135 III 329 E. 1 S. 331, je mit Hinweisen).
1.1. Zwischen den Parteien ist die Beitragspflicht des Beschwerdeführers als Selbstständigerwerbender auf Grund der Nachtragsverfügungen vom 11. November 2011 für die Jahre 1998-2000 streitig. Der Einspracheentscheid vom 29. Oktober 2012 sowie der nachfolgende kantonale Gerichtsentscheid vom 21. März 2013 beschränken sich auf die Verneinung der vom Beschwerdeführer aufgeworfenen Frage der Verjährung. Ein Entscheid, mit welchem die Verjährungseinrede verneint wird, ist ein selbstständig eröffneter Zwischenentscheid gemäss Art. 93 BGG (Urteil 5A_103/2013 vom 11. März 2013 E. 1.1; Botschaft zur Totalrevision der Bundesrechtspflege vom 28. Februar 2001, BBl 2001 S. 4333; Felix Uhlmann, in: Niggli/Uebersax/Wiprächtiger [Hrsg.], Bundesgerichtsgesetz, 2. Aufl. 2011, N. 4 zu Art. 92 BGG, S. 1235; Bernard Corboz, in: Commentaire de la LTF, Bern 2009, N. 14 zu Art. 93 S. 903).
1.2. Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (Art. 92 BGG), ist die Beschwerde ans Bundesgericht gemäss Art. 93 Abs. 1 BGG zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Rein tatsächliche Nachteile wie die Verfahrensverlängerung oder -verteuerung genügen nicht (BGE 137 III 380 E. 1.2.1 S. 382 mit Hinweisen).
Der Beschwerdeführer muss begründen, weshalb die Voraussetzungen von Art. 93 Abs. 1 BGG erfüllt sein sollen, sofern deren Vorhandensein nicht auf der Hand liegt (BGE 137 III 324 E. 1.1 S. 329; 134 III 426 E. 1.2 S. 429). Mit Bezug auf Art. 93 Abs. 1 lit. b BGG muss der Beschwerdeführer insbesondere dartun, welche Tatfragen offen sind und welche weitläufigen Beweiserhebungen in welchem zeit- oder kostenmässigen Umfang bei einer Weiterführung des Hauptverfahrens erforderlich wären (BGE 134 III 426 E. 1.2 in fine S. 429; 133 IV 288 E. 3.2 S. 292).
1.3. Die Beschwerde enthält keinerlei Ausführungen zur beschränkten Zulässigkeit der Anfechtung von Zwischenentscheiden. Daher entspricht die Beschwerdeschrift den Begründungsanforderungen nach Art. 42 Abs. 2 BGG nicht. Ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG ist nicht ersichtlich, da der Beschwerdeführer die Verjährung mit Beschwerde gegen den Endentscheid thematisieren kann (erwähntes Urteil 5A_103/2013 E. 1.3 und Urteil 4A_51/2008 vom 28. März 2008 E. 1.2 mit Hinweisen). Es ist aber auch nicht ersichtlich, inwiefern dem Beschwerdeführer durch einen unmittelbaren Entscheid des Bundesgerichts ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart würde. Die Ermittlung des in den Jahren 1998-2000 erzielten selbstständigen Erwerbseinkommens dürfte - die Kooperation des Beschwerdeführers vorausgesetzt - nicht mit beträchtlichem Aufwand verbunden sein. Im übrigen liegt dies in der Natur der Sache und im Umstand, dass die Steuerbehörden mit dem Beschwerdeführer (und drei weiteren Beteiligten) eine Vereinbarung abgeschlossen haben, was dieser auch bezüglich der Beitragsfestsetzung zu vertreten hat.
1.4. Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Gemäss Art. 93 Abs. 3 BGG ist der Zwischenentscheid betreffend Verjährung durch Beschwerde gegen den Endentscheid anfechtbar.
2.
Entsprechend dem Ausgang des Verfahrens sind die (reduzierten) Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Juni 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: Meyer
Der Gerichtsschreiber: Nussbaumer