Sachverhalt:
A.
Mit zwei Beitragsverfügungen "Akonto" vom 11. Dezember 2012 qualifizierte die Ausgleichskasse Schwyz S._ als Nichterwerbstätigen und verpflichtete ihn zur Bezahlung von persönlichen Beiträgen von Fr. 10'328.50 für 2011 und Fr. 10'166.20 für 2012, basierend auf seinen Selbstangaben. Die dagegen erhobene Einsprache, mit welcher S._ geltend machte, er sei bis 31. Oktober 2012 erwerbstätig gewesen und deshalb für die Jahre 2011 und 2012 nicht als Nichterwerbstätiger zu erfassen, wies die Ausgleichskasse mit Einspracheentscheid vom 27. Mai 2013 ab.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. August 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt S._, der angefochtene Entscheid, der Einspracheentscheid und die Beitragsverfügungen seien aufzuheben und er sei als Erwerbstätiger zu qualifizieren.

Erwägungen:
1.
Bei akonto erhobenen Beiträgen handelt es sich um provisorisch festgesetzte Beiträge. Auch einer erst auf provisorischer Grundlage erfolgten Beitragsfestsetzung kommt indes Verfügungscharakter zu, weshalb der Beitragspflichtige Beschwerde führen muss, wenn er den Eintritt der Rechtskraft verhindern will (<ref-ruling> E. 2b S. 73; Urteil H 61/06 vom 25. Mai 2007). Die Vorinstanz ist deshalb zu Recht auf die Beschwerde eingetreten.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>).
3.
Streitig ist, ob der Beschwerdeführer für 2011 und 2012 ahv-rechtlich als Nichterwerbstätiger beitragspflichtig ist. Dabei handelt es sich um eine Rechtsfrage, die das Bundesgericht frei überprüft (Urteil 9C_ 256/2012 vom 24. Januar 2013 E. 2, nicht publiziert in <ref-ruling>, aber in SVR 2013 AHV Nr. 9 S. 33).
3.1. Die Vorinstanz hat die Bestimmungen und Grundsätze über die versicherten Personen in der AHV (Art. 1a Abs. 1 lit. a und b AHVG), Beginn und Ende der Beitragspflicht (<ref-law>) sowie über die Beitragspflicht der Nichterwerbstätigen entsprechend der sozialen Verhältnisse zutreffend wiedergegeben (Art. 10 Abs. 1 und 3 AHVG in Verbindung mit <ref-law>). Darauf wird verwiesen.
3.2. Zu wiederholen ist, dass nach <ref-law> in Verbindung mit <ref-law> Personen, die nicht dauernd voll erwerbstätig sind, die Beiträge wie Nichterwerbstätige leisten, wenn ihre Beiträge vom Erwerbseinkommen zusammen mit denen ihres Arbeitgebers in einem Kalenderjahr nicht mindestens der Hälfte des Beitrages nach <ref-law> (Bemessungsgrundlage gemäss Abs. 1: Vermögen bzw. mit 20 multipliziertes jährliches Renteneinkommen) entsprechen. Ihre Beiträge vom Erwerbseinkommen müssen auf jeden Fall den Mindestbeitrag nach <ref-law> erreichen. Dabei handelt es sich bei <ref-law> nur um eine Konkretisierung der in <ref-law> vorgezeichneten Schwergewichtsmethode zur Abgrenzung von Erwerbs- und Nichterwerbstätigen (vgl. auch Hanspeter Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl. 1996, S. 216 Rz. 10.1).
4.
4.1. Das kantonale Gericht erwog, der Beschwerdeführer bestreite seine Qualifikation als Nichterwerbstätiger nunmehr nicht mehr auf Grund der Frühpensionierung, einer mehr als 9 Monate dauernden Erwerbstätigkeit in den Jahren 2011 und 2012 oder der über dem Mindestbeitrag liegenden einbezahlten AHV-Beiträge, sondern mache neu geltend, gemäss <ref-law> würden Versicherungsleistungen bei Unfall nicht zum Erwerbseinkommen gehören. Dem könne indes nicht gefolgt werden. Unfalltaggelder gehörten auf Grund der Systematik von <ref-law> gerade nicht zum Erwerbseinkommen, sondern würden vielmehr als Renteneinkommen qualifiziert, wobei der Begriff des Renteneinkommens im weitesten Sinn zu verstehen sei. Entscheidend sei nicht, ob die Leistungen mehr oder weniger die Merkmale einer Rente aufweisen, sondern vielmehr, ob sie zum Unterhalt der versicherten Person beitragen, d.h. ob es sich um Einkommensbestandteile handelt, welche die sozialen Verhältnisse der nichterwerbstätigen Person beeinflussen. Die Ausgleichskasse habe die ausgerichteten Unfalltaggelder zutreffend als Renteneinkommen qualifiziert. Die von ihr vorgenommene Vergleichsrechnung (für 2011 ein zu entrichtender Nichterwerbstätigen-Beitrag von Fr. 9'836.50 gegenüber Arbeitnehmerbeiträgen von Fr. 915.36 aus tatsächlich erzieltem Einkommen; für 2012 Fr. 9'682.- gegenüber Fr. 979.28) sei korrekt und ergebe, dass der Versicherte in den fraglichen beiden Jahren "nicht dauernd voll erwerbstätig" gewesen sei und damit als Nichterwerbstätiger gelte.
4.2. Der Beschwerdeführer macht erneut einzig geltend, eine systematische Auslegung von <ref-law> hätte eine Qualifikation als Erwerbstätiger zur Folge und rügt eine Verletzung der Begründungspflicht als Verletzung des rechtlichen Gehörs.
4.3. Diese Vorbringen sind nicht stichhaltig. Zunächst hat sich das kantonale Gericht mit dem beschwerdeführerischen Einwand der Gesetzessystematik in Bezug auf <ref-law> befasst, von einer Verletzung des rechtlichen Gehörs im Sinne der Verletzung der Begründungspflicht kann keine Rede sein.
Ebenfalls unbehelflich ist der Einwand, die Versicherungsleistungen bei Unfall seien in Art. 6 Abs. 1 und Abs. 2 lit. b AHVV ausdrücklich unter dem Abschnitt "A. Die Beiträge der erwerbstätigen Versicherten" geregelt, weshalb auf Grund systematischer Auslegung des Gesetzes zu schliessen sei, dass Bezüger von Unfalltaggeld als Erwerbstätige zu qualifizieren seien. Zwar trifft es zu, dass <ref-law>, der in Abs. 2 lit. b die Versicherungsleistungen aufführt, unter dem Titel "A. Die Beiträge der erwerbstätigen Versicherten" figuriert. Es ist indes offensichtlich, dass Abs. 2, unter welchen in lit. b auch die Versicherungsleistungen bei Unfall fallen, gerade die Ausnahmen vom Begriff des Erwerbseinkommens statuiert, mithin dort aufgeführt wird, was gerade nicht zum Erwerbseinkommen zählt. Ein Erwerbstätiger im ahv-rechtlichen Sinn definiert sich allein durch das Vorliegen eines Erwerbseinkommens. Fehlt ein solches, ist der Versicherte nicht als Erwerbstätiger zu qualifizieren. Es ist deshalb nicht einzusehen, inwiefern eine systematische Auslegung zu einem anderen Schluss führen könnte.
5.
Die im Sinne von <ref-law> offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
6.
Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'600.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. April 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein