Sachverhalt: A. Mit zwei Beitragsverfügungen "Akonto" vom 11. Dezember 2012 qualifizierte die Ausgleichskasse Schwyz S._ als Nichterwerbstätigen und verpflichtete ihn zur Bezahlung von persönlichen Beiträgen von Fr. 10'328.50 für 2011 und Fr. 10'166.20 für 2012, basierend auf seinen Selbstangaben. Die dagegen erhobene Einsprache, mit welcher S._ geltend machte, er sei bis 31. Oktober 2012 erwerbstätig gewesen und deshalb für die Jahre 2011 und 2012 nicht als Nichterwerbstätiger zu erfassen, wies die Ausgleichskasse mit Einspracheentscheid vom 27. Mai 2013 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. August 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt S._, der angefochtene Entscheid, der Einspracheentscheid und die Beitragsverfügungen seien aufzuheben und er sei als Erwerbstätiger zu qualifizieren.