Citation: 9C_646/2012 E. C

R.________ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 24. Mai 2012 sei aufzuheben und festzustellen, dass er keinen Schadenersatz gemäss der Schadenersatzverfügung vom 23. September 2011 schulde. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Während die Ausgleichskasse Schwyz auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.