Sachverhalt: A. Die X._ AG war seit 2003 im Handelsregister eingetragen und der Ausgleichskasse Schwyz als beitragspflichtige Arbeitgeberin angeschlossen. Als Präsident des Verwaltungsrates amtete D._ sowie als Mitglieder des Verwaltungsrates bis 22. März 2005 S._, bis 9. Februar 2009 E._ und von 10. Juni 2005 bis 11. März 2009 H._. R._ war seit der Gründung der Gesellschaft als Geschäftsführer mit Einzelunterschrift im Handelsregister eingetragen. Im Jahr 2009 wurde über die Gesellschaft der Konkurs eröffnet und am 24. Februar 2011 der Ausgleichskasse ein Konkursverlustschein über eine ungedeckte Forderung in der Höhe von Fr. 153'797.85 ausgestellt. Mit Verfügung vom 23. September 2011 verpflichtete die Ausgleichskasse R._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 153'797.85. Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 8. Februar 2012 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 24. Mai 2012 ab. C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 24. Mai 2012 sei aufzuheben und festzustellen, dass er keinen Schadenersatz gemäss der Schadenersatzverfügung vom 23. September 2011 schulde. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Während die Ausgleichskasse Schwyz auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.