Sachverhalt:
A.
Die X._ AG war seit 2003 im Handelsregister eingetragen und der Ausgleichskasse Schwyz als beitragspflichtige Arbeitgeberin angeschlossen. Als Präsident des Verwaltungsrates amtete D._ sowie als Mitglieder des Verwaltungsrates bis 22. März 2005 S._, bis 9. Februar 2009 E._ und von 10. Juni 2005 bis 11. März 2009 H._. R._ war seit der Gründung der Gesellschaft als Geschäftsführer mit Einzelunterschrift im Handelsregister eingetragen.
Im Jahr 2009 wurde über die Gesellschaft der Konkurs eröffnet und am 24. Februar 2011 der Ausgleichskasse ein Konkursverlustschein über eine ungedeckte Forderung in der Höhe von Fr. 153'797.85 ausgestellt. Mit Verfügung vom 23. September 2011 verpflichtete die Ausgleichskasse R._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 153'797.85. Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 8. Februar 2012 ab.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 24. Mai 2012 ab.
C.
R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 24. Mai 2012 sei aufzuheben und festzustellen, dass er keinen Schadenersatz gemäss der Schadenersatzverfügung vom 23. September 2011 schulde. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Während die Ausgleichskasse Schwyz auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die II. sozialrechtliche Abteilung des Bundesgerichts ist zuständig zum Entscheid über die streitige Schadenersatzpflicht und zwar auch, soweit die Forderung entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (z.B. Urteil 9C_672/2012 vom 3. Juni 2013 E. 2.1 mit Hinweis). Diesbezüglich gilt eine qualifizierte Rügepflicht (<ref-law>; Urteil 9C_684/2012, 9C_688/2012 vom 7. März 2013 E. 1 mit Hinweisen), welcher in der Beschwerde nicht nachgekommen wird. Insoweit ist darauf nicht einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Im angefochtenen Entscheid wurden die Grundlagen der Arbeitgeberhaftung (<ref-law> [in der bis 31. Dezember 2011 gültig gewesenen Fassung]; <ref-law> in Verbindung mit <ref-law>) und die hiezu ergangene Rechtsprechung, insbesondere betreffend die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 126 V 237, 123 V 12 E. 5b S. 15, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> E. 3a S. 444, 123 V 12 E. 5b S. 15, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> E. 2a S. 195 mit Hinweisen), die Voraussetzung des qualifizierten Verschuldens und den dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> E. 3a S. 202, ZAK 1992 S. 248 E. 4b, je mit Hinweisen; vgl. auch THOMAS NUSSBAUMER, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1077) zutreffend dargelegt. Darauf wird verwiesen.
3.
Zunächst ist in prozessualer Hinsicht die Frage der Beiladung allfälliger Mitinteressierter zu prüfen.
3.1. Nach der Rechtsprechung (Urteil H 68/01 vom 23. April 2002, E. 2b, Urteil H 365/01 vom 15. April 2002, E. 3b, Urteil H 134/00 vom 3. November 2000, E. 3d, Urteil H 256/97 vom 30. September 1998, E. 4b) ist das Sozialversicherungsgericht gehalten, andere von der Ausgleichskasse belangte Solidarschuldner beizuladen, und zwar sowohl wenn gegen diese das Verfahren noch hängig ist, als auch wenn deren Haftung bereits rechtskräftig feststeht. Praxisgemäss nicht beizuladen sind demgegenüber Dritte, die auch als Mithaftende in Frage kommen könnten, von der Ausgleichskasse aber nicht belangt worden sind (Urteil H 327/98 vom 30. Juni 2000, E. 3b; ebenso in anderem Zusammenhang auch RKUV 2003 Nr. U 485 S. 257 E. 3, U 307/01). In SZS 2007 S. 152, H 72/06, hat das Bundesgericht entschieden, dass an dieser Praxis festzuhalten ist (Beschluss des Gesamtgerichts des Eidgenössischen Versicherungsgerichts vom 22. August 2006).
3.2. Wie aus der vorinstanzlichen Beschwerde hervorgeht, ist D._ als ehemaliger Verwaltungsratspräsident offenbar verstorben. Aus den Akten geht nicht hervor, dass die Ausgleichskasse gegen die anderen Verwaltungsräte oder I._, die Tochter von D._ und ebenfalls in der Geschäftsführung der Firma involviert (vgl. E. 6.2 hernach), eine Schadenersatzverfügung erlassen hat. Eine Beiladung weiterer Mitinteressierter erübrigt sich deshalb.
4.
Zu prüfen ist, ob der Beschwerdeführer Schadenersatz zu leisten hat, wobei weder die Höhe der Schadenersatzforderung noch die Rechtzeitigkeit der entsprechenden Verfügung bestritten ist.
4.1. Wie die Vorinstanz verbindlich festgestellt hat (vgl. E. 1 hievor) und im Übrigen unbestritten ist, hat die konkursite Gesellschaft Beiträge zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten sowie Verzugszinsen in der Höhe von Fr. 153'797.85 für die Jahre 2008 und 2009 nicht mehr entrichtet. Die nachmals konkursite Gesellschaft ist damit den ihr als Arbeitgeberin obliegenden Beitragszahlungspflichten gemäss <ref-law> in Verbindung mit <ref-law> nur unvollständig nachgekommen und hat damit Vorschriften im Sinne von <ref-law> missachtet. Zu prüfen ist, ob die Vorinstanz dieses Verschulden der Arbeitgeberin dem Beschwerdeführer, seines Zeichens im Handelsregister eingetragener Geschäftsführer mit Einzelzeichnungsberechtigung, zu Recht als grobfahrlässiges Verhalten angerechnet hat. Dies ist als Rechtsfrage frei zu prüfen.
4.2. Der Beschwerdeführer macht hauptsächlich geltend, er unterstehe mangels Organstellung der Schadenersatzpflicht nicht. Es habe ihm die tatsächliche Dispositionsbefugnis hinsichtlich der Bezahlung der AHV/IV/EO-Beiträge gefehlt.
5.
5.1. Nicht jedes einer Firma als solcher anzulastende Verschulden muss auch ein solches ihrer sämtlichen Organe sein. Vielmehr hat man abzuwägen, ob und inwieweit eine Handlung der Firma einem bestimmten Organ im Hinblick auf dessen rechtliche und faktische Stellung innerhalb der Firma zuzurechnen ist. Ob ein Organ schuldhaft gehandelt hat, hängt demnach entscheidend von der Verantwortung und den Kompetenzen ab, die ihm von der juristischen Person übertragen wurden (<ref-ruling> E. 3a; ZAK 1985 S. 620 E. 3b). Bei einfachen Verhältnissen muss vom einzigen Verwaltungsrat einer Aktiengesellschaft, der als solcher die Verwaltung der Gesellschaft als einzige Person in Organstellung zu besorgen hat, in der Regel der Überblick über alle wesentlichen Belange der Firma verlangt werden, und dies selbst dann, wenn er seine Befugnisse weitgehend an einen Geschäftsführer delegiert hat. Er kann mit der Delegation der Geschäftsführung nicht zugleich auch seine Verantwortung als einziges Verwaltungsorgan an den Geschäftsführer delegieren (in AJP 2003 S. 1460 publizierte Zusammenfassung des Urteils L. vom 8. Oktober 2002, H 149/02).
Bei einer Aktiengesellschaft sind alle Mitglieder des Verwaltungsrates unabhängig davon, welche Aufgaben sie tatsächlich erfüllen, Organ im formellen Sinn. Anderen Personen kommt faktische Organstellung zu, wenn sie tatsächlich die Funktion von Organen erfüllen, indem sie diesen vorbehaltene Entscheide treffen oder die eigentliche Geschäftsführung besorgen und so die Willensbildung der Gesellschaft massgebend mitbestimmen (<ref-ruling> E. 4.5 S. 528; <ref-ruling>; vgl. auch <ref-ruling>).
5.2. Im Handelsregister eingetragene Direktoren resp. Geschäftsführer von Aktiengesellschaften mit Einzelzeichnungsberechtigung haben in der Regel ebenfalls formelle Organqualität (SVR 2012 AHV Nr. 4 S. 1, 9C_317/2011 E. 4.1.2 mit weiteren Hinweisen). Dies gilt hier umso mehr, als der Beschwerdeführer - gemäss verbindlicher Feststellung der Vorinstanz (vgl. E. 1.2) - in der X._ AG folgende Aufgaben und Verantwortung innehatte: Führung der ihm unterstellten Mitarbeiter, Organisation der betrieblichen Abläufe, Kostenplanung und Überwachung, Entwicklung, Verkauf, Planung der Produktion, Betrieb und Überwachung der Produktion, Materialwirtschaft und Logistik, Planen und Umsetzen von Investitionen, Beschaffung der notwendigen Betriebsmittel, Erstellen und Einhalten der Qualitätsvorgaben und Erstellen von Kalkulationen und Kalkulationsgrundlage. Dazu kommt, dass der Beschwerdeführer im Organisationsreglement der X._ AG explizit als Exekutivorgan aufgeführt ist. Ausserdem sind, wie die Vorinstanz weiter erwogen hat, unter Ziffer 4.2 des Organisationsreglements die zustimmungsbedürftigen Geschäfte aufgelistet, wobei die Zahlung von Sozialversicherungsbeiträgen nicht darunter fällt. So war es denn auch der Beschwerdeführer, der einen Abzahlungsplan erstellte und der Ausgleichskasse zur Prüfung vorlegte. In Anbetracht dieser Struktur erfüllte der Beschwerdeführer (auch) im Beitragswesen tatsächliche Funktionen und hat - ohne dass es Weiterungen bedurfte - für den diesbezüglich eingetretenen Schaden grundsätzlich einzutreten.
6.
6.1. In einem weiteren Schritt ist zu prüfen, inwieweit dem Beschwerdeführer sein Verhalten zu einem qualifizierten Verschulden gereicht. Er macht im Wesentlichen geltend, er habe keine Entscheidungsbefugnisse hinsichtlich der Zahlungen gehabt. Sämtliche Zahlungen seien durch I._ kontrolliert und autorisiert worden, welche Tochter des Verwaltungsratspräsidenten war und gleichzeitig Geschäftsführerin der Y._ GmbH, Deutschland (Mutterhaus der konkursiten Gesellschaft). Zudem hätten sämtliche Zahlungen vom Verwaltungsrat E._ vorgängig visiert werden müssen.
6.2. Wie die Vorinstanz richtig (vgl. E. 1.2) ausgeführt hat, verfügte der Beschwerdeführer über die Vollmacht für das Internet-Banking der Bank Z._; dass auch E._ Zugang zum Internet-Banking hatte, steht mit dem (Einzel-) Zeichnungsrecht nicht in Verbindung, wie der Vereinbarung vom 22. April 2003 mit der Bank Z._ ausdrücklich zu entnehmen ist. Auch hat die Vorinstanz zutreffend festgehalten, dass beim Schreiben vom 10. September 2007 betreffend Zahlungsgrenze von Fr. 300.- davon auszugehen ist, dass es sich - wie der Wortlaut des Schreibens zeigt - nur um einen Beschaffungsstopp im Sinne einer Grenze für Bestellungen und Beauftragungen handelte und die Zahlung der Sozialversicherungsbeiträge sowie weitere Fixkosten entgegen der Vorbringen des Beschwerdeführers davon nicht erfasst waren, weshalb der Beschwerdeführer daraus nichts zu seinen Gunsten ableiten kann.
Die Behauptung, gegenüber den Verwaltungsräten immer wieder auf die Wichtigkeit und die Dringlichkeit der Begleichung der ausstehenden Beiträge hingewiesen zu haben, welche Pflicht dem Beschwerdeführer als Geschäftsführer oblag, ist in Übereinstimmung mit der Vorinstanz nicht aktenkundig. Von einer Zeugenbefragung (der übrigen Organe und von I._) durfte angesichts deren Eigeninteressen abgesehen werden (Urteil 4A_10/2007 vom 18. April 2007 E. 2.9). Ein Insistieren wäre umso mehr geboten gewesen, als der Beschwerdeführer sich darauf beruft, dass intern I._ darüber befunden habe, welche Zahlungen getätigt und welche zurückgestellt werden. Er durfte deshalb nicht darauf vertrauen, dass mit der budgetierten Kapitaleinlage in der Höhe von rund einer halben Million Franken per Ende April 2009, wie der Beschwerdeführer behauptet, die Zahlungen an die AHV-Ausgleichskasse effektiv erfolgten. Eine feste und konkrete Zusicherung erhalten zu haben, macht der Beschwerdeführer nicht geltend. Im Übrigen bleibt die vorinstanzliche Feststellung unbestritten, dass der Beschwerdeführer geschuldete Beiträge in einer Auflistung als Zahlungsvorschlag nicht aufgeführt hat. Ebenso wenig bringt der Beschwerdeführer vor, E._ je eine von I._ (welche weder als Verwaltungsrat noch als Geschäftsführerin der nachmals konkursiten Gesellschaft im Handelsregister eingetragen war) "aussortierte" Beitragszahlung vorgelegt zu haben. Vielmehr war er gemäss Protokoll der Verwaltungsratssitzung vom 27. Februar 2009 selbst der Meinung, er könne die zur Weiterführung der Firma nötigen Zahlungen unter anderem an BVG und AHV veranlassen. Abgesehen davon kann er sich nicht darauf berufen, die gesetzlich geschuldeten Beiträge nicht entrichtet - mithin das "Gesetz gebrochen" - zu haben, weil der Arbeitgeber über den internen Ablauf bestimmt habe. Auf Grund seiner Position als einzelzeichnungsberechtigter Geschäftsführer mit umfassendem Aufgabenbereich verfügte er über die notwendige Handlungsmöglichkeit. Wollte er davon keinen Gebrauch machen, hätte er seine Stellung aufgeben müssen.
6.3. Zusammenfassend ist somit von einem haftungsbegründenden qualifizierten Verschulden, wie es <ref-law> für die Schadenersatzverpflichtung verlangt, auszugehen. Die Beschwerde ist unbegründet.
7.
Der unterliegende Beschwerdeführer trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. August 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein