Sachverhalt: A. Mit Verfügung vom 9. August 2007 verpflichtete die Ausgleichskasse Schwyz W._, einziges Mitglied des Verwaltungsrates der im März 2007 in Konkurs gefallenen Firma X._ AG, zur Bezahlung von Schadenersatz für in den Jahren 2000 bis 2006 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 158'137.65 (einschliesslich Verwaltungskosten, Mahngebühren und Verzugszinsen). Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 23. November 2007 ab. B. Das Verwaltungsgericht des Kantons Schwyz wies die hiegegen erhobene Beschwerde mit Entscheid vom 17. April 2008 ab. C. W._ lässt Beschwerde führen mit dem Antrag, der vorinstanzliche Entscheid sowie der Einspracheentscheid seien aufzuheben und es sei die Schadenersatzforderung im Gesamtbetrag von Fr. 142'199.95 abzuweisen; eventuell sei die Sache an das kantonale Gericht zur Neubeurteilung und zur Feststellung des Haftungsumfangs zurückzuweisen. Weiter wird um Gewährung der aufschiebenden Wirkung ersucht.