Sachverhalt:
A. Mit Verfügung vom 9. August 2007 verpflichtete die Ausgleichskasse Schwyz W._, einziges Mitglied des Verwaltungsrates der im März 2007 in Konkurs gefallenen Firma X._ AG, zur Bezahlung von Schadenersatz für in den Jahren 2000 bis 2006 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 158'137.65 (einschliesslich Verwaltungskosten, Mahngebühren und Verzugszinsen). Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 23. November 2007 ab.
B. Das Verwaltungsgericht des Kantons Schwyz wies die hiegegen erhobene Beschwerde mit Entscheid vom 17. April 2008 ab.
C. W._ lässt Beschwerde führen mit dem Antrag, der vorinstanzliche Entscheid sowie der Einspracheentscheid seien aufzuheben und es sei die Schadenersatzforderung im Gesamtbetrag von Fr. 142'199.95 abzuweisen; eventuell sei die Sache an das kantonale Gericht zur Neubeurteilung und zur Feststellung des Haftungsumfangs zurückzuweisen. Weiter wird um Gewährung der aufschiebenden Wirkung ersucht.

Erwägungen:
1. 1.1 Die II. sozialrechtliche Abteilung ist zuständig zum Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> sowie Art. 35 lit. a des Reglements für das Bundesgericht vom 20. November 2006 [BGerR]). Nach <ref-law> fallen die kantonalen Sozialversicherungen (insbesondere Familien- und Kinderzulagen) zwar in die Zuständigkeit der I. sozialrechtlichen Abteilung. Es ist indessen aus prozessökonomischen Gründen sinnvoll, dass die II. Abteilung auch über die Schadenersatzpflicht entscheidet, soweit sie entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (Urteil 9C_465/2007 vom 20. Dezember 2007).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer zur Leistung von Schadenersatz einerseits nach <ref-law> für bundesrechtliche Sozialversicherungsbeiträge sowie anderseits nach § 32 des Gesetzes vom 17. April 2002 über die Familienzulagen (FZG/SZ, SRSZ 370.100) für Beiträge an die kantonale Familienausgleichskasse verpflichtet ist, wobei er die Forderung betreffend das Jahr 2006 im Betrag von Fr. 15'937.70 anerkennt. Das kantonale Gericht hat die Voraussetzungen der Haftung nach <ref-law> und die dazu ergangene einschlägige Rechtsprechung zutreffend dargelegt. Darauf wird verwiesen (<ref-law>).
3. 3.1 Das kantonale Gericht hat mit in allen Teilen überzeugender Begründung, auf die verwiesen wird, erwogen, dass der Beschwerdeführer als einziges Mitglied des Verwaltungsrates für den der Ausgleichskasse infolge des Konkurses der Firma entstandenen Schaden in vollem Umfang ersatzpflichtig ist. Was der Beschwerdeführer dagegen vorbringen lässt, ist - soweit nicht bereits vom kantonalen Gericht entkräftet - unbehelflich.
3.2 Aus dem Urteil H 8/07 vom 23. April 2007 kann er aus verschiedenen Gründen nichts zu seinen Gunsten ableiten. Es trifft zwar zu, dass das Bundesgericht in E. 7.1 jenes Urteils, welches in SVR 2007 AHV Nr. 9 S. 25 publiziert ist, den Vorwurf schuldhafter Schadensverursachung zumindest bis zum Eintreffen von AHV-Beitrags- oder Nachtragsverfügungen verneint hat, wenn sich über die beitragsrechtliche Qualifikation der fraglichen Entgelte in guten Treuen streiten lässt. Der Beschwerdeführer übersieht indessen, dass er nicht erst mit Zustellung der Nachtragsverfügungen vom 21. Oktober 2005 an die Firma X._ AG, sondern - wie das kantonale Gericht in für das Bundesgericht verbindlicher Weise (E. 1.2) festgestellt hat - bereits spätestens im Juli 2003 wissen musste, dass seine Rechtsauffassung nicht zutraf. Die Kantonale Steuerverwaltung und Kantonale Verwaltung für die direkte Bundessteuer des Kantons Schwyz teilte ihm mit Veranlagungsverfügung 2001 vom 22. Juli 2003 mit, dass seine Einkünfte aus der Firma X._ AG als unselbstständiges Einkommen bewertet werden. Diese Veranlagung wurde nach den Feststellungen der Vorinstanz nicht gültig angefochten. Wie das kantonale Gericht ebenfalls richtig erwogen hat, konnte sich die Ausgleichskassen bei der Qualifikation der gemeldeten Einkünfte auf die Steuermeldungen verlassen, zumal keine ernsthafte Zweifel an der Richtigkeit der Steuermeldung bestanden (<ref-ruling> E. 2c S. 83, zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil 9C_538/2007 vom 28. April 2008 E. 3.3).
3.3 Steht fest, dass der Beschwerdeführer bereits Ende Juli 2003 um die Qualifikation seiner Tätigkeit als unselbstständig wusste, ist auch seiner weiteren Argumentation der Boden entzogen, ab 21. Oktober 2005 habe die Firma keine Substanz mehr gehabt, um Rückstellungen bilden zu können, wäre er doch verpflichtet gewesen, bereits ab Ende Juli 2003 Mittel für die Eventualverbindlichkeiten bereitzustellen. Dass die Firma fast vier Jahre vor Konkurseröffnung keine Rückstellungen hätte bilden können, bringt der Beschwerdeführer nicht vor. Der Vollständigkeit halber ist zu ergänzen, dass das Bundesgericht im Urteil H 8/07 die vor den Nachtragsverfügungen entstandenen Forderungen nicht etwa aus der Schadenersatzpflicht entliess, wie der Beschwerdeführer offenbar annimmt, sondern das Datum der Nachtragsverfügung als Beginn der Rückstellungspflicht - und zwar für die gesamte Forderung - betrachtete (SVR 2007 AHV Nr. 9 S. 25 E. 7.2).
3.4 Soweit sich der Beschwerdeführer auf den Vertrauensschutz (vgl. dazu <ref-ruling> E. 5 S. 253) beruft, scheitert dies - ergänzend zu der wiederum zutreffenden Begründung des kantonalen Gerichts - bereits am Umstand, dass die Behörde, auf deren Handeln er sich beruft (Steuerbehörde des Kantons Zürich), nicht identisch mit derjenigen ist, die die Veranlagungsverfügung 2001 vom 22. Juli 2003 erlassen hat. Dass die Steuerbehörden des Kantons Schwyz ihn zunächst als Selbstständigerwerbenden und danach als Unselbstständigerwerbenden qualifiziert hätten, was unter Umständen unter dem Gesichtspunkt des Vertrauensschutz beachtlich sein könnte, bringt er nicht vor.
3.5 Die derogatorische Kraft des Bundesrechts (<ref-law>) steht der unterschiedlichen Beurteilung des gleichen Sachverhalts durch zwei Behörden verschiedener Kantone nicht entgegen, regelt doch diese Verfassungsbestimmung vielmehr einen Normenkonflikt zwischen Bundes- und kantonalem Recht (siehe dazu Alexander Ruch, St. Galler Kommentar zur BV, 2. Aufl., Rz. 8 zu Art. 49).
3.6 Besondere Umstände, welche im Sinne der Rechtsprechung zu den Entlastungsgründen (<ref-ruling> E. 2 S. 188, bestätigt in <ref-ruling> E. 4b S. 244; ZAK 1992 S. 248 E. 4b, 1985 S. 577 E. 3a) zur Verneinung der Schadenersatzpflicht führen können, liegen ebenfalls nicht vor. Was der Beschwerdeführer unter diesem Titel vorbringen lässt, wurde bereits an anderer Stelle gewürdigt. Soweit er darauf verweist, dass er nicht vorsätzlich gehandelt habe, übersieht er, dass ihm solches gar nicht vorgeworfen wird. Die Unterlassung von Rückstellungen über mehrere Jahre hinweg ist jedoch als grobe Fahrlässigkeit zu qualifizieren (SVR 2007 AHV Nr. 9 S. 25 E. 7.2).
4. Die offensichtlich unbegründete Beschwerde wird im vereinfachten Verfahren nach <ref-law> erledigt.
5. Mit dem Entscheid in der Hauptsache ist das Gesuch um Erteilung der aufschiebenden Wirkung gegenstandslos.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Juli 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer i.V. Amstutz