Sachverhalt:
A. Im Januar 2004 wurde über die Firma X._ AG mit Sitz in Y._ der Konkurs eröffnet. Im September 2005 wurde das Konkursverfahren mangels Aktiven eingestellt. W._ amtete ab November 2002 bis zur Konkurseröffnung im Januar 2004 als einzelzeichnungsberechtigter Verwaltungsrat der Gesellschaft.
Mit Schadenersatzverfügung vom 19. Oktober 2005 verpflichtete die Ausgleichskasse des Kantons Zug W._ als ehemaligen Verwaltungsrat der konkursiten Firma X._ AG, ihr für entgangene Sozialversicherungsbeiträge Schadenersatz im Betrage von Fr. 30'817.15 zu bezahlen. Eine gleichlautende Verfügung ging an B._ als ehemaligen Direktor der Firma.
Die von W._ und B._ hiegegen erhobenen Einsprachen wies die Ausgleichskasse mit Entscheid vom 7. Februar 2006 ab.
B. Die von W._ gegen den Entscheid eingereichte Beschwerde mit dem Antrag auf Aufhebung der Schadenersatzverfügung wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 19. Juli 2007 ab.
C. W._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellt das Rechtsbegehren, der kantonale Entscheid und der Einspracheentscheid seien aufzuheben.

Erwägungen:
1. Die II. sozialrechtliche Abteilung ist zuständig zum Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> sowie Art. 35 lit. a des Reglements für das Bundesgericht vom 20. November 2006 [BGerR]). Nach <ref-law> fällt die kantonale Sozialversicherung (insbesondere Familien- und Kinderzulagen) zwar in die Zuständigkeit der I. sozialrechtlichen Abteilung. Es ist indessen aus prozessökonomischen Gründen sinnvoll, dass die II. Abteilung auch über die Schadenersatzpflicht entscheidet, soweit sie entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (Urteil 9C_465/2007 vom 20. Dezember 2007).
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
3. Streitig und zu prüfen ist, ob der Beschwerdeführer zur Leistung von Schadenersatz einerseits nach <ref-law> für bundesrechtliche Sozialversicherungsbeiträge sowie anderseits für Beiträge an die kantonale Familienausgleichskasse nach dem Gesetz vom 16. Dezember 1982 über die Kinderzulagen (KZG/ZG, BGS 844.4) verpflichtet ist. Im angefochtenen Entscheid werden die zur Beurteilung dieser Streitfragen einschlägigen Rechtsgrundlagen zutreffend dargelegt. Darauf wird verwiesen.
4. 4.1 Das kantonale Gericht hat für das Bundesgericht verbindlich festgestellt (E. 2), dass die konkursite Firma im - vom Beschwerdeführer zu verantwortenden - Zeitraum bis 2003 Lohnzahlungen geleistet und die darauf anfallenden Sozialversicherungsbeiträge im Jahre 2001 zu einem kleinen Teil, im Jahr 2002 mehrheitlich und im Jahr 2003 gänzlich unbezahlt gelassen hat, wofür sie wiederholt gemahnt und betrieben wurde. Damit ist sie den ihr als Arbeitgeberin obliegenden Beitragszahlungs- und Abrechnungspflichten nur unvollständig nachgekommen und hat Vorschriften im Sinne von <ref-law> grobfahrlässig missachtet. Sodann hat das kantonale Gericht ausführlich und zutreffend dargelegt, weshalb dieses zum Beitragsverlust führende qualifiziert schuldhafte Verhalten dem Beschwerdeführer als einzigem Verwaltungsratsmitglied mit Blick auf seine unübertragbaren Aufgaben der Überwachung und finanziellen Oberaufsicht über die Gesellschaft anzurechnen ist.
4.2 Dem Beschwerdeführer ist angesichts seiner Passivität und der langen Dauer der Zahlungsausstände grobfahrlässiges Verhalten vorzuwerfen. Ein Mitverschulden der Ausgleichskasse, das zu einer Herabsetzung der Schadenersatzpflicht führen würde (<ref-ruling>; SVR 2000 AHV Nr. 16 S. 49 E. 7a, H 279/97), wird zu Recht nicht geltend gemacht.
5. 5.1 Der Beschwerdeführer beanstandet, dass das Verwaltungsgericht die von ihm genannten Zeugen nicht befragt hat, und erblickt darin eine Verletzung seines Anspruches auf rechtliches Gehör (<ref-law>).
Dieser Auffassung kann nicht beigepflichtet werden. Denn das kantonale Gericht führte dazu aus, dass die angerufenen Zeugen, selbst wenn sie bestätigen könnten, dass der Beschwerdeführer alles von ihm Forderbare unternommen habe, sich aber gegen B._ nicht habe durchsetzen können, nichts zur Entlastung des Beschwerdeführers beitragen könnten, weil nach der Rechtsprechung ein Organ nicht wegen der Vorherrschaft eines anderen von der Haftung entbunden werde, auch wenn es unmöglich erscheine, sich gegen das vorherrschende Organ durchzusetzen (Urteil H 107/01 vom 23. Juli 2002 E. 4.3). Dass es aus diesem Grunde in antizipierter Beweiswürdigung von der Einvernahme der genannten Zeugen abgesehen hat, lässt sich nicht beanstanden.
5.2 Der Beschwerdeführer bringt sodann vor, der Ausgang des von ihm gegen B._ eingeleiteten Strafverfahrens sei in die Beurteilung einzubeziehen, unterlässt es aber - trotz dem Hinweis der Vorinstanz - auch im letztinstanzlichen Verfahren, darzutun, in wiefern ihn B._ durch sein behaupteterweise strafbares Verhalten an der Ausübung seiner Pflichten als Verwaltungsrat gehindert haben soll. Dass ein strafrechtliches Erkenntnis im Übrigen für das Sozialversicherungsgericht nicht verbindlich wäre (<ref-ruling> E. 5a S. 177 mit Hinweisen), aber unter Umständen einen Revisionsgrund im Sinne von <ref-law> darstellen könnte (vgl. ZAK 1991 S. 364 E. 3b in fine) und eine Verfahrenssistierung sich aus diesen Gründen erübrigt (vgl. auch Urteil H 156/04 vom 21. Februar 2005, E. 3), wurde bereits im angefochtenen Entscheid zutreffend dargelegt.
5.3 Soweit der Beschwerdeführer schliesslich geltend macht, ein Teil der Beitragsforderung sei angesichts der fünfjährigen Frist verjährt und damit sinngemäss auf <ref-law> Bezug nimmt, übersieht er, dass ihm gegenüber nicht eine Beitragsforderung (<ref-law> in Verbindung mit <ref-law>), sondern eine damit nicht identische Schadenersatzforderung nach <ref-law> geltend gemacht wird (vgl. <ref-ruling> E. 4c S. 449 mit Hinweisen), welche - der Beitragsforderung zeitlich nachgeordnet - erst mit dem Eintritt des Schadens zufolge Verwirkung der Beiträge (<ref-law>) oder Zahlungsunfähigkeit des Arbeitgebers entsteht (<ref-ruling> E. 5b S. 15 f., 168 E. 2a S. 169 f.).
Es steht fest und ist unbestritten, dass der Schaden mit der Einstellung des Konkursverfahrens mangels Aktiven (September 2005) eingetreten ist und die Ausgleichskasse in diesem Zeitpunkt auch Kenntnis vom Schaden erhalten hat (vgl. <ref-ruling> E. 3c S. 445). Nach den anwendbaren Verjährungsregeln des <ref-law>, gemäss welcher Bestimmung der Schadenersatzanspruch zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, jedenfalls aber fünf Jahre nach Eintritt des Schadens verjährt, ist die Schadenersatzforderung mit der Verfügung vom 19. Oktober 2005 rechtzeitig geltend gemacht worden.
6. In masslicher Hinsicht ist die Schadenersatzforderung unbestritten. Namentlich macht der Beschwerdeführer nicht geltend, die Forderung sei hinsichtlich der entgangenen Beiträge an die Kantonale Familienausgleichskasse (FAK-Beiträge) zu reduzieren, weil § 28 KZG - wie das Bundesgericht zwischenzeitlich in BGE 9C_704/2007 vom 17. März 2008 entschieden hat - keine genügende gesetzliche Grundlage für die Erhebung von Schadenersatz darstelle.
Obwohl das Bundesgericht die Verletzung des Legalitätsprinzips, welches im Abgaberecht als selbstständiges verfassungsmässiges Recht betrachtet wird, grundsätzlich nicht von Amtes wegen, sondern nur auf entsprechende Rüge hin beurteilen kann, rechtfertigt es sich vorliegend - analog zu dem vom Bundesgericht am 11. April 2008 beurteilten Fall 9C_722/2007 - den Schadenersatzbetrag hinsichtlich der entgangenen FAK-Beiträge zu reduzieren. Denn wie im damaligen Fall konnte das Urteil BGE 9C_704/2007 vom 17. März 2008 der Vorinstanz, die ihren Entscheid bereits früher fällte (19. Juli 2007), nicht bekannt sein und hätte diese bei Kenntnis des bundesgerichtlichen Urteils die Beschwerde insoweit gutgeheissen. Bei dieser Sachlage erschiene es stossend, den Beschwerdeführer einzig wegen der Zufälligkeit der zeitlichen Abläufe zu einer Schadenersatzpflicht für die entgangenen FAK-Beiträge zu verurteilen. Aus diesem Grunde ist die Beschwerde hinsichtlich der FAK-Beiträge begründet und der Schadenersatzbetrag entsprechend um den prozentualen Anteil der FAK-Beiträge an den um die geleisteten Zahlungen verminderten ausstehenden Zahlungen (Fr. 3'116.65) zu reduzieren.
7. Die Verfahrenskosten sind nach dem Ausmass des Obsiegens und Unterliegens aufzuteilen (<ref-law>). Der nicht anwaltlich vertretene Beschwerdeführer hat keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug vom 19. Juli 2007 und der Einspracheentscheid der Ausgleichskasse Zug vom 7. Februar 2006 werden insoweit abgeändert, als der Beschwerdeführer verpflichtet wird, der Beschwerdegegnerin Schadenersatz im Betrag von Fr. 27'700.50 zu bezahlen. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 3000.- werden dem Beschwerdeführer Fr. 2700.- und der Beschwerdegegnerin Fr. 300.- auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Juni 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann