Sachverhalt:
A. M._ war im Handelsregister als einzelzeichnungsberechtigter Direktor der Firma B._ AG eingetragen, welche zusammen mit zahlreichen weiteren Gesellschaften im In- und Ausland die X._ Firmengruppe bildete. Bei deren Holdinggesellschaft, der Firma C._ AG (vormals Firma N._ AG), war er als Chief Financial Officer (CFO) und Chief Operating Officer (COO) angestellt und im Handelsregister als Direktor mit Kollektivunterschrift zu zweien eingetragen (in verschiedenen weiteren Gesellschaften der Gruppe fungierte er gemäss deren Organigramm als Direktor, Vorstandsmitglied, Vice President, Verwaltungsrat). Einziges Mitglied des Verwaltungsrates der Firma B._ AG und Verwaltungsratspräsident der Firma C._ AG (jeweils "mit Einzelunterschrift") war Z._. Am .... Januar 2003 wurde über die Firma B._ AG der Konkurs eröffnet (Einstellung mangels Aktiven am .... Februar 2003). Darin kam die Ausgleichskasse Zug, welcher die Konkursitin als beitragspflichtige Arbeitgeberin angeschlossen gewesen war, mit paritätischen Sozialversicherungsbeiträgen zu Verlust. Mit Verfügung vom 17. Juni 2003 und Einspracheentscheid vom 2. September 2004 verpflichtete die Ausgleichskasse u.a. M._ zur Bezahlung von Schadenersatz in der Höhe von Fr. 120'382.10 für entgangene bundes- und kantonalrechtliche Beiträge (samt dazugehörigen Folgekosten).
B. Das Verwaltungsgericht des Kantons Zug hiess die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 15. März 2007 teilweise gut und reduzierte den Schadenersatzbetrag auf Fr. 30'354.55.
C. M._ lässt Beschwerde ans Bundesgericht führen mit dem sinngemässen Antrag, er sei von jeglicher Schadenersatzpflicht zu befreien; eventuell sei die Sache "zur ergänzenden Abklärung des Sachverhalts und zur Neubeurteilung" an das kantonale Gericht zurückzuweisen.
Während Ausgleichskasse und Vorinstanz auf Abweisung der Beschwerde schliessen, haben sich das Bundesamt für Sozialversicherungen sowie der als Mitinteressierter beigeladene Z._ hiezu nicht vernehmen lassen.
D. Mit Verfügungen vom 11. Juni und 5. Juli 2007 erteilte der Instruktionsrichter der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (Art. 107 Abs. 1 BGG).
2. In rechtlicher Hinsicht hat die Vorinstanz im angefochtenen Entscheid die zur subsidiären Haftung der Organe eines Arbeitgebers nach Art. 52 AHVG und der dazu ergangenen Rechtsprechung erforderlichen Voraussetzungen (Organstellung, Schaden, Widerrechtlichkeit, zweistufiges Verschulden, Kausalität, Nichtverwirkung/Nichtverjährung), soweit hier relevant, richtig wiedergegeben. Darauf wird verwiesen.
3. 3.1 Überdies hat das kantonale Gericht in tatsächlicher Hinsicht - wobei es die in E. 1 hievor angeführte grundsätzliche Verbindlichkeit der vorinstanzlichen Sachverhaltsfeststellung für das Bundesgericht zu berücksichtigen gilt - zutreffend erkannt, dass die nachmals konkursite Arbeitgeberfirma der ihr obliegenden Beitragsablieferungspflicht (Art. 14 Abs. 1 AHVG) während längerer Zeit in widerrechtlicher und schuldhafter Weise nicht nachgekommen ist, was sich (u.a.) der Beschwerdeführer als einzelzeichnungsberechtigter Direktor unter den gegebenen Umständen anrechnen lassen muss (wenigstens was die bundesrechtlichen Beitragsausstände anbelangt: vgl. E. 4 hienach). Auch diesbezüglich kann weitestgehend auf den einlässlichen kantonalen Entscheid verwiesen werden.
3.2 Sämtliche in der Beschwerde ans Bundesgericht vorgebrachten Einwendungen vermögen an dieser Betrachtungsweise nichts zu ändern:
3.2.1 Soweit der Beschwerdeführer nunmehr geltend macht, seine Eintragung im Handelsregister sei nur "pro forma" erfolgt, um ihm gegen aussen einen "Auftritt als Direktor (u.a. der Firma B._ AG) zu ermöglichen", während die ihm übertragenen Aufgaben tatsächlich "primär administrativer Art" gewesen seien, das Rechnungs- und Abgabewesen für die Tochtergesellschaft nicht umfasst hätten und er "nur für die Holding (Firma C._ AG) gearbeitet" habe, widerspricht dies seinen eigenen Ausführungen im Rahmen der vorinstanzlichen Parteibefragung vom 22. März 2006. Damals hatte er angegeben, "die ganze Unternehmensgruppe (welche von ihm strukturiert worden sei, für die er die Administration der einzelnen Gesellschaften aufgebaut sowie die Buchhaltung und das Berichtswesen in Ordnung gebracht habe) wurde wie ein Unternehmen geführt": Sämtliche Tochtergesellschaften seien "operativ gleich von der Holding aus geführt" worden. Für die Lohnzahlungen und das Beitragswesen (wie überhaupt für den gesamten Finanzbereich der Gruppe) sei die ihm als Finanzchef unterstellte Finanzabteilung der Holding zuständig gewesen, welche die Lohnabrechnungen für alle Gruppengesellschaften erstellt habe. Mit Blick auf diese Angaben, welche durch die vorinstanzliche Zeugenbefragung des früheren, dem Beschwerdeführer unterstellten Buchhalters vom 22. März 2006 gestützt werden, hat das kantonale Gericht die Organstellung des hier Belangten zu Recht bejaht. Dabei mag offen bleiben, ob dem Beschwerdeführer als einzelzeichnungsberechtigtem Direktor der nachmals konkursiten Tochtergesellschaft formelle Organqualität zukam, wovon die Rechtsprechung in der Regel ausgeht (SVR 2005 AHV Nr. 7 S. 24 E. 5.3.1; Urteile H 107/01 und H 215/99 des Eidgenössischen Versicherungsgerichts vom 23. Juli 2002 [E. 4.2] bzw. 29. Februar 2000 [E. 4b]). So - formelle Organqualität - oder anders - materielle Organstellung - erfüllte der Beschwerdeführer als Finanzchef der Unternehmensgruppe nach der hievor dargelegten Organisationsstruktur im Beitragswesen jedenfalls tatsächlich Funktionen, wie sie den Gesellschaftsorganen der Firma B._ AG vorbehalten gewesen wären.
3.2.2 Ebenfalls nicht zu beanstanden ist die vorinstanzliche Beschränkung der Haftung auf Beiträge, welche bis zum 4. Juli 2002 fällig geworden waren. Mit Schreiben von diesem Datum hatte nämlich der Beschwerdeführer die Kündigung seines Arbeitsverhältnisses mit der Holdinggesellschaft und gleichzeitig den Rücktritt von allen "Positionen (Verwaltungsrats- und Direktionsposten in verschiedenen Gruppengesellschaften)" erklärt und damit - entgegen der Auffassung der Ausgleichskasse in der letztinstanzlichen Vernehmlassung - das von der Rechtsprechung für ein Entfallen der subsidiären Haftbarkeit vorausgesetzte Erfordernis des unzweifelhaft erstellten vollständigen Rückzugs von der Arbeitgeberfirma und deren Geschäftsaktivitäten erfüllt (vgl. <ref-ruling>, 112 V 1 E. 3c S. 4 und 109 V 86 E. 13 S. 93; Urteil des Eidgenössischen Versicherungsgerichts H 107/07 vom 23. Juli 2002, E. 3.2). Soweit der Beschwerdeführer in zeitlicher Hinsicht eine weitergehende Haftungsbeschränkung geltend macht und zur Begründung ausführt, er sei bereits mit Verwaltungsratsbeschluss vom 9. November 2001 als Finanzchef der Firmengruppe entmachtet worden und habe sich mit seinen Bemühungen zur Begleichung der ausstehenden Sozialversicherungsbeiträge gegen Z._ (damaliger Verwaltungsratspräsident der Holding und einziges Mitglied des Verwaltungsrates bei der B._ AG) nicht durchsetzen können, kann ihm in Übereinstimmung mit dem kantonalen Gericht nicht gefolgt werden. Entscheidend ist, dass der Belangte mit Schreiben vom 26. November 2001 erst seinen sofortigen "Rücktritt vom Mandat als Direktor der Firma A._ AG" (d.h. einer im vorliegenden Zusammenhang nicht interessierenden anderweitigen Tochtergesellschaft) erklärt hat. Wie die Vorinstanz in jedenfalls nicht offensichtlich unrichtiger Weise feststellte, kam es demgegenüber erst mit dem bereits zitierten Kündigungs- und Demissionsschreiben vom 4. Juli 2002 zur von der Gerichtspraxis für eine Haftungsbeschränkung in zeitlicher Hinsicht verlangten klar ausgewiesenen vollständigen faktischen Lösung des Beschwerdeführers von der Unternehmensgruppe. Dies ergibt sich denn auch aus dem Schreiben an den Verwaltungsrat der Holdinggesellschaft selber, in welchem der Belangte unter Verwendung der Gegenwartsform ausführte, "die Gründe für meine Kündigung liegen neben den oben erwähnten finanziellen Gründen primär in der Art und Weise wie mir eine weitere Arbeit für die Gesellschaft verunmöglicht wird, obwohl ich konstant alles mir unter diesen Umständen mögliche unternehme, um die Probleme der Gruppe und der Einzelgesellschaften zu lindern".
3.2.3 Schliesslich beschlägt die vom kantonalen Gericht aufgrund antizipierter Beweiswürdigung gezogene Schlussfolgerung, dass die seitens des Beschwerdeführers verlangten weiteren Beweismassnahmen (zusätzliche Zeugenbefragungen, Akteneditionen) keinen hier relevanten Erkenntnisgewinn zeitigen würden, Fragen tatsächlicher Natur und ist daher für das Bundesgericht verbindlich (E. 1 hievor), zumal von einer Rechtsfehlerhaftigkeit im Sinne von Art. 105 Abs. 2 BGG nicht die Rede sein kann. Nach dem Gesagten bleibt auch für die letztinstanzlich mit Eventualbegehren verlangten prozessualen Weiterungen kein Raum.
4. Hingegen ist der Einwand des Beschwerdeführers berechtigt, wonach der vorinstanzliche Entscheid insofern das Legalitätsprinzip verletzt, als er entgangene Beiträge an die kantonale Familienausgleichskasse (FAK) in den Schadenersatzbetrag miteinschliesst: Die Erhebung von öffentlich-rechtlichen Abgaben bedarf prinzipiell einer formell-gesetzlichen Grundlage (Art. 127 Abs. 1 BV; <ref-ruling> E. 3 S. 404, 132 I 117 E. 4 S. 120). Das Bundesgericht hat in BGE 9C_704/2007 vom 17. März 2008 erkannt, dass § 28 des zugerischen Gesetzes über die Kinderzulagen vom 16. Dezember 1982 (KZG/ZG, BGS 844.4) keine genügende gesetzliche Grundlage bildet, um Schadenersatz für entgangene FAK-Beiträge erheben zu können. Die Schadenersatzforderung gegenüber dem Beschwerdeführer erfährt demnach eine entsprechende Reduktion.
5. Die Gerichtskosten sind nach dem Ausmass des Obsiegens und Unterliegens auf die Parteien aufzuteilen (Art. 66 Abs. 1 BGG). Der geringfügig obsiegende Beschwerdeführer hat Anspruch auf eine entsprechend reduzierte Parteientschädigung zulasten der Ausgleichskasse (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug vom 15. März 2007 wird mit der Feststellung abgeändert, dass der Beschwerdeführer nur für entgangene bundesrechtliche Sozialversicherungsbeiträge schadenersatzpflichtig ist. Die Sache wird an die Ausgleichskasse Zug zurückgewiesen, damit sie über den entsprechenden Schadenersatzbetrag neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer Fr. 4500.- und der Ausgleichskasse Zug Fr. 500.- auferlegt.
3. Die Ausgleichskasse Zug hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 500.- zu entschädigen.
4. Das Verwaltungsgericht des Kantons Zug wird über eine Neuverlegung der Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, dem Bundesamt für Sozialversicherungen und Z._ schriftlich mitgeteilt.
Luzern, 17. Juni 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Attinger