Sachverhalt:
A. Mit Verfügung vom 13. Juli 2006 verpflichtete die Ausgleichskasse des Kantons Zug U._, einziges Mitglied des Verwaltungsrates der in Konkurs gefallenen Firma X._ AG, zur Bezahlung von Schadenersatz für ab April 2001 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 74'933.50. Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 15. September 2006 ab.
B. Das Verwaltungsgericht des Kantons Zug hiess die hiegegen erhobene Beschwerde mit Entscheid vom 30. August 2007 teilweise gut und reduzierte den Schadenersatzbetrag auf Fr. 71'958.95.
C. U._ lässt Beschwerde führen mit dem sinngemässen Antrag, der vorinstanzliche Entscheid sei aufzuheben und die Schadenersatzforderung abzuweisen; eventuell sei die Sache an das kantonale Gericht zur weiteren Sachverhaltsabklärung zurückzuweisen.
Während die Vorinstanz und die Ausgleichskasse Abweisung beantragen, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.

Erwägungen:
1. Die II. sozialrechtliche Abteilung ist zuständig zum Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> sowie Art. 35 lit. a des Reglements für das Bundesgericht vom 20. November 2006 [BGerR]). Nach <ref-law> fallen die kantonalen Sozialversicherungen (insbesondere Familien- und Kinderzulagen) zwar in die Zuständigkeit der I. sozialrechtlichen Abteilung. Es ist indessen aus prozessökonomischen Gründen sinnvoll, dass die II. Abteilung auch über die Schadenersatzpflicht entscheidet, soweit sie entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (Urteil 9C_465/2007 vom 20. Dezember 2007).
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
3. Streitig und zu prüfen ist, ob der Beschwerdeführer zur Leistung von Schadenersatz einerseits nach <ref-law> für bundesrechtliche Sozialversicherungsbeiträge sowie anderseits für Beiträge an die kantonale Familienausgleichskasse nach dem Gesetz vom 16. Dezember 1982 über die Kinderzulagen (KZG/ZG, BGS 844.4) verpflichtet ist. Das kantonale Gericht hat die zur Beurteilung dieser Streitfragen einschlägigen Rechtsgrundlagen zutreffend dargelegt. Darauf wird verwiesen.
4. 4.1 Das kantonale Gericht hat für das Bundesgericht verbindlich festgestellt (E. 2), dass die konkursite Firma im - vom Beschwerdeführer zu verantwortenden - Zeitraum von April 2001 bis April 2002 Löhne in der Höhe von nahezu einer halben Million Franken ausgerichtet hat, ohne die darauf anfallenden Sozialversicherungsbeiträge zu entrichten. Im gleichen Zeitraum wurde sie wiederholt gemahnt und betrieben. Damit ist sie den ihr als Arbeitgeberin obliegenden Beitragszahlungs- und Abrechnungspflichten nur unvollständig nachgekommen und hat Vorschriften im Sinne von <ref-law> grobfahrlässig missachtet. Sodann hat das kantonale Gericht ausführlich und zutreffend dargelegt, weshalb dieses zum Beitragsverlust führende qualifizierte schuldhafte Verhalten dem Beschwerdeführer als einzigem Verwaltungsratsmitglied mit Blick auf seine unübertragbaren Aufgaben der Überwachung und finanziellen Oberaufsicht über die Gesellschaft anzurechnen ist.
4.2 Das Verhalten des Beschwerdeführers ist angesichts seiner dauernden Passivität und der langen Dauer der Zahlungsausstände grobfahrlässig. Ein Mitverschulden der Ausgleichskasse, das zu einer Herabsetzung der Schadenersatzpflicht führen würde, könnte nach der Rechtsprechung (<ref-ruling> E. 3c S. 185; SVR 2000 AHV Nr. 16 S. 50 E. 7a) nur angenommen werden, wenn Hinweise auf eine grobe Pflichtverletzung durch die Verwaltung vorliegen würden, so bei Missachtung elementarer Vorschriften der Beitragsveranlagung und des Beitragsbezugs, etwa durch lange Untätigkeit beim Beitragsinkasso (AHI 2002 S. 52 E. 3b mit Hinweisen). Davon kann hier angesichts der aktenkundigen Mahnungen und Betreibungen nicht die Rede sein.
5. Der Beschwerdeführer wendet weiter ein, die Schadenersatzforderung sei verjährt.
5.1 Gemäss dem bis 31. Dezember 2002 in Kraft gewesenen <ref-law> verjährt die Schadenersatzforderung, wenn sie nicht innert Jahresfrist seit Kenntnis des Schadens durch Erlass einer Schadenersatzverfügung geltend gemacht wird, auf jeden Fall aber mit Ablauf von fünf Jahren seit Eintritt des Schadens. Nach dem seit 1. Januar 2003 massgebenden <ref-law> (vgl. <ref-ruling> E. 5 S. 429) beträgt die relative Frist zwei Jahre. Die Ausgleichskasse erlangt in dem Zeitpunkt Kenntnis vom Schaden, in welchem sie unter Beachtung der ihr zumutbaren Aufmerksamkeit erkennen muss, dass die tatsächlichen Gegebenheiten nicht mehr erlauben, die Beiträge einzufordern, wohl aber eine Schadenersatzpflicht begründen können (<ref-ruling> E. 2.1 S. 195). Nach ständiger Rechtsprechung besteht - wie die Vorinstanz richtig erkannt hat - im Konkursfall in der Regel mit der Auflage des Kollokationsplans ausreichend Kenntnis des Schadens (<ref-ruling> E. 2.3 S. 195 mit Hinweisen). Zu Recht ist daher das kantonale Gericht davon ausgegangen, die Beschwerdegegnerin habe mit der Auflage des Kollokationsplanes (30. Mai 2006) Kenntnis vom Schaden erhalten.
5.2 Die dauernde Pflichtverletzung durch die Firma lässt noch nicht auf einen Schaden schliessen, erst recht nicht auf eine bestimmte Höhe des Schadens. Auch mit der Forderungseingabe im Konkurs steht die Höhe des Ausfalls noch keineswegs fest. Dass die Ausgleichskasse des Kantons Aargau schon früher (6. Mai 2004) eine - allerdings am 15. Juli 2004 wieder aufgehobene (da der Kollokationsplan noch nicht vorlag, mithin der Schaden noch nicht feststand) - Verfügung erliess, ändert nichts daran. Auch übersieht der Beschwerdeführer, dass sich jene Schadenersatzverfügung auf Ausstände früherer, nicht zum Streitgegenstand gehörender, Perioden bezieht.
5.3 Die am 13. Juli 2006 erlassene Schadenersatzverfügung erfolgte rechtzeitig.
6. Schliesslich ist der Einwand des Beschwerdeführers zu prüfen, für die kantonalrechtlichen Abgaben (FAK-Beiträge) bestehe keine Schadenersatzpflicht.
6.1 Nach konstanter Rechtsprechung bedarf die Verpflichtung zu einer öffentlichrechtlichen Geldleistung einer formell-gesetzlichen Grundlage, welche die Leistungspflicht mindestens in den Grundzügen festlegt (<ref-law>, analog auch auf andere Geldleistungen anwendbar, <ref-ruling> E. 3.2 S. 404 f., 132 I 117 E. 4.2 S. 121, 132 II 371 E. 2.1 S. 374). Delegiert der Gesetzgeber die Kompetenz zur Festlegung einer Abgabe an eine nachgeordnete Behörde, so muss er zumindest den Kreis der Abgabepflichtigen, den Gegenstand und die Bemessungsgrundlagen der Abgabe selber festlegen (<ref-ruling> E. 2.1 S. 374, 130 I 113 E. 2.2 S. 116; <ref-ruling> E. 2.2.1 S. 321). Das Bundesgericht prüft frei, ob die Delegationsnorm diesen Anforderungen entspricht (<ref-ruling> E. 5.1 S. 354). Die Rechtsprechung hat diese Vorgaben für die Abgabenbemessung bei gewissen Arten von Kausalabgaben gelockert, wo das Mass der Abgabe durch überprüfbare verfassungsrechtliche Prinzipien (Kostendeckungs- und Äquivalenzprinzip) begrenzt wird und nicht allein der Gesetzesvorbehalt diese Schutzfunktion erfüllt (<ref-ruling> E. 2.2 S. 116 mit Hinweisen). Diese mögliche Lockerung betrifft nur die Vorgaben zur Bemessung der Abgaben, nicht die Umschreibung der Abgabepflicht (Subjekt und Objekt) als solche (<ref-ruling> E. 4.2 S. 121). Bei der hier zur Diskussion stehenden Schadenersatzpflicht handelt es sich nicht um eine Kausalabgabe, so dass die genannte Lockerung nicht zur Anwendung kommen kann.
6.2 Die Haftung nach <ref-law> gilt für die bundesrechtlichen Sozialversicherungen, namentlich für die AHV, ferner für die IV und die EO, für welche die Beiträge durch Zuschläge zu den AHV-Beiträgen erhoben werden (<ref-law>, <ref-law>). Auch Art. 25 Abs. 3 des Bundesgesetzes über die Familienzulagen in der Landwirtschaft (FLG) verweist ausdrücklich auf <ref-law>. Sodann verweist <ref-law> generell für den Bereich der Beiträge auf die AHV-Gesetzgebung, womit auch die Haftung nach <ref-law> mit umfasst ist (<ref-ruling> E. 4b S. 187). Die Familienzulagen ausserhalb der Landwirtschaft richten sich hingegen für den hier streitigen Zeitraum nach kantonalem Recht, im Kanton Zug nach dem KZG. <ref-law> stellt diesbezüglich keine gesetzliche Grundlage dar für die Erhebung von Schadenersatz (<ref-ruling> E. 1 S. 146). Erforderlich ist eine kantonalrechtliche Grundlage (Ueli Kieser, Alters- und Hinterlassenenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2. Aufl. Basel 2007, Rz. 267 S. 1294).
6.3 Das KZG ist ein formelles Gesetz. Fraglich ist jedoch, ob es eine analoge Haftungsbestimmung wie <ref-law> enthält. Die zugerische Praxis stützt sich dazu auf § 28 KZG. Diese Bestimmung mit dem Titel "Ergänzendes Recht" steht im 6. Abschnitt des KZG mit dem Abschnittstitel "Straf- und Schlussbestimmungen." Ihr Abs. 1 lautet: "Soweit dieses Gesetz den Vollzug nicht abschliessend regelt, finden die Bestimmungen des Bundesgesetzes über die Familienzulagen in der Landwirtschaft als ergänzendes Recht Anwendung". Das Gesetz enthält somit nicht selber eine Haftungsbestimmung, sondern bloss eine dynamische Verweisung auf eine andere Gesetzgebung. Solche Verweisungen sind im Lichte des rechtsstaatlichen Bestimmtheitsgebots wie auch der demokratischen Zuständigkeitsordnung problematisch, soweit das verwiesene Recht Bestimmungen enthält, die aufgrund ihrer Bedeutung für die Rechtsstellung des Bürgers rechtssatzmässig festgelegt bzw. demokratisch legitimiert sein sollten. Sie können allerdings unter Umständen als gesetzliche Grundlage ausreichen (eingehend <ref-ruling> E. 7c S. 127 ff.). Voraussetzung dafür ist, dass die Verweisung als solche hinreichend klar und eindeutig ist (<ref-ruling> E. 4a S. 8; Ueli Kieser, Streifzug durch das Familienzulagenrecht, SZS 1995 S. 276 ff., 281 f.). Das Bundesgericht hat es (im Rahmen von staatsrechtlichen Beschwerden) als nicht willkürliche Gesetzesanwendung beurteilt, § 33 Abs. 2 des zürcherischen Kinderzulagengesetzes vom 8. Juni 1958 sowie § 29 des (alten) nidwaldnerischen Gesetzes vom 30. April 1972 über die Kinderzulagen, wonach generell die Vorschriften über die eidgenössische Alters- und Hinterlassenenversicherung sinngemäss Anwendung finden, als hinreichende gesetzliche Grundlage für eine Arbeitgeberhaftpflicht zu betrachten. Es wies dabei auch darauf hin, dass die eidgenössische Regelung vor der kantonalen Norm ergangen war und seither nicht geändert wurde, dass eine enge inhaltliche und verfahrensmässige Verbindung zwischen der eidgenössischen AHV-Gesetzgebung und der kantonalen Kinderzulagengesetzgebung bestehe und dass der Schadenersatz nach kantonalem Recht neben dem bundesrechtlichen quantitativ von untergeordneter Bedeutung sei (Urteil 2P.251/1996 vom 30. Juni 1997, E. 2b; Urteil 2P.284+313/1998 vom 21. Februar 2001, E. 4b/bb; vgl. auch Urteil P.22/1985 vom 25. Mai 1988, E. 2).
6.4 Die hier zur Diskussion stehende zugerische Regelung unterscheidet sich wesentlich von der zürcherischen und nidwaldnerischen: Zum einen verweist sie nicht direkt auf das AHVG, sondern auf das FLG, welches seinerseits auf das AHVG weiterverweist. Eine solche indirekte Verweisung ist im Lichte des Legalitätsprinzips noch problematischer als eine direkte. Zum andern verweist sie nicht generell auf die Vorschriften des AHVG, sondern nur für die Regelung des Vollzugs. Eine Haftungsbestimmung kann klarerweise nicht als blosse Vollzugsbestimmung betrachtet werden. Das FLG, auf welches das kantonale Gesetz verweist, enthält denn auch in Art. 25 Abs. 1 für den Vollzug eine Verweisung auf die Bestimmungen des AHVG, in Abs. 3 hingegen ausdrücklich für die Haftung auf (u.a.) <ref-law>. Zwar verwies die bis 31. Dezember 2002 in Kraft gestandene ursprüngliche Fassung (AS 1952 823) nur auf den Vollzug. Es mag sein, dass sich der kantonale Gesetzgeber von dieser ursprünglichen Fassung von Art. 25 FLG inspirieren liess. Aber erstens hat das Bundesgericht - soweit ersichtlich - nie entschieden, ob die alte Fassung von Art. 25 FLG eine hinreichende gesetzliche Grundlage für eine Haftung darstellt (bejahend: Jean-Maurice Frésard, La responsabilité de l'employeur pour le non-paiement de cotisations d'assurances sociales selon l'art. 52 LAVS, SVZ 1987 S. 8; eher verneinend: Kieser, Streifzug, a.a.O., S. 280 Anm. 22). Und zweitens ist - insbesondere bei Gesetzen, welche den Privaten eine Pflicht auferlegen - in erster Linie der Gesetzeswortlaut massgebend, wie ein unbefangener Leser ihn verstehen muss. Dass unter "Vollzug" auch eine materiellrechtliche Haftungsvorschrift verstanden werden kann, ist nach alltagssprachlichem wie juristischem Sprachverständnis ausgeschlossen. Schliesslich reicht auch die inhaltliche Konnexität zwischen der eidgenössischen AHV und der kantonalen Kinderzulagenregelung nicht aus, um auf das Erfordernis einer hinreichend klaren gesetzlichen Grundlage zu verzichten. So stellt auch <ref-law>, welcher für das kantonale Gerichtsverfahren eine Kostenpflicht vorschreibt, keine genügende gesetzliche Grundlage für eine Kostenvorschusspflicht dar (<ref-ruling>), obwohl ein enger Konnex zur bundesrechtlich vorgeschriebenen Kostenpflicht sowie zu der für das eidgenössische Recht geltenden Vorschusspflicht (<ref-law>) besteht. Auch hat die Konnexität zwischen AHV-Recht und kantonalem Familienausgleichsrecht nicht dazu geführt, dass im Verfahrensrecht das Bundesrecht analog für die kantonalrechtlichen Abgaben angewendet wurde (Urteil H 142/04 vom 12. August 2005, E. 1).
6.5 Der Vollständigkeit halber ist darauf hinzuweisen, dass im Urteil H 346/99 vom 20. März 2001 entgegen der Darlegung der Vorinstanz, deren Auffassung nicht bestätigt wurde, § 28 KZG i.V.m. Art. 25 Abs. 3 FLG bilde eine genügende gesetzliche Grundlage für die Schadenersatzpflicht für die FAK-Beiträge. Vielmehr richtete sich die Verwaltungsgerichtsbeschwerde in jenem Verfahren ausdrücklich nur gegen den gestützt auf Bundesrecht beurteilten Schadenersatz (die FAK-Beiträge betreffend erhob der damalige Beschwerdeführer staatsrechtliche Beschwerde, auf welche das Bundesgericht mit Urteil 2P.284/1999 vom 20. Oktober 1999 nicht eintrat), weshalb zu der hier umstrittenen Frage nicht Stellung genommen werden konnte und musste. Folgerichtig wurden im genannten Urteil die entgangenen FAK-Beiträge von der Schadenersatzsumme abgezogen.
6.6 § 28 KZG erweist sich damit als ungenügende gesetzliche Grundlage für eine Haftung des Beschwerdeführers (ebenso Kieser, Streifzug, a.a.O., S. 283). In Bezug auf die kantonalrechtlichen Abgaben ist die Beschwerde begründet. Der Schadenersatzbetrag ist entsprechend zu reduzieren (siehe Zusammenstellung in der Verfügung vom 13. Juli 2006, wobei der Betrag für das Jahr 2002 von der Vorinstanz auf Fr. 920.80 reduziert worden ist).
7. Die Verfahrenskosten sind entsprechend dem Ausmass des Obsiegens und Unterliegens aufzuteilen (<ref-law>). Der geringfügig obsiegende Beschwerdeführer hat Anspruch auf eine entsprechend reduzierte Parteientschädigung (Art. 68 Abs. 1 und 2 BGG). Die Vorinstanz wird die Parteikosten für das erstinstanzliche Verfahren entsprechend dem Ausgang des letztinstanzlichen Verfahrens festzulegen haben (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug vom 30. August 2007 und der Einspracheentscheid der Ausgleichskasse Zug vom 15. September 2006 werden insoweit abgeändert, als der Beschwerdeführer verpflichtet wird, der Beschwerdegegnerin Schadenersatz im Betrag von Fr. 64'362.20 zu bezahlen. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 4500.- werden dem Beschwerdeführer Fr. 4000.- und der Beschwerdegegnerin Fr. 500.- auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. März 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer i.V. Attinger