Sachverhalt: A. Mit Verfügung vom 13. Juli 2006 verpflichtete die Ausgleichskasse des Kantons Zug U._, einziges Mitglied des Verwaltungsrates der in Konkurs gefallenen Firma X._ AG, zur Bezahlung von Schadenersatz für ab April 2001 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 74'933.50. Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 15. September 2006 ab. B. Das Verwaltungsgericht des Kantons Zug hiess die hiegegen erhobene Beschwerde mit Entscheid vom 30. August 2007 teilweise gut und reduzierte den Schadenersatzbetrag auf Fr. 71'958.95. C. U._ lässt Beschwerde führen mit dem sinngemässen Antrag, der vorinstanzliche Entscheid sei aufzuheben und die Schadenersatzforderung abzuweisen; eventuell sei die Sache an das kantonale Gericht zur weiteren Sachverhaltsabklärung zurückzuweisen. Während die Vorinstanz und die Ausgleichskasse Abweisung beantragen, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.