Sachverhalt:
A. A.a Die Firma X._ wurde 1990 gegründet. Sie war der Ausgleichskasse des Kantons Zürich angeschlossen. Im Juli 2003 wurde der Sitz nach Y._ verlegt und die Firma umfirmiert in B._. Zweck der Gesellschaft war das Verlegen von und der Handel mit Holzparkett, Teppich- und PVC-Belägen. Seit der Gründung der Gesellschaft gehörte E._ dem Verwaltungsrat an, wobei er von 1990 bis 1993 und 1994 bis 2002 als Präsident amtierte. Seit 1993 war er auch Geschäftsführer. Alle Funktionen übte er bis zu seinem Rücktritt im August 2002 mit Einzelunterschrift aus. Am ... Dezember 2003 wurde über die Gesellschaft der Konkurs eröffnet und das Verfahren am ... Mai 2004 mangels Aktiven eingestellt. Am ... Juni 2004 ergingen erste Pfändungsverlustscheine und im September 2004 wurde die Gesellschaft im Handelsregister gelöscht.
A.b Mit Verfügung vom 16. August 2005 forderte die Ausgleichskasse von E._ als ehemaligem Verwaltungsratspräsidenten und Geschäftsführer der Firma X._ gestützt auf <ref-law> und unter solidarischer Haftbarkeit mit den ehemaligen Verwaltungsräten S._ und L._ Schadenersatz für entgangene Sozialversicherungsbeiträge der Jahre 1998 bis 2003. Die Forderung von Fr. 430'040.15 setzte sich zusammen aus unbezahlt gebliebenen paritätischen Lohnbeiträgen und solchen an die kantonale Familienausgleichskasse sowie aus Verwaltungskosten, Verzugszinsen und Gebühren. Dazu wurde auf eine Beitragsübersicht verwiesen.
A.c Die von E._ erhobene Einsprache mit dem Antrag auf ersatzlose Aufhebung der Verfügung hiess die Ausgleichskasse mit Entscheid vom 23. Januar 2006 teilweise gut und reduzierte die Schadenersatzforderung mit der Begründung, der Einsprecher habe sein Mandat nur bis zum 19. August 2002 ausgeübt, auf Fr. 367'002.60
B. B.a E._ erhob Beschwerde beim Sozialversicherungsgericht des Kantons Zürich und beantragte die Aufhebung des Einspracheentscheides; es sei festzustellen, dass er keinen Schadenersatz nach <ref-law> zu leisten habe. Zur Begründung wandte er nebst anderem ein, die Ausgleichskasse habe die Schadenersatzforderung so weit zu substanziieren, dass sie überprüft und bestritten werden könne. Auch die Reduktion der Forderungssumme auf Fr. 367'002.60 sei nicht nachvollziehbar. Da die Beiträge für 2002 gesamthaft erst nach seinem Rücktritt fällig geworden seien, hafte er hierfür ohnehin nicht. Des weiteren rügte er, die bezahlten Beiträge seien nicht immer auf die Ausstände angerechnet worden, für die sie bestimmt gewesen seien. Es sei ihm unmöglich, die verbliebene Forderung von Fr. 367'002.60 hinsichtlich Eintritt von Verjährung und Verwirkung zu überprüfen. Da die Forderung bis ins Jahr 1998 zurückreiche, komme dieser Frage indes besondere Bedeutung zu. Zwar sei die Gesellschaft seit 1993 wegen Beitragsausständen regelmässig betrieben worden, jedoch habe die Ausgleichskasse dann weitere Betreibungshandlungen unterlassen; deshalb sei von einem groben Selbstverschulden auszugehen, das zu einer massiven Haftungsreduktion, wenn nicht zu derem Ausschluss führen müsse. Ihm selber könne nicht der Vorwurf der Grobfahrlässigkeit gemacht werden, da die Gesellschaft über vierzig Personen beschäftigt habe und eine solche Grösse eine Aufteilung der anfallenden Arbeiten verlange. Er habe sich um den Aussendienst gekümmert und die administrativen Arbeiten C._ übertragen. Zwar seien ihm Unregelmässigkeiten bei der AHV-Beitragszahlung aufgefallen. Er sei aber davon ausgegangen, dass die Gesellschaft die Probleme bewältigen könne. Ab 2002 habe ausschliesslich C._ mit der Ausgleichskasse verhandelt. Er selbst habe annehmen dürfen, dass dieser seinen Pflichten nachkomme. Die Revisionsstelle habe die Beitragsausstände auch nicht in der Bilanz verbucht.
B.b Mit Beschluss vom 31. März 2006 entschied das Sozialversicherungsgericht des Kantons Zürich, soweit die Beschwerde kantonalrechtliche Sozialversicherungsbeiträge und darauf geschuldete Nebenkosten betreffe, werde das Verfahren abgetrennt und selbstständig im Kanton Zürich weitergeführt; betreffe die Beschwerde aber Schadenersatz für bundesrechtliche Sozialversicherungsbeiträge, sei mangels örtlicher Zuständigkeit nicht darauf einzutreten. Es überwies die Akten dem Verwaltungsgericht des Kantons Zug zur Beurteilung und lud dieses ein, sie nach der Entscheidfällung zu retournieren, damit die Beschwerde hinsichtlich der kantonalrechtlichen Sozialversicherungsbeiträge beurteilt werden könne.
B.c Soweit darauf einzutreten war, wies das Verwaltungsgericht des Kantons Zug die Beschwerde mit Entscheid vom 23. September 2008 ab.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid des Verwaltungsgerichts des Kantons Zug und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich seien aufzuheben und es sei festzustellen, dass er keinen Schadenersatz nach <ref-law> zu leisten habe; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen; der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Mit Verfügung vom 12. Dezember 2008 teilte das Bundesgericht der Ausgleichskasse mit, Stillschweigen in der Vernehmlassung zum Gesuch um aufschiebende Wirkung werde als Einverständnis ausgelegt und Vollziehungsvorkehrungen hätten vorerst zu unterbleiben.
In der Vernehmlassung beantragt die Vorinstanz die Abweisung der Beschwerde; die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf Stellungnahme.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
2. Die Vorinstanz hat die zur subsidiären Haftung der Organe eines Arbeitgebers nach <ref-law> und der dazu ergangenen Rechtsprechung erforderlichen Voraussetzungen (Organstellung, Schaden, Widerrechtlichkeit, Verschulden, Kausalität, Nichtverwirkung) korrekt dargelegt. Darauf wird verwiesen.
3. Der Vorwurf ist verfehlt, die Vorinstanz habe pauschal die kantonalrechtlichen Sozialversicherungsbeiträge mit den dazugehörenden Nebenkosten in den Entscheid miteinbezogen, obwohl der Beschwerdeführer die fehlende Ausscheidung im Rahmen des Schriftenwechsels gerügt habe: Wie die Vorinstanz in der Vernehmlassung mit Recht vorbringt, hat sie erwogen, die gesamte Schadenersatzforderung sei "im Umfang der bundesrechtlichen Beiträge und der entsprechenden Nebenkosten" nicht zu beanstanden (E. 13.3 in fine). Mit der Bestätigung des Einspracheentscheides hat sie somit nicht über die kantonalen Beiträge befunden.
4. Der Beschwerdeführer beschränkt sich letztinstanzlich im Wesentlichen auf das Vorbringen, anhand der Akten und der Zusammenstellung der geltend gemachten Beträge könne nicht überprüft werden, wie sich die Forderungen zusammensetzten. Insbesondere sei nicht zu erkennen, aufgrund welcher Lohnsumme welche Beiträge geschuldet seien. Ebenso sei nicht ersichtlich, für welche Zeitperioden Beitragsrechnungen durch die Konkursitin bezahlt worden seien. Die noch streitigen Forderungen könnten anhand der Akten betragsmässig nicht überprüft werden. Es sei offensichtlich, dass auch die Vorinstanz nicht in der Lage gewesen sei, den Forderungsbetrag im Detail nachzuvollziehen.
4.1 Wie die kantonale Instanz in der Vernehmlassung mit Recht darlegt, hat die Beschwerdegegnerin die Akten durchnummeriert und ein Aktenverzeichnis erstellt, sodass die Belege trotz des grossen Umfangs des Dokumentenbündels zu finden sind. Es ist dem Beschwerdeführer zuzumuten, auf Grund der Akten seine Einwände zu konkretisieren. Aus den kantonalen Verfahrensakten - so aus dem vorinstanzlichen Schreiben vom 30. April 2008 an die Beschwerdegegnerin - ist ersichtlich, dass das kantonale Gericht die Akten auch in Details prüfte. Dabei hat es mit Fug und Recht berücksichtigt, dass der Schadenersatzprozess zwar vom Untersuchungsgrundsatz beherrscht ist, jedoch durch die Mitwirkungspflichten der Parteien ergänzt wird; diese haben ihre Position zu substanziieren, wobei die wesentlichen Tatsachenbehauptungen und -bestreitungen in den Rechtsschriften enthalten sein müssen (Urteil H 301/00 vom 12. Februar 2002, E. 2). Die Ausgleichskasse hat demnach die Schadenersatzforderung soweit zu verdeutlichen, dass sie überprüft werden kann. Ist nicht offensichtlich erkennbar, wie sich der Forderungsbetrag zusammensetzt, ist es im Rechtsmittelverfahren nicht Sache des Gerichts, selbst in EDV-Ausdrucken und Abrechnungen nach den Positionen zu forschen, die für die Schadenshöhe von Belang sind, oder zu eruieren, wie der Forderungsbetrag sonst noch ermittelt werden könnte. Vielmehr hat die Ausgleichskasse im Rahmen ihrer Mitwirkungspflicht durch erläuternde Bezugnahme auf die Beitragsübersicht und andere von ihr eingereichte Akten darzutun, wie und gestützt worauf sie den Forderungsbetrag ermittelt hat. Dies ist im vorinstanzlichen Schriftenwechsel so geschehen, wie aus der Antwort der Beschwerdegegnerin vom 7. Mai 2008 auf die Nachfrage des Gerichts vom 30. April 2008 hervorgeht.
4.2 Der Beschwerdeführer befasst sich nicht mit den umfangreichen Belegen und erhebt keine substanziierten Rügen, sondern beschränkt sich im Wesentlichen auf die wiederholte Behauptung, es sei offensichtlich, dass das kantonale Gericht sich mit der Glaubhaftmachung des von der Verwaltung festgesetzten Forderungsbetrages begnügt habe und diesen nachzuvollziehen gar nicht in der Lage gewesen sei. Zur Mitwirkungspflicht des Beschwerdeführers im Schadenersatzverfahren gehört jedoch auch, die gestellte Forderung masslich mit konkreten Einwendungen zu bestreiten. Was er hier in dieser Hinsicht vorbringt, hat die Vorinstanz in der Begründung ihres Entscheides bereits detailliert und ausreichend erörtert (E. 13) und kann es dabei sein Bewenden haben.
5. Auch zu dem Vorwurf, die Ausgleichskasse habe den Schaden selber verschuldet, sowie zum Einwand, den Beschwerdeführer treffe kein grobes Verschulden, wird auf die vorinstanzlichen Erwägungen verwiesen. Es ist dort dargelegt worden, warum und inwiefern der Beschwerdeführer über viele Jahre hinweg seine Sorgfaltspflicht als geschäftsführendes Organ der Gesellschaft in grobfahrlässiger Weise verletzt hat, und dass aufgrund der Akten keine Anhaltspunkte für besondere Umstände bestanden, welche sein Verhalten rechtfertigen oder entschuldigen würden (E. 10.2). Die Vorinstanz hat richtig erkannt, dass der adäquate Kausalzusammenhang zum entstandenen Schaden zu bejahen ist (E. 11), da keine Anzeichen dafür bestehen, dass der Beschwerdeführer in der korrekten Ausübung seiner Überwachungs- und Kontrollaufgaben behindert wurde oder ihm dies nicht zuzumuten war. Die Vorinstanz hat im Rahmen ihrer örtlichen Zuständigkeit die Ersatzpflicht des Beschwerdeführers zu Recht bejaht. Es besteht kein Anlass, ihre Sachverhaltsfeststellungen zum Ausmass des Schadens zu berichtigen oder zu ergänzen; denn sie sind weder offensichtlich unrichtig, noch beruhen sie auf einer Rechtsverletzung im Sinne von <ref-law>.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 9000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz