Sachverhalt:
A. N._ war seit ... Mitglied des Verwaltungsrates, vom ... bis ... Delegierter mit Kollektivunterschrift zu zweien, der Firma X._. Die Firma war der Ausgleichskasse Schwyz angeschlossen. Am ... wurde über die Gesellschaft der Konkurs eröffnet und danach im summarischen Verfahren durchgeführt. Am ... erfolgte die Auflage des Kollokationsplanes samt Lastenverzeichnis und Inventar. Am ... wurde der Konkurs geschlossen. Die von der Ausgleichskasse eingegebene Forderung u.a. für nicht oder zu wenig bezahlte Sozialversicherungsbeiträge des Bundes sowie nach kantonalem Recht für 2001 und 2002 blieb bis auf eine Konkursdividende von Fr. 3'163.15 ungedeckt. Mit Verfügung vom 20. September 2004 forderte die Ausgleichskasse von N._ Schadenersatz in der Höhe von Fr. 59'248.45. Mit Einspracheentscheid vom 28. Januar 2008 bestätigte sie die Schadenersatzpflicht in der verfügten Höhe.
B. Die Beschwerde des N._ wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. April 2008 ab.
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. April 2008 und demzufolge die Schadenersatzverfügung vom 20. September 2004 seien aufzuheben.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die II. sozialrechtliche Abteilung des Bundesgerichts ist zuständig zum Entscheid über die streitige Schadenersatzpflicht und zwar auch, soweit die Forderung entgangene Beiträge an die kantonale Familienausgleichskasse betrifft (Urteil 9C_704/2007 vom 17. März 2008 E. 1, nicht publiziert in <ref-ruling>, aber in SVR 2008 FL Nr. 1 S. 1; Urteil 9C_901/2007 vom 8. Oktober 2008 E. 1, nicht publiziert in <ref-ruling>).
2. Der angefochtene Entscheid bestätigt den Einspracheentscheid vom 28. Januar 2008, womit die Ausgleichskasse den Beschwerdeführer - gestützt auf <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung) - zur Bezahlung von Schadenersatz in der Höhe von Fr. 59'248.45 für entgangene Sozialversicherungsbeiträge des Bundes sowie Beiträge an die kantonale Familienausgleichskasse samt Verwaltungskosten, Mahngebühren und Verzugszinsen für 2001 und 2002 verpflichtete.
Der Beschwerdeführer bestreitet eine Schadenersatzpflicht. Die geltend gemachte Forderung sei verjährt, weil die Ausgleichskasse über die Einsprache gegen die Schadenersatzverfügung vom 20. September 2004 erst am 28. Januar 2008 entschieden habe. In dieser Zeit habe die Verwaltung keine verjährungsunterbrechende Handlung unternommen, sodass der Schadenersatzanspruch spätestens zwei Jahre nach Einspracheerhebung erloschen sei. Sodann entfalle eine Schadenersatzpflicht u.a. auch, weil es sich, wie in <ref-ruling>, lediglich um Ausstände von kurzer Dauer gehandelt und ohnehin keine Schädigungsabsicht bestanden habe.
3. Die Vorinstanz hat, wie die Ausgleichskasse im Einspracheentscheid, nicht danach unterschieden, ob die Forderung entgangene Sozialversicherungsbeiträge des Bundes oder solche an die kantonale Familienausgleichskasse (FAK-Beiträge) betrifft. Gemäss § 30 Abs. 2 des schwyzerischen Gesetzes vom 11. September 1991 über die Familienzulagen, in Kraft gestanden bis 31. Dezember 2002, hat ein Arbeitgeber den durch vorsätzliche oder grobfahrlässige Missachtung von Vorschriften verursachten Schaden der Kasse zu ersetzen. § 31 erklärt die Bestimmungen der Bundesgesetzgebung über die Familienzulagen in der Landwirtschaft sinngemäss als ergänzendes Recht anwendbar, soweit dieses Gesetz keine Regelung enthält. Es ist zweifelhaft, ob dies eine genügende gesetzliche Grundlage für eine (subsidiäre) Schadenersatzpflicht der Organe einer Aktiengesellschaft darstellt (vgl. <ref-ruling>) und bejahendenfalls, ob die Haftungsgrundsätze nach <ref-law>, in der bis 31. Dezember 2002 gültig gewesenen Fassung, wenigstens sinngemäss anwendbar wären. Dieser Punkt kann indessen offenbleiben. Die Frage der Verjährung des Schadenersatzanspruchs für entgangene Sozialversicherungsbeiträge des Bundes beurteilt sich intertemporalrechtlich nach Art. 52 Abs. 3 und 4 AHVG in der seit 1. Januar 2003 geltenden Fassung (vgl. E. 4.1 hienach). Der Anspruch war in diesem Zeitpunkt nach der bis 31. Dezember 2002 gültig gewesenen Regelung gemäss aArt. 82 Abs. 1 AHVV noch nicht verwirkt. Die Ausgleichskasse musste frühestens mit der Auflage des Kollokationsplans (mit Lastenverzeichnis und Inventar) am 5. Dezember 2003 fristauslösende Kenntnis vom Schaden haben (<ref-ruling> E. 3 S. 92 mit Hinweisen; <ref-ruling>). § 32 Abs. 2 des seit 1. Januar 2003 in Kraft stehenden kantonalen Gesetzes vom 17. April 2002 über die Familienzulagen (SZSR 370.100) bestimmt: «Verursacht ein Arbeitgeber durch vorsätzliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden, so hat er diesen der Kasse zu ersetzen. <ref-law> ist sinngemäss anwendbar». Nach dieser Regelung ist somit die im Vordergrund stehende Verjährungsfrage auch in Bezug auf die kantonalrechtlichen FAK-Beiträge ebenfalls im Lichte von Art. 52 Abs. 3 und 4 AHVG zu prüfen.
4. Das kantonale Gericht hat die Verjährungseinrede des Beschwerdeführers als unbegründet erachtet. Für die Frage der Fristwahrung käme weder der Dauer zwischen Einsprache und Einspracheentscheid Bedeutung zu, noch seien nach dem fristgerechten Erlass der Schadenersatzverfügung weitere die Frist unterbrechende Massnahmen erforderlich.
4.1 Gemäss <ref-law> macht die zuständige Ausgleichskasse den Schadenersatzanspruch durch Verfügung geltend (Abs. 2). Der Schadenersatzanspruch verjährt zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, jedenfalls fünf Jahre nach Eintritt des Schadens. Diese Fristen können unterbrochen werden (Abs. 3 Satz 1 und 2). Wird der Schadenersatzanspruch aus einer strafbaren Handlung hergeleitet, für die das Strafrecht eine längere Verjährung vorschreibt, so gilt diese Frist (Abs. 4).
Bei den Fristen nach Art. 52 Abs. 3 und 4 AHVG handelt es sich um Verjährungsfristen, die unterbrochen werden können (<ref-ruling> E. 3.1 S. 427 mit Hinweis; Urteil des Eidg. Versicherungsgerichts H 136/05 vom 23. November 2006 E. 4.1; Ueli Kieser, Alters- und Hinterlassenenversicherung, in: Ulrich Meyer [Hrsg.], SBVR/Soziale Sicherheit, 2. Aufl. 2007, S. 1308 Rz. 322; Marco Reichmuth, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, S. 194 Rz. 813).
4.2 4.2.1 Das Gesetz regelt nicht, durch welche Handlungen der Ausgleichskasse und der Beschwerdeinstanzen (kantonales Versicherungsgericht, Bundesgericht) sowie der in Anspruch genommenen Person die Verjährung unterbrochen wird und die Dauer der nach der Unterbrechung neu laufenden Frist. Mit Blick auf die Entstehungsgeschichte von Art. 52 Abs. 3 BVG (vgl. Parlamentarische Initiative Sozialversicherungsrecht. Vertiefte Stellungnahme des Bundesrates vom 17. August 1994, BBl 1994 V 983 ad Art. 52 Abs. 2 und 3 Begründung, und Bericht der Kommission des Nationalrates für soziale Sicherheit und Gesundheit vom 26. März 1999, BBl 1999 4763 ad Art. 52 Abs. 3 und 4) sind subsidiär die im Rahmen von <ref-law> (Verjährung des Anspruchs auf Schadenersatz aus unerlaubter Handlung [<ref-law>]) massgeblichen allgemeinen Bestimmungen nach <ref-law> (<ref-ruling> E. 6a S. 219 mit Hinweisen auf die Lehre) heranzuziehen (Reichmuth a.a.O. S. 194 Rz. 814; vgl. auch <ref-ruling> E. 3.5.1 und 3.5.2 S. 14 sowie <ref-ruling> E. 3.1 S. 56).
Die Verjährung wird unterbrochen u.a. durch Klage oder Einrede vor einem Gerichte (<ref-law>). Mit der Unterbrechung beginnt die Verjährung von neuem (<ref-law>). Wird die Verjährung durch eine Klage oder Einrede unterbrochen, so beginnt im Verlaufe des Rechtsstreites mit jeder gerichtlichen Handlung der Parteien und mit jeder Verfügung oder Entscheidung des Richters die Verjährung von neuem (<ref-law>). Bei einer gerichtlich angeordneten Sistierung des Verfahrens steht jedoch - analog zu <ref-law> - die Verjährung bis zum Wegfall des Sistierungsgrundes still (<ref-ruling> E. 3.2 S. 206). Diese Grundsätze gelten auch für allenfalls längere strafrechtliche Verjährungsfristen. Bei Unterbrechung der Verjährung durch eine richterliche Verfügung erst nach Eintritt der strafrechtlichen Verfolgungsverjährung wird aber nur eine neue in der Regel kürzere zivilrechtliche Verjährungsfrist ausgelöst (<ref-ruling> E. 1 S. 433 ff.). Bei der Anwendung dieser Regelung im Rahmen von <ref-law> ist zu beachten, dass im Unterschied zum Privatrecht, wo die Verjährung nur durch die in Art. 135 Ziff. 1 und 2 OR genannten Handlungen unterbrochen werden kann, alle Akte, mit denen die Schadenersatzforderung gegenüber dem Schuldner in geeigneter Weise geltend gemacht wird, verjährungsunterbrechende Wirkung haben (vgl. <ref-ruling> E. 4.3.1 S. 583 mit Hinweisen; RtiD 2005 I S. 40, 2P.327/2003 E. 3).
4.2.2 Geht es um die Haftung im Sinne von <ref-law>, stellt die Schadenersatzverfügung eine, in der Regel die erste verjährungsunterbrechende Handlung dar. Ergeht sie rechtzeitig innert der relativen zweijährigen Verjährungsfrist seit Kenntnis des Schadens, beginnt mit Erhebung von Einsprache eine neue zweijährige Verjährungsfrist zu laufen. Entgegen der Auffassung von kantonalem Gericht und Ausgleichskasse wird mit der Schadenersatzverfügung die Verjährungsfrist nicht ein für allemal gewahrt, sodass die Forderung nicht wegen Zeitablaufs während des Einspracheverfahrens oder des nachgelagerten verwaltungsgerichtlichen Beschwerdeverfahrens nicht mehr klagbar werden kann. Dies entspräche der Rechtslage bei einer Verwirkungsfrist, namentlich auch derjenigen vor der Änderung von <ref-law> im Rahmen der Schaffung des Allgemeinen Teils des Sozialversicherungsrechts (Urteil H 99/06 vom 11. September 2007 E. 5; Urteile des Eidg. Versicherungsgerichts H 260/03 vom 19. Februar 2004 E. 3, H 183/01 vom 5. Februar 2003 E. 3.2 sowie ZAK 1991 S. 125, H 116/85 E. 2c; Thomas Nussbaumer, Das Schadenersatzverfahren nach <ref-law>, in: Schaffhauser/Kieser [Hrsg.], Aktuelle Fragen aus dem Beitragsrecht der AHV, 1998, S. 115). Nach dem klaren Wortlaut von <ref-law> können aber die relative zweijährige und die absolute fünfjährige Verjährungsfrist unterbrochen werden. Dabei ist für die Beantwortung der damit zusammenhängenden Fragen, insbesondere welchen Handlungen der Ausgleichskasse und der Beschwerdeinstanzen verjährungsunterbrechende Wirkung zukommt, sinngemäss die Regelung für Forderungen aus unerlaubter Handlung (<ref-law> und <ref-law>) anwendbar, was auch dem Willen des Gesetzgebers entspricht (E. 4.2.1). Der Schadenersatzanspruch nach <ref-law> kann somit auch während des Einspracheverfahrens oder verwaltungsgerichtlichen Beschwerdeverfahrens verjähren (offen gelassen in SVR 2005 AHV Nr. 15 S. 48, H 96/03 E. 5.2.1 und im Urteil H 136/05 vom 23. November 2006 E. 4.2; unklar Kieser a.a.O. Rz. 328 S. 1309; mit Bedenken Reichmuth a.a.O. S. 214 Rz. 894 f.). Es ist denn auch nicht einsehbar, weshalb die Ausgleichskasse zunächst innert zweier Jahre seit Kenntnis des Schadens die Verfügung erlassen, dann aber beliebig lange mit dem Erlass des Einspracheentscheids soll zuwarten können.
4.3 Vorliegend hat die Ausgleichskasse mit der Schadenersatzverfügung vom 20. September 2004 unbestritten die zweijährige Verjährungsfrist seit Auflage des Kollokationsplanes am 5. Dezember 2003 unterbrochen. Mit der Einsprache vom 7. Oktober 2004 begann die Verjährung von neuem. Danach erfolgte aktenkundig keine prozessuale Handlung der Ausgleichskasse oder des Beschwerdeführers (<ref-law>) bis zum Einspracheentscheid vom 28. Januar 2008. In diesem Zeitpunkt war aber die zweijährige Frist gemäss <ref-law> seit dem 7. Oktober 2004 längst abgelaufen.
Die von Amtes wegen vorfrageweise zu prüfende Frage, ob die Schadenersatzforderung für entgangene Beiträge im Zusammenhang mit einem strafrechtlich relevanten Verhalten steht (<ref-ruling> E. 4a S. 258) - zu denken ist in erster Linie an den Tatbestand der Zweckentfremdung vom Lohn abgezogener Arbeitnehmerbeiträge (<ref-law>) - und daher nach <ref-law> eine längere - fünfjährige (aArt. 70 StGB; <ref-ruling>) - Verjährungsfrist gelten würde, ist zu verneinen. Weder hat die Ausgleichskasse diese Frage aufgeworfen und dazu Unterlagen eingereicht (<ref-ruling> E. 4a in fine S. 259), noch enthalten die Akten diesbezügliche Hinweise. Im Gegenteil wird dem Beschwerdeführer gerade vorgeworfen, die Firma habe Löhne ausgerichtet, ohne die Sozialversicherungsbeiträge bezahlen zu können.
4.4 Der Schadenersatzanspruch ist somit verjährt und die Beschwerde begründet. Bei diesem Ergebnis kann offen bleiben, ob die Haftung noch aus anderen Gründen, insbesondere mangels eines relevanten Verschuldens, zu verneinen wäre.
5. Dem Ausgang des Verfahrens entsprechend hat die Ausgleichskasse die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 17. April 2008 und der Einspracheentscheid der Ausgleichskasse Schwyz vom 28. Januar 2008 werden aufgehoben.
2. Die Gerichtskosten von Fr. 4000.- werden der Ausgleichskasse Schwyz auferlegt.
3. Die Ausgleichskasse Schwyz hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Dezember 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler