Sachverhalt:
A. Die Firma X._ AG mit Sitz in Y._ war der Ausgleichskasse des Schweizerischen Baumeisterverbandes angeschlossen. Am .... wurde über die Gesellschaft der Konkurs eröffnet. In diesem kam die Ausgleichskasse mit Fr. 124'579.35 (Fr. 167'390.05 [vom Konkursamt zugelassener Forderungsbetrag] - Fr. 42'810.70 [Konkursdividende]) zu Verlust. Mit Verfügungen vom 25. November 2005 verpflichtete sie S._, M._ und E._ als ehemalige Verwaltungsräte der konkursiten Firma zur Bezahlung von Schadenersatz für nicht oder zu wenig bezahlte Sozialversicherungsbeiträge in den Jahren 2001 bis 2003. Mit Einspracheentscheid vom 13. Januar 2006 bestätigte die Ausgleichskasse die Schadenersatzpflicht von S._ in der verfügten Höhe von Fr. 124'397.60. Mit Einspracheentscheid vom 3. Februar 2006 reduzierte sie den M._ betreffenden Forderungsbetrag auf Fr. 88'365.65.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde des S._ ab. Die Beschwerde des M._ hiess es in dem Sinne teilweise gut, dass es in Änderung des Einspracheentscheides vom 3. Februar 2006 die Schadenersatzsumme auf Fr. 84'644.65 reduzierte (Entscheid vom 30. November 2007).
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 30. November 2007, soweit ihn betreffend, sei aufzuheben und der Einspracheentscheid vom 3. Februar 2006 sei dahingehend zu ändern, dass er zur Zahlung von Schadenersatz in der Höhe von Fr. 72'229.55 verpflichtet werde.
Die Verbandsausgleichskasse beantragt, der kantonale Entscheid sei zu bestätigen. Kantonales Gericht und Bundesamt für Sozialversicherungen äussern sich nicht zur Beschwerde. Die als Mitinteressierte zum Verfahren beigeladenen S._ und E._ haben sich nicht vernehmen lassen.

Erwägungen:
1. Die II. sozialrechtliche Abteilung des Bundesgerichts ist zuständig zum Entscheid über die streitige Schadenersatzpflicht nach <ref-law> und zwar auch, soweit die Forderung entgangene Beiträge an die kantonale Familienausgleichskasse betrifft (Urteil 9C_465+473/2007 vom 20. Dezember 2007 E. 1).
2. Die Schadenersatzpflicht des Beschwerdeführers nach <ref-law> ist im Grundsatz unbestritten. Ebenfalls steht ausser Frage, dass sich die Haftung in zeitlicher Hinsicht lediglich bis zum am 25. April 2003 erfolgten Austritt aus dem Verwaltungsrat der am .... in Konkurs gefallenen Firma erstreckt (<ref-ruling> E. 4a S. 61).
3. Die Vorinstanz argumentiert wie folgt: Der von der Ausgleichskasse erlittene Verlust nach <ref-law> betrug Fr. 167'208.30 (Fr. 167'390.05 [vom Konkursamt zugelassener Forderungsbetrag] - Fr. 181.75 [zu Gunsten Militärdienstkasse]). Davon hatte der Beschwerdeführer aufgrund seines früheren Austritts aus dem Verwaltungsrat nur Fr. 118'688.45 mitzuverantworten. Dieser Betrag reduzierte sich aufgrund einer späteren Gutschrift von Fr. 3'721.- aus der Schlussabrechnung für die Zeit von Januar bis September 2003 auf Fr. 114'967.45. Das Konkursverfahren ergab eine Dividende von Fr. 42'810.70. Aufgerundet 71 % dieser Summe oder Fr. 30'395.60 hat die Vorinstanz an den vom Beschwerdeführer zu leistenden Schadenersatz angerechnet. Dieser Prozentsatz entspricht dem Verhältnis zwischen dem vom Schadenersatzpflichtigen mitzuverantwortenden und dem gesamten Verlust der Ausgleichskasse bei Konkurseröffnung (Fr. 118'688.45/Fr. 167'208.30 x 100 %). Daraus resultiert eine Schadenersatzsumme von Fr. 84'571.85. Das kantonale Gericht hat einen Betrag von Fr. 85'165.85 ermittelt. Diese Abweichung beruht im Wesentlichen darauf, dass es aus offensichtlichem Versehen eine Gutschrift von Fr. 3'127.- statt Fr. 3'721.- berücksichtigte. Die in Dispositiv-Ziffer 1 des angefochtenen Entscheids genannte rückerstattungspflichtige Summe von Fr. 84'644.65 entspricht dem von der Ausgleichskasse in der vorinstanzlichen Vernehmlassung erwähnten Schadensbetrag.
4. Der Beschwerdeführer rügt zu Recht, die Anrechnung lediglich eines Teils der Konkursdividende verletze Bundesrecht. Entgegen der offenbaren Annahme der Vorinstanz besteht nicht eine Schadenersatzforderung im Umfang der kollozierten Forderung, die sich nachträglich um die Konkursdividende reduziert. Der Schaden nach <ref-law> besteht darin, dass die Ausgleichskasse zu Verlust kommt, weil die geschuldeten Beiträge aus rechtlichen oder tatsächlichen Gründen nicht mehr erhoben werden können (<ref-ruling> E. 3c S. 257 f.). Soweit eine Konkursdividende ausbezahlt wird, wird damit die Beitragsschuld beglichen. Insoweit entsteht von vornherein kein Schaden im Sinne von <ref-law> und damit keine Schadenersatzforderung. Die Konkursdividende ist daher nicht an die Schadenersatzforderung gegen die Mitglieder des Verwaltungsrats anzurechnen, sondern an die Beitragsforderung gegen die AG. Liegt weder eine gültige Erklärung über die Tilgung noch eine Bezeichnung in der Quittung vor, ist eine Zahlung auf die fällige Schuld anzurechnen, unter mehreren fälligen auf diejenige Schuld, für die der Schuldner zuerst betrieben worden ist, und hat keine Betreibung stattgefunden, auf die früher verfallene (<ref-law>). Diese Bestimmung ist nach ständiger Rechtsprechung auch im Bereich der AHV sinngemäss anwendbar. Demzufolge sind nachträgliche Beitragszahlungen einer Firma oder eines Selbständigerwerbenden vorab zur Tilgung der ältesten Ausstände zu verwenden (<ref-ruling> E. 3d S. 6; ZAK 1988 S. 602 E. 6b; ZAK 1989 S. 112 E. 3c; SVR 1995 AHV Nr. 70 S. 214 E. 4; nicht veröffentlichte Urteile des Eidg. Versicherungsgerichts H 145/89 vom 7. August 1991 E. 6b, H 116/96 vom 20. Dezember 1996 E. 5, H 244/03 vom 8. Oktober 2004 E. 3.2 und H 232/04 vom 2. Februar 2006 E. 2.2). <ref-law> gilt auch, wenn aus dem Konkurs einer Firma, in welchem die Ausgleichskasse Beitragsforderungen eingegeben hat, eine Dividende resultiert. Diese ist - bei gegebenen tatbeständlichen Voraussetzungen - an die zuerst betriebenen oder die früher verfallenen Beitragsschulden anzurechnen (<ref-ruling> E. 6c S. 400).
Nach den unbestrittenen Vorbringen in der Beschwerde lagen weder eine gültige Erklärung der Konkursmasse über die Tilgung noch eine Bezeichnung der getilgten Schuld durch die Ausgleichskasse in einer für die Konkursdividende ausgestellten Quittung vor. Bei deren Auszahlung waren sämtliche Beitragsschulden zudem fällig gewesen. Diese sind somit auf diejenigen unbezahlt gebliebenen Beiträge anzurechnen, für die die konkursite Firma zuerst betrieben worden war. Gemäss dem vom Beschwerdeführer eingereichten Auszug aus dem Betreibungsregister vom .... waren bei seinem Austritt aus dem Verwaltungsrat am 25. April 2003 bereits Beiträge in der Höhe von netto Fr. 84'157.60 in Betreibung gestanden, somit mehr als die Konkursdividende von Fr. 42'810.70. Diese ist somit in vollem Umfang an die auch vom Beschwerdeführer zu verantwortenden Beitragsausstände anzurechnen. Der Schadensbetrag reduziert sich somit um Fr. 12'415.10 (Fr. 42'810.70 - Fr. 30'395.60) auf Fr. 72'156.75 (E. 3). Die Beschwerde ist begründet, wobei aber das Bundesgericht nicht über die Begehren des Beschwerdeführers hinausgehen darf (<ref-law>).
5. Dem Ausgang des Verfahrens entsprechend hat die Ausgleichskasse die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 30. November 2007 und der Einspracheentscheid der Ausgleichskasse des Schweizerischen Baumeisterverbandes vom 3. Februar 2006 dahingehend abgeändert, dass die Schadenersatzsumme auf Fr. 72'229.55 festgesetzt wird.
2. Die Gerichtskosten von Fr. 2'000.- werden der Ausgleichskasse des Schweizerischen Baumeisterverbandes auferlegt.
3. Die Ausgleichskasse des Schweizerischen Baumeisterverbandes hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.- zu entschädigen.
4. Die Sache wird zur Festsetzung der Parteientschädigung für das vorangegangene Verfahren an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Bundesamt für Sozialversicherungen, S._ und E._ schriftlich mitgeteilt.
Luzern, 29. Mai 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler