Sachverhalt:
A. A.a Die Stiftung für den flexiblen Altersrücktritt im Bauhauptgewerbe (Stiftung FAR) ist zuständig für die Durchführung des am 12. November 2002 zwischen dem Schweizerischen Baumeisterverband (SBV) und der GBI Gewerkschaft Bau & Industrie (heute UNIA) sowie der Gewerkschaft SYNA abgeschlossenen Gesamtarbeitsvertrages für den flexiblen Altersrücktritt im Bauhauptgewerbe (GAV FAR), der vom Bundesrat teilweise allgemeinverbindlich erklärt wurde.
A.b Im Hinblick auf die Vollendung seines sechzigsten Altersjahres am 28. August 2007 ersuchte B._ die Stiftung FAR am 3. April 2007 um Leistungen aus vorzeitigem Altersrücktritt. Diese verneinte ihre Leistungspflicht mit der Begründung, der Bereich "carrelage", in welchem er jeweils als Plattenleger gearbeitet habe, falle nicht unter den Geltungsbereich des GAV FAR. Am 2. Juni 2008 erhob B._ Klage gegen die Stiftung FAR mit dem Rechtsbegehren, diese sei zu verpflichten, ihm ab 1. September 2007 Leistungen aus vorzeitigem Altersrücktritt gemäss Reglement FAR nebst 5 % Zins ab Fälligkeit der einzelnen Rentenbetreffnisse zu entrichten. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 28. September 2009 ab.
B. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und erneuert das vorinstanzliche Rechtsbegehren; eventualiter sei die Sache zur weiteren Abklärung und neuen Entscheidung an die Vorinstanz zurückzuweisen.
Die Stiftung FAR schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung, während das Staatssekretariat für Wirtschaft SECO sich zur Sache äussert, ohne einen Antrag zu stellen.

Erwägungen:
1. Der Sachverhalt - soweit entscheiderheblich - ist nicht umstritten. Ob der Beschwerdeführer bei der Einzelfirma X._ oder bei der Y._ S.A., wo er vom 1. Juni 1994 bis 31. Dezember 2000 resp. vom 1. Januar 2001 bis 30. September 2006 angestellt war, nur im Bereich Bodenplatten oder auch in der Sparte Unterlagsböden gearbeitet hat, ist nicht wesentlich. Denn auch wenn anzunehmen wäre, dass die Arbeitgeberin für die ausgeübte Tätigkeit vom betrieblichen Geltungsbereich des GAV FAR erfasst wird (Art. 2 Abs. 1 lit. h GAV FAR), vermöchte dies einen Anspruch auf eine Überbrückungsrente nicht zu begründen, weil dafür insbesondere die Arbeit in den letzten sieben Jahren vor dem allfälligen Leistungsbezug massgebend ist (Art. 14 Abs. 1 lit. c und Abs. 2 GAV FAR) und feststeht, dass die Y._ S.A. seit der im September 2005 erfolgten Ausgliederung des Bereichs Unterlagsböden in die Z._ SA ein reiner Plattenlegerbetrieb ist.
2. Streitig und zu prüfen ist die Rechtsfrage, ob die Plattenlegerunternehmen, bei denen der Beschwerdeführer arbeitete, dem betrieblichen Geltungsbereich des GAV FAR unterstehen.
2.1 Die Geltung des GAV FAR kann sich aus dem Bundesratsbeschluss vom 5. Juni 2003 über die Allgemeinverbindlicherklärung des GAV FAR (AVE GAV FAR; BBl 2003 4039) ergeben (vgl. <ref-ruling>; SZS 2008 S. 487, 9C_211/2008; Urteil 9C_614/2009 vom 28. Januar 2010), oder aber aus dem GAV FAR direkt. Für die dem GAV angeschlossenen Betriebe gilt er auch, soweit er nicht allgemein verbindlich erklärt ist.
2.2 Zumindest in Bezug auf die Firma V._, bei welcher der Beschwerdeführer vom 1. Februar bis 31. August 2007 zuletzt angestellt war, ist eine Mitgliedschaft beim SBV nicht ersichtlich, so dass für sie eine vertragliche Geltung des GAV FAR von vornherein nicht in Betracht fällt, zumal - mangels Zustimmung der Vertragsparteien (vgl. Art. 2 Abs. 3 GAV FAR, E. 2.3) zu Recht - nicht geltend gemacht wird, sie habe sich gemäss Art. 356b OR dem Vertrag angeschlossen. Im Gegenteil beschloss die Rekurskommission der Stiftung FAR am 7. November 2007, die Firma V._ dem GAV FAR nicht zu unterstellen und ihr die bisher bezahlten Beiträge zurückzuerstatten. Ebenso entschied sie gleichentags in Bezug auf den Bereich Bodenplatten (carrelages) der Y._ S.A.
2.3 Jedenfalls ist für den Anspruch auf eine Überbrückungsrente erforderlich, dass sich der Betrieb oder eigenständige Betriebsteil der Arbeitgeberin jeweils im betrieblichen Geltungsbereich des GAV befindet resp. befand. Der diesbezüglich einschlägige Art. 2 GAV FAR lautet wie folgt:
"1 Der GAV FAR gilt für alle inländischen und ausländischen in der Schweiz tätigen Betriebe bzw. für deren Betriebsteile sowie für Subunternehmer und selbstständige Akkordanten, die Arbeitnehmer beschäftigen, welche gewerblich tätig sind, insbesondere in folgenden Bereichen:
a. Hoch-, Tief-, Untertag- und Strassenbau (einschliesslich Belagseinbau)
b. Aushub, Abbruch, Deponie- und Recyclingbetriebe usw.
c. Zimmereigewerbe
d. Steinhauer- und Steinbruchgewerbe sowie Pflästereibetriebe
e. Fassadenbau- und Fassadenisolationsbetriebe, ausgenommen Betriebe, die in der Gebäudehülle tätig sind. Der Begriff «Gebäudehülle» schliesst ein: geneigte Dächer, Unterdächer, Flachdächer und Fassadenbekleidun- gen (mit dazugehörendem Unterbau und Wärmedämmung)
f. Abdichtungs- und Isolationsbetriebe für Arbeiten an der Gebäudehülle im weiteren Sinn und analoge Arbeiten im Tief- und Untertagbereich
g. Betoninjektions- und Betonsanierungsbetriebe, Betonbohr- und Beton- schneideunternehmen
h. Betriebe, die Asphaltierungen ausführen und Unterlagsböden erstellen
i. Betriebe, die gesamtbetrieblich mehrheitlich Geleisebau- und Bahnunter- haltsarbeiten ausführen, ausgenommen Betriebe, die Schienenschweiss- und Schienenschleifarbeiten, maschinellen Geleiseunterhalt sowie Fahr- leitungs- und Stromkreislaufarbeiten ausführen.
2 Ausgenommen sind:
a) Betriebe des Kantons Genf, die Abdichtungen ausführen
b) das Marmorgewerbe des Kantons Genf
c) Betriebe des Kantons Waadt, die Asphaltierungen, Abdichtungen und Spezialarbeiten mit Kunstharzen ausführen
d) die Berufe der Steinbearbeitung im Kanton Waadt
e) die Industrie- und Unterlagsböden-Betriebe des Kantons Zürich und des Bezirks Baden (AG).
3 Betriebe, die dem Geltungsbereich des Schweizerischen Landesmantelvertrags im Bauhauptgewerbe (LMV 2005), nicht aber unter den betrieblichen Geltungsbereich des GAV FAR fallen, können sich mit Zustimmung der Vertragsparteien dem GAV FAR durch schriftliche Vereinbarung anschliessen, wenn die Eintrittsbeiträge gemäss Art.28 sowie sämtliche seit dem Inkrafttreten dieses Vertrages oder der Betriebsaufnahme geschuldeten Beträge nachbezahlt werden. Der Anschluss muss mindestens für die Dauer von fünf Jahren erklärt werden."
2.4 Der (betriebliche) Geltungsbereich des Landesmantelvertrages für das Schweizerische Bauhauptgewerbe (LMV) stimmt mit jenem des GAV FAR nicht überein (STEFAN KELLER, Der flexible Altersrücktritt im Bauhauptgewerbe, 2008, S. 367 f.; vgl. auch Art. 2 Abs. 3 GAV FAR). Auf die Argumentation des Beschwerdeführers, soweit sie den LMV betrifft, ist daher nicht weiter einzugehen.
2.5 Es trifft zu, dass in Art. 2 Abs. 1 GAV FAR die Nennung der vom GAV FAR erfassten Tätigkeitsbereiche mit dem Ausdruck "insbesondere" eingeleitet wird. Aus der nachfolgenden Aufzählung geht indessen hervor, dass es sich durchwegs um Betriebe des Baugewerbes handelt. Angesichts der detaillierten Aufzählung ist anzunehmen, dass ausserhalb dieses Katalogs eine GAV-Unterstellung nur aufgrund einer ausdrücklichen Äusserung oder eines formellen Anschlusses erfolgt (KELLER, a.a.O., S. 365). Plattenlegerbetriebe wären angesichts ihrer grossen Bedeutung besonders erwähnt worden, wenn sie dem GAV FAR hätten unterstellt werden sollen.
2.6 Der Beschwerdeführer vertritt denn auch ausdrücklich nicht den Standpunkt, dass das Plattenlegergewerbe gesamtschweizerisch dem GAV FAR unterstehe. Wie er selber ausführt, sind dafür in den meisten Kantonen andere, teilweise allgemeinverbindlich erklärte GAV anwendbar. Er ist jedoch der Meinung, dass der GAV FAR dort gelten müsse, wo Plattenlegerbetriebe von keinem anderen GAV erfasst werden.
2.7 Als gesamtschweizerischer Vertrag muss der GAV FAR grundsätzlich - vorbehältlich der darin ausdrücklich genannten kantonalen Besonderheiten - nach gesamtschweizerischem Verständnis ausgelegt werden.
2.8 Die Frühpensionierung ist eine heftig umstrittene Massnahme, die vom üblichen Inhalt eines GAV abweicht und angesichts der erheblichen finanziellen Tragweite einer klaren vertraglichen Begründung bedarf. Dass sich in einzelnen wenigen Kantonen (so im Kanton Neuenburg) die Plattenlegerfirmen mangels eines eigenen GAV dem LMV unterstellt haben, sagt deshalb in Bezug auf den Geltungsbereich des GAV FAR nichts aus. Es mag auch sein, dass hinsichtlich eines bestimmten Gewerbes - wenn es nicht als dem GAV FAR unterstellt betrachtet wird - in einem Kanton die vorzeitige Pensionierung nicht vorgesehen ist, während dies in anderen Kantonen aufgrund der dort geltenden Verträge (vgl. etwa GAV vom 9. Juni 2004 für die vorzeitige Pensionierung im westschweizerischen Ausbaugewerbe, der allerdings erst mit Bundesratsbeschluss vom 17. September 2008 mit Wirkung ab 1. November 2008 u.a. auch für die Neuenburger Plattenlegerbetriebe allgemeinverbindlich erklärt wurde, weshalb er für den Beschwerdeführer unbehelflich ist) durchaus möglich ist. Dieser Umstand kann indessen nicht dazu führen, dass die Bestimmungen über den betrieblichen Geltungsbereich des GAV FAR für verschiedene Kantone unterschiedlich ausgelegt werden. Im Übrigen weist der Umstand, dass für das Plattenlegergewerbe in den meisten Kantonen besondere GAV geschaffen wurden, darauf hin, dass sie gerade nicht als vom GAV FAR miterfasst betrachtet wurden.
2.9 Ist schon vertraglich nicht vorgesehen, dass das Plattenlegergewerbe unter den GAV FAR fällt, so erfolgt eine Unterstellung erst recht nicht durch die Allgemeinverbindlicherklärung, zumal in Art. 2 Abs. 4 AVE GAV FAR im Unterschied zu Art. 2 Abs. 1 GAV FAR bei der Festlegung des betrieblichen Geltungsbereichs der Begriff "insbesondere" nicht verwendet wurde und Plattenlegerbetriebe in der nachfolgenden Aufzählung nicht genannt werden.
3. Der Beschwerdeführer macht hinsichtlich der verweigerten Vertragsunterstellung eine Verletzung des Vertrauensgrundsatzes geltend; er erblickt eine Vertrauensgrundlage darin, dass die Stiftung FAR jahrelang widerspruchslos Beiträge entgegengenommen hat.
3.1 Für den Vertrauensschutz (Art. 9 BV; <ref-ruling> E. 6.1 S. 636 f.) wird u.a. vorausgesetzt, dass die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat (<ref-ruling> E. 6.1 S. 636 f.; <ref-ruling> E. 8.1 S. 60, je mit Hinweisen; Urteil 1A.235/2006 vom 2. Juli 2007 E. 4.2, nicht publ. in: <ref-ruling>); eine generelle Praxis ist nicht geeignet, eine Vertrauensgrundlage zu schaffen (<ref-ruling> E. 4c S. 274 f.; <ref-ruling> E. 5b S. 170 f., Urteil 2C_762/2008 vom 8. Mai 2009 E. 2.3). Der Vertrauensschutz kommt ausserdem nur zum Tragen, soweit die Behörde gestützt auf eine verlässliche Sachverhaltsgrundlage gehandelt oder entschieden hat (Urteil C 79/96 vom 19. Februar 1997 E. 4c).
3.2 An den genannten Voraussetzungen fehlt es hier: Mit der (vorläufigen) Entgegennahme der Beitragszahlungen hat die Stiftung FAR nicht in Bezug auf die Arbeitgeberfirmen des Beschwerdeführers und schon gar nicht für diesen selber konkrete Feststellungen aufgrund einer Unterstellungsprüfung getroffen, sondern - wie der Beschwerdeführer selber vorbringt - in allgemeiner Weise und gerade ohne nähere Abklärungen von allen Neuenburger Plattenlegerbetrieben die Beiträge entgegengenommen. Das stellt keine hinreichende Vertrauensgrundlage dar.
3.3 Mangels einer genügenden Vertrauensgrundlage im konkreten Fall und weil Plattenlegerbetriebe nicht in dessen Anwendungsbereich fallen, ist der GAV FAR nicht anwendbar. Die Beschwerde ist unbegründet.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die obsiegende Beschwerdegegnerin hat als mit öffentlich-rechtlichen Aufgaben betraute Organisation keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG; <ref-ruling> E. 4 S. 636 mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Staatssekretariat für Wirtschaft SECO Gesamtarbeitsverträge und Arbeitsmarktaufsicht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann