Sachverhalt:
A. Der 1947 geborene G._ meldete sich im Oktober 2002 bei der Invalidenversicherung an und beantragte Berufsberatung, Umschulung und eine Rente. Die IV-Stelle des Kantons Zürich klärte die gesundheitlichen und erwerblichen Verhältnisse ab. Unter anderem holte sie den Bericht des Spital X._ vom 22. Oktober 2002 über die zweitägige Teilevaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit sowie bei der Klinik Y._ ein Gutachten ein. Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 29. März 2007 den Anspruch auf eine Invalidenrente.
B. Die Beschwerde des G._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Januar 2009 ab.
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 29. Januar 2009 sei aufzuheben und ihm rückwirkend eine angemessene Invalidenrente zuzusprechen, allenfalls die Sache an die IV-Stelle zu ergänzenden Abklärungen und neuer Verfügung über den Anspruch auf die gesetzlichen Leistungen zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Das kantonale Gericht hat die Verneinung des Anspruchs auf eine Invalidenrente durch die IV-Stelle bestätigt. In tatsächlicher Hinsicht hat es festgestellt, der Versicherte leide in erster Linie an chronischen Nackenschmerzen in Form eines Cervikalsyndroms resp. eines cervikobrachialen oder cervikospondylogenen Schmerzsyndroms, wobei die Schmerzen zeitweilig bis in den kleinen Finger des rechten Arms ausstrahlten, sowie an einem chronischen lumbospondylogenen Schmerzsyndrom und einer koronaren Herzkrankheit. Gemäss dem Gutachten der Klinik Y._ vom 5. April 2006 sei trotz der geklagten Beschwerden eine behinderungsangepasste (leichte bis mittelschwere, wechselbelastende) Tätigkeit ganztags zumutbar. Den von der IV-Stelle aufgrund dieser Einschätzung durch Einkommensvergleich (<ref-law> in Verbindung mit <ref-law>) ermittelten Invaliditätsgrad von 24 % hat die Vorinstanz mangels substanziierter Bestreitung sowie fehlender Anhaltspunkte für Rechtsfehler bestätigt.
2. Der Beschwerdeführer rügt eine offensichtlich unrichtige Sachverhaltsfeststellung durch die Vorinstanz. Das Gutachten vom 5. April 2006 sei weder beweistauglich noch beweiskräftig. Die Einschätzung der Arbeitsfähigkeit in der Expertise werde durch die Berichte der Klinik S._ vom 6. Februar und 13. April 2007 entscheidend in Frage gestellt.
3. Die unvollständige Feststellung der rechtserheblichen Tatsachen sowie Nichtbeachtung des Untersuchungsgrundsatzes nach <ref-law> durch das kantonale Versicherungsgericht stellen eine Verletzung von Bundesrecht nach <ref-law> dar (Urteil 9C_802/2008 vom 22. Dezember 2008 E. 1.1 mit Hinweisen). Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) im Besonderen verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteil 9C_410/2008 vom 8. September 2008 E. 3.3.1 mit Hinweisen).
Im Übrigen ist die Sachverhaltsfeststellung der Vorinstanz für das Bundesgericht verbindlich, wenn sie nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung ebenfalls nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteile 9C_801/2008 vom 6. Januar 2009 E. 2.2 und 9C_410/2008 vom 8. September 2008 E. 3.3.1). Demgegenüber ist die richtige Anwendung der Beweiswürdigungsregeln durch das kantonale Versicherungsgericht nach <ref-law> eine Rechtsfrage und als solche im Rahmen der den Parteien obliegenden Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei zu prüfen (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 270/2007 vom 12. August 2008 E. 2.2).
Geht es im Besonderen um den Gesundheitszustand und die Arbeitsfähigkeit einer versicherten Person, ist auf die Rechtsprechung hinzuweisen, wonach einem ärztlichen Bericht Beweiswert zukommt, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 3a S. 352; Urteil 9C_55/2008 vom 26. Mai 2008 E. 4.2; Urteil 9C_932/2008 vom 23. März 2009 E. 3).
4. 4.1 Im Gutachten vom 5. April 2006 wurde als Hauptdiagnose ein chronisches zervikospondylogenes Schmerzsyndrom rechts und lumbospondylogenes Schmerzsyndrom beidseits, linksbetont genannt. Bezüglich der Befunde im HWS-Bereich wurde eine im Vergleich zu den Voraufnahmen vom März 1996 unveränderte diskret beginnende Spondylarthrose C4/5 und C5/6 erwähnt. In der Beurteilung wurde ausgeführt, obschon der Versicherte seine Beschwerden glaubhaft schildere und bei der Untersuchung gut kooperiere, bestehe klinisch und radiologisch eine Diskrepanz zwischen den wenig objektiven Befunden und den subjektiv geklagten Schmerzen.
Im Bericht der Klinik S._ vom 13. April 2007 wurde als Diagnose neben Spondylarthrosen mit lumbospondylogener Ausstrahlung linksbetont u.a. auch eine C4 Reizung mit myotomaler/radikulärer Ausstrahlung rechts genannt. Dabei wurde auf das CT der HWS vom 11. Dezember 2006 hingewiesen, welches eine neuroforaminale ossäre Stenosierung C3/4 beidseits gezeigt hatte. Die Ärzte der Klinik S._ führten aus, eine Steroidinfiltration über der C4-Wurzel habe für sieben Wochen gut gewirkt. Nun sei der interscapuläre Schmerz jedoch wieder zunehmend. Es solle daher im Mai eine weitere Injektion durchgeführt werden. Das Fortführen dieser Therapie sei vertretbar, falls mit drei bis vier Injektionen pro Jahr die Schmerzen genügend kontrolliert werden könnten.
4.2 Die Vorinstanz stellt weder Befund (neuroforaminale ossäre Stenosierung C3/4 beidseits) noch Diagnose (C4 Reizung mit myotomaler/radikulärer Ausstrahlung rechts) im Bericht der Klinik S._ vom 13. April 2007 in Frage. Sie ist jedoch der Auffassung, es sei lediglich eine Frage der Bezeichnung, ob es sich bei den chronischen Nackenschmerzen um eine radikuläre oder eine vertebragene resp. spondylogene oder sonst eine Symptomatik handle. Dabei meint sie mit Bezeichnung der Schmerzen offenbar die Diagnose.
4.2.1 Für den Anspruch auf eine Invalidenrente sind die erwerblichen Folgen der gesundheitlich bedingt eingeschränkten Arbeitsfähigkeit entscheidend (vgl. Art. 6 und 7 ATSG). So besehen sind weder eine richtige Diagnosestellung noch die Kenntnis der (genauen) Ursachen des Gesundheitsschadens an sich von ausschlaggebender Bedeutung. Ein klarer Befund, eine genaue Diagnose und allenfalls die Ätiologie können aber wesentlich sein, wenn zu beurteilen ist, ob einem ärztlichen Bericht Beweiswert zukommt, insbesondere ob er schlüssig, für die rechtsanwendenden Behörden prüfend nachvollziehbar und in sich widerspruchsfrei ist. Dies trifft auf das Gutachten der Klinik Y._ vom 5. April 2006 insofern zu, als darin die Befunde im HWS-Bereich als wenig objektiv (diskret) bezeichnet, auf die Diskrepanz zu den subjektiv geklagten Schmerzen hingewiesen und für leichte wechselbelastende Tätigkeiten eine Arbeitsfähigkeit von 100 % angegeben wird. Diese Beurteilung wird jedoch durch die im - nach der Begutachtung erstellten - CT entdeckte neuroforaminale ossäre Stenosierung C3/4 beidseits ernstlich in Frage gestellt. Die Annahme eines diskreten Befundes und damit eine durch objektivierbare Befunde nicht hinreichend erklärbare Diskrepanz zu den subjektiv geklagten Schmerzen erscheint nicht mehr gesichert, wie in der Beschwerde zu Recht sinngemäss vorgebracht wird.
4.2.2 Gemäss Bericht der Klinik S._ vom 13. April 2007 verursacht die neuroforaminale ossäre Stenosierung C3/4 eine Reizung mit myotomaler/radikulärer Ausstrahlung rechts. Ebenfalls werden myofasziale Ausstrahlungen mit Missempfindungen am kleinen Finger rechts erwähnt. Inwiefern sich diese Symptome auf die Arbeitsfähigkeit auswirken, kann nicht gesagt werden. Entgegen der Auffassung der Vorinstanz kann nicht deshalb auf weitere Abklärungen verzichtet werden, weil die Einschätzung der Arbeitsfähigkeit im Gutachten vom 5. April 2006 mit dem Ergebnis der im Oktober 2002 durchgeführten Evaluation der funktionellen Leistungsfähigkeit übereinstimmt. Abgesehen von der zeitlichen Distanz standen damals Nackenschmerzen nicht im Vordergrund. Zudem handelte es sich lediglich um eine Teilevaluation, wie in der Beschwerde richtig vorgebracht wird. Ebenfalls ist unerheblich, dass die Ärzte der Klinik S._ keine Angaben zur Arbeitsfähigkeit gemacht haben. Daraus kann jedenfalls nicht gefolgert werden, sie würden solche (implizit) verneinen. Die Therapie mit Infiltrationen hatte zwar zur einer Schmerzreduktion geführt. Unklar ist aber, ob dieser Erfolg bei (zumutbaren) jährlich vier Applikationen von Dauer wäre.
4.2.3 Schliesslich weist die Vorinstanz insoweit richtig darauf hin, dass bei der Würdigung von Berichten behandelnder Ärzte berücksichtigt werden darf und soll, dass deren Beurteilung mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten der Patienten ausfällt (Urteile 8C_812/2007 vom 6. Oktober 2008 E. 8.2, 8C_772/2007 vom 6. Mai 2008 E. 5.2.3 und 6B_547/2007 vom 1. Februar 2008 E. 2.3). Berichte behandelnder Ärzte können jedoch ein Gutachten in Frage stellen und zumindest Anlass für weitere Abklärungen geben, wenn darin nicht rein subjektiver ärztlicher Interpretation entspringende Aspekte benennt werden, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind und bei deren Berücksichtigung sich eine abweichende Beurteilung aufdrängt (SVR 2008 IV Nr. 15, I 514/06 E. 2.2.1, Urteile 9C_739/2008 vom 26. März 2009 E. 2.4 und 9C_24/2008 vom 27. Mai 2008 E. 2.3.2). Die mittels Computertomogramm nachgewiesene neuroforaminale ossäre Stenosierung C3/4 beidseits stellt einen solchen Umstand dar.
4.3 Nach dem Gesagten beruht der vorinstanzliche Entscheid auf einem unvollständig abgeklärten Sachverhalt. Auf die Einschätzung der trotz der gesundheitlichen Beeinträchtigungen zumutbaren Arbeitsfähigkeit des Hausarztes Dr. med. E._ im Bericht vom 3. März 2004 kann nicht abgestellt werden. Es erübrigt sich daher, auf die Ausführungen in der Beschwerde zur Ermittlung des Invalideneinkommens näher einzugehen. Die IV-Stelle wird nochmals ein Gutachten einholen und danach über den streitigen Rentenanspruch neu verfügen. Die Beschwerde ist im Eventualstandpunkt begründet.
5. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Januar 2009 und die Verfügung der IV-Stelle des Kantons Zürich vom 29. März 2007 werden aufgehoben. Die Sache wird an die Verwaltung zurückgewiesen, damit sie nach Abklärungen im Sinne der Erwägungen über den Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle des Kantons Zürich auferlegt.
3. Die IV-Stelle des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Das Sozialversicherungsgericht des Kantons Zürich hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu zu verlegen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Juni 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler