Sachverhalt:
A. Der 1949 geborene M._ meldete sich im September 2003 bei der Invalidenversicherung an und beantragte Umschulung und eine Rente. Nach Abklärungen u.a. zum Gesundheitszustand und zur Arbeitsfähigkeit aus psychiatrischer Sicht lehnte die IV-Stelle des Kantons Zürich mit Verfügung vom 7. März 2005 das Leistungsbegehren ab, was sie mit Einspracheentscheid vom 26. April 2006 bestätigte.
B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich nach zweifachem Schriftenwechsel und nach Einholung eines rheumatologischen Berichts, wozu die Parteien Stellung nehmen konnten, mit Entscheid vom 21. November 2007 ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 21. November 2007 sei aufzuheben und es sei ihm aufgrund des Ergebnisses einer interdisziplinären Begutachtung eine Rente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen im Sinne der Erwägungen und zur neuen Entscheidung an das kantonale Gericht zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Das kantonale Gericht hat durch Einkommensvergleich (<ref-law> und <ref-ruling> E. 1 S. 30 in Verbindung mit <ref-ruling>) einen Invaliditätsgrad von 23 % ermittelt, was keinen Anspruch auf eine Invalidenrente gibt (<ref-law>). Das Invalideneinkommen im Besonderen hat es auf der Grundlage der Schweizerischen Lohnstrukturerhebung 2002 des Bundesamtes für Statistik (vgl. dazu <ref-ruling> E. 4.2.1 S. 476 und <ref-ruling>) bestimmt. Dabei ist die Vorinstanz, entsprechend der Einschätzung des Regionalen Ärztlichen Dienstes der IV-Stelle (Stellungnahmen vom 12. Januar und 6. Juni 2005), davon ausgegangen, aus somatischer Sicht bestehe für leichte körperliche Tätigkeiten mit Wechselbelastung keine Einschränkung der Arbeitsfähigkeit; die von Dr. med. S._ in seinem Gutachten vom 11. Dezember 2004 diagnostizierte psychische Störung sei invalidenversicherungsrechtlich nicht von Bedeutung.
3. In der Beschwerde wird eine unvollständige Sachverhaltsfeststellung durch die Vorinstanz gerügt. Insbesondere sei die funktionale Arbeitsfähigkeit aufgrund der somatischen Beschwerden nicht hinreichend abgeklärt worden. Die Vorinstanz ignoriere, dass die Universitätsklinik Y._ im Bericht vom 11. Juli 2007 eine komplexe vielseitige Beeinflussung von physischen und psychischen Beschwerden festgestellt und eine interdisziplinäre Begutachtung für unabdingbar erachtet habe. Die Beurteilung des Regionalen Ärztlichen Dienstes beruhe auf nicht ausreichenden Grundlagen, was objektiv Zweifel an deren Unparteilichkeit und Zuverlässigkeit wecke.
4. 4.1 Bei den Stellungnahmen des Regionalen Ärztlichen Dienstes vom 12. Januar und 6. Juni 2006 handelt es sich um Berichte im Sinne von <ref-law>. Diese sind weder medizinische Gutachten im Sinne von <ref-law> noch Untersuchungsberichte gemäss <ref-law>. Ihre Funktion besteht darin, den medizinischen Sachverhalt zusammenzufassen und zu würdigen. Dazu gehört auch, bei sich widersprechenden medizinischen Akten eine Wertung vorzunehmen und zu beurteilen, ob auf die eine oder die andere Ansicht abzustellen oder aber eine zusätzliche Untersuchung vorzunehmen sei. Berichten nach <ref-law> kann nicht jegliche Aussen- oder Beweiswirkung abgesprochen werden. Vielmehr sind sie entscheidrelevante Aktenstücke (Urteil 9C_341/2007 vom 16. November 2007 4.1 mit Hinweisen).
4.2 Einem ärztlichen Bericht ist (voller) Beweiswert zuzuerkennen, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 3a S. 352; Urteil 9C_178/2007 vom 25. Oktober 2007 E. 3.1).
Nach der Rechtsprechung ist es dem Sozialversicherungsgericht nicht verwehrt, gestützt auf im Wesentlichen oder sogar ausschliesslich vom am Recht stehenden Versicherungsträger intern eingeholte medizinische Unterlagen zu entscheiden. In solchen Fällen sind an die Beweiswürdigung jedoch strenge Anforderungen in dem Sinne zu stellen, dass bei auch nur geringen Zweifeln an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen ergänzende Abklärungen vorzunehmen sind (<ref-ruling> E. 1d S. 162; Urteil 9C_341/2007 vom 16. November 2007 E. 4.1 mit Hinweisen).
Nach der Rechtsprechung ist es dem Sozialversicherungsgericht nicht verwehrt, gestützt auf im Wesentlichen oder sogar ausschliesslich vom am Recht stehenden Versicherungsträger intern eingeholte medizinische Unterlagen zu entscheiden. In solchen Fällen sind an die Beweiswürdigung jedoch strenge Anforderungen in dem Sinne zu stellen, dass bei auch nur geringen Zweifeln an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen ergänzende Abklärungen vorzunehmen sind (<ref-ruling> E. 1d S. 162; Urteil 9C_341/2007 vom 16. November 2007 E. 4.1 mit Hinweisen).
4.3 4.3.1 Die Einschätzung der Arbeitsfähigkeit aus somatischer Sicht (100 % für leichte körperliche Arbeiten, nach Möglichkeit ohne Zeitdruck) des Regionalen Ärztlichen Dienstes vom 12. Januar und 6. Juni 2005 beruhte auf den Berichten des Spitals X._ vom 24. Juni 1999 und des Hausarztes Dr. med. K._, Innere Medizin FMH, vom 26. Januar 2004. Im Bericht des Spitals X._ wurde nichts zur Arbeitsfähigkeit gesagt ebenso nicht im Bericht des selben Spitals vom 24. März 1999. Gemäss Dr. med. K._ bestand in der zuletzt ausgeübten Tätigkeit als Mitarbeiter in der Abteilung Mechanik/Bohrerei eines Industriebetriebs keine Arbeitsfähigkeit. Behinderungsangepasste Tätigkeiten erachtete der Hausarzt während acht Stunden wöchentlich für zumutbar.
Entgegen der Auffassung des Beschwerdeführers spricht der Umstand allein, dass der Bericht des Spitals X._ vom 24. März 1999 dem Regionalen Ärztlichen Dienst nicht vorgelegen hatte, nicht gegen die Zuverlässigkeit und Schlüssigkeit der Beurteilung vom 12. Januar und 6. Juni 2005. Anderseits bestand im damaligen Zeitpunkt lediglich eine aktuelle und zudem erheblich abweichende Einschätzung der Arbeitsfähigkeit, nämlich diejenige des Hausarztes. Bei dieser Aktenlage bildeten die ohnehin nicht auf eigenen Untersuchungen beruhenden Stellungnahmen des Regionalen Ärztlichen Dienstes vom 12. Januar und 6. Juni 2005 keine hinreichende Beurteilungsgrundlage.
4.3.2 Im von der Vorinstanz eingeholten Bericht der Universitätsklinik Y._ vom 11. Juli 2007 wurde festgehalten, retrospektiv lasse sich die Arbeitsfähigkeit für eine wechselbelastende körperlich leichte Tätigkeit nicht exakt angeben. Sie dürfte aber mindestens 50 % betragen. Über ein Jahr nach der letzten Konsultation seien auch keine Angaben zur aktuellen Arbeitsfähigkeit möglich. Weiter führten die Ärzte der Universitätsklinik Y._, wo der Beschwerdeführer seit März 2006 rheumatologisch abgeklärt wurde, aus, am geeignetsten wäre eine neutrale interdisziplinäre Begutachtung. Dabei käme einer schmerzpsychiatrischen Einschätzung der Arbeitsfähigkeit besonderes Gewicht zu, wie bereits im Bericht vom 5. Juli 2006 über den stationären Aufenthalt des Versicherten vom 3. bis 24. Mai 2006 empfohlen worden sei.
Aufgrund dieser Aussagen sind von weiteren Abklärungen zur Arbeitsfähigkeit aus rheumatologischer Sicht bis zum Erlass des Einspracheentscheides vom 26. April 2006, welcher praxisgemäss die zeitliche Grenze der gerichtlichen Prüfung bildet (<ref-ruling> E. 2 S. 354), keine verwertbaren neuen Erkenntnisse zu erwarten, weshalb davon abzusehen ist.
4.3.3 Unter diesen Umständen kann die vorinstanzliche Annahme einer Arbeitsfähigkeit von 100 % in wechselbelastenden körperlich leichten Tätigkeiten aus somatischer Sicht , nicht als offensichtlich unrichtig bezeichnet werden. Dies gilt umso mehr, als nach unbestrittener Feststellung des kantonalen Gerichts sowohl die Ärzte des Spitals X._ als auch der Universitätsklinik Y._ eine durch entsprechendes Training behebbare Dekonditionierung der Rumpfmuskulatur als mitursächlich für die lumbalen Beschwerden betrachteten.
4.3.3 Unter diesen Umständen kann die vorinstanzliche Annahme einer Arbeitsfähigkeit von 100 % in wechselbelastenden körperlich leichten Tätigkeiten aus somatischer Sicht , nicht als offensichtlich unrichtig bezeichnet werden. Dies gilt umso mehr, als nach unbestrittener Feststellung des kantonalen Gerichts sowohl die Ärzte des Spitals X._ als auch der Universitätsklinik Y._ eine durch entsprechendes Training behebbare Dekonditionierung der Rumpfmuskulatur als mitursächlich für die lumbalen Beschwerden betrachteten.
4.4 4.4.1 In psychiatrischer Hinsicht hat die Vorinstanz festgestellt, die von Dr. med. S._ in seinem Gutachten vom 11. Dezember 2004 diagnostizierte «Angst und depressive Störung, gemischt (ICD-10 F41.2)» sei leicht und schränke die aus somatischer Sicht bestehende Arbeitsfähigkeit nicht ein. Mit Bezug auf den «Verdacht auf eine Somatisierungsstörung (ICD-10 F45.0)» seien die massgeblichen Kriterien für die ausnahmsweise Unzumutbarkeit einer willensmässigen Anstrengung zur Schmerzüberwindung im Hinblick auf die Verwertung der Arbeitsfähigkeit nicht erfüllt (vgl. <ref-ruling> E. 1.2 S. 50). Es fehle an einer psychischen Komorbidität von erheblicher Schwere und Ausprägung. Des Weitern habe der Versicherte in der Beschwerde ausdrücklich darauf hingewiesen, er gehe Freizeitaktivitäten nach und habe seine Familie sowie seine gut integrierten Kinder. Ein schwerwiegender sozialer Rückzug sei somit nicht ausgewiesen.
4.4.2 Der Beschwerdeführer bestreitet nicht, dass die depressive Störung mit Angst gemischt von der Art und Schwere her nicht geeignet ist, die aus somatischer Sicht bestehende Arbeitsfähigkeit wesentlich einzuschränken. Dies schliesst zwar nicht zum vornherein aus, dass vom Versicherten willensmässig nicht verlangt werden kann zu arbeiten und einem Erwerb nachzugehen, wie in der Beschwerde insoweit richtig festgehalten wird. Zu beachten ist indessen, dass im Bericht der Universitätsklinik Y._ vom 13. März 2006 das Beschwerdebild als mechanisch bedingtes lumbospondylogenes Schmerzsyndrom mit Begünstigung durch eine Dekonditionierung der Rumpfmuskulatur beurteilt wurde. Im Bericht von 5. Juli 2006 über die Hospitalisation im Mai 2006 sodann wurde die Ursache für das lumbospondylogene Schmerzsyndrom im Rahmen der dekonditionierten Rumpfmuskulatur interpretiert. Eine solche kann aber nach für das Bundesgericht verbindlicher Feststellung der Vorinstanz in der Regel durch entsprechendes Training behoben werden (E. 4.3.3) und ist daher für die Frage einer invalidenversicherungsrechtlich relevanten Arbeitsunfähigkeit ausser Acht zu lassen. Somit kann aber das Kriterium einer chronischen körperlichen Begleiterkrankung mit einem mehrjährigen Krankheitsverlauf bei unveränderter oder progredienter Symptomatik nicht als gegeben erachtet werden.
Weiter kann nach der aufgrund der Akten nicht offensichtlich unrichtigen Feststellung der Vorinstanz jedenfalls nicht von einem schwerwiegenden, alle Belange des Lebens betreffenden sozialen Rückzug gesprochen werden. Schliesslich trifft zwar zu, dass im Bericht der Universitätsklinik Y._ vom 5. Juli 2006 erwähnt wurde, die Frage, ob eine fixierte Forderungshaltung (Entschädigungs- und Zuwendungsmöglichkeiten) vorliege, durch eine ausführliche psychiatrische Diagnostik zu klären wäre. Daraus ergibt sich aber nur, dass die behandelnden Rheumatologen einen im Zusammenhang ohnehin grundsätzlich unbeachtlichen sekundären Krankheitsgewinn (<ref-ruling> E. 3.3.2 S. 359) nicht ausschlossen. Für einen allenfalls relevanten primären Krankheitsgewinn im Sinne eines verfestigten, therapeutisch nicht mehr angehbaren innerseelischen Verlaufs einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (<ref-ruling> E. 2.2.3 S. 355), ergeben sich keine Anzeichen. Es ist somit nicht zu beanstanden, dass die Vorinstanz den invalidisierenden Charakter einer allfälligen somatoformen Schmerzstörung oder eines vergleichbaren pathogenetisch (ätiologisch) unklaren syndromalen Zustandes (<ref-ruling> E. 3.2 in fine S. 399) verneint und weitere Abklärungen als entbehrlich erachtet hat.
4.5 Gegen den Einkommensvergleich des kantonalen Gerichts wird nichts vorgebracht. Es besteht kein Anlass zu einer näheren Prüfung.
Der vorinstanzliche Entscheid verletzt Bundesrecht nicht.
5. Der Beschwerdeführer macht geltend, die IV-Stelle habe den rechtserheblichen Sachverhalt ungenügend abgeklärt. Die Vorinstanz habe daher ergänzende Erhebungen (Einholung einer Stellungnahme der Universitätsklinik Y._ zur Arbeitsfähigkeit) vornehmen müssen. Es habe somit ausreichender Anlass zur Anfechtung des Einspracheentscheides vom 26. April 2006 bestanden, was die Zusprechung einer Parteientschädigung für das vorinstanzliche Verfahren rechtfertige.
Der Vorwurf der ungenügenden Sachverhaltsabklärung durch die IV-Stelle trifft zu (E. 4.3.1 und 4.3.2). Nach dem auch im Verfahren vor dem kantonalen Versicherungsgericht anwendbaren Verursacherprinzip (RKUV 2006 Nr. U 583 [U 260/05] S. 245 E. 3; Urteil des Eidg. Versicherungsgerichts I 718/05 vom 8. November 2006 E. 5.2) können der obsiegenden IV-Stelle Parteikosten auferlegt werden, wenn sie ihre Abklärungspflicht nach <ref-law> schuldhaft verletzt hat. Diese Durchbrechung des Unterliegerprinzips (<ref-law>) rechtfertigt sich indessen nur, wenn die Verwaltung lediglich sehr rudimentäre Abklärungen vorgenommen hat (Urteile des Eidg. Versicherungsgerichts I 405/05 vom 13. März 2006 E. 5 und U 87/97 vom 20. November 1997 E. 3). Davon kann hier nicht gesprochen werden.
6. Der Beschwerdeführer hat als unterliegende Partei die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Mai 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler