Sachverhalt:
A. Der 1957 geborene R._ meldete sich im September 2005 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 9. Mai 2006 sprach ihm die IV-Stelle des Kantons Zürich bei einem Invaliditätsgrad von 62 % eine Dreiviertelsrente (nebst Kinderrenten) ab Juni 2006 zu. Am 29. November 2006 ersuchte R._ um Erhöhung der Rente, worauf die Verwaltung Abklärungen traf und das Vorbescheidverfahren durchführte. Mit Verfügung vom 23. April 2008 setzte sie, ausgehend von einem Invaliditätsgrad von 45 %, ab Juni 2008 die bisherige Rente auf eine Viertelsrente herab.
B. Die Beschwerde des R._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Januar 2010 ab.
C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des Entscheids vom 22. Januar 2010 sei ihm weiterhin eine Dreiviertelsrente auszurichten.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.
D. In einem vom Bundesgericht angeordneten zweiten Schriftenwechsel äusserten sich die Parteien und das Bundesamt für Sozialversicherung zur Frage einer Wiedererwägung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140).
2. Nach Auffassung der Vorinstanz entspricht der medizinische Sachverhalt der aus dem multidisziplinären Gutachten des Medizinischen Zentrums X._ vom 23. November 2007 ersichtlichen Umschreibung. Ausgehend von der entsprechenden Einschätzung, wonach für die bisherige Arbeit als Rangierarbeiter keine, hingegen in angepassten Tätigkeiten - ohne einseitig langes Gehen und Stehen und ohne repetitive Gelenksbelastungen - eine unlimitierte Arbeitsfähigkeit besteht, habe die IV-Stelle die Invaliditätsbemessung vorgenommen, welche als solche nicht in Frage gestellt worden sei. Die Herabsetzung der Dreiviertels- auf eine Viertelsrente sei daher nicht zu beanstanden.
3.1 3.1.1 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG [SR 830.1]). Anlass zur Rentenrevision gibt somit jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen (<ref-ruling> E. 3.5 S. 349; Urteil U 35/07 vom 28. Januar 2008 E. 3). Dagegen stellt die unterschiedliche Beurteilung der Auswirkungen eines im Wesentlichen unverändert gebliebenen Gesundheitszustandes auf die Arbeitsfähigkeit keinen Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG dar (Urteil 9C_552/2007 vom 17. Januar 2008 E. 3.1.2 mit Hinweisen).
3.1.2 Nach Art. 53 Abs. 2 ATSG in Verbindung mit Art. 2 ATSG und Art. 1 Abs. 1 IVG kann die IV-Stelle jederzeit, insbesondere auch wenn die Voraussetzungen der Revision nach Art. 17 Abs. 1 ATSG nicht erfüllt sind (Urteil 9C_1014/2008 vom 14. April 2009 E. 3.1), auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Die Wiedererwägung im Sinne dieser Bestimmung dient der Korrektur einer anfänglich unrichtigen Rechtsanwendung einschliesslich unrichtiger Feststellung im Sinne der Würdigung des Sachverhalts (<ref-ruling> E. 2c S. 17 mit Hinweis; Urteile 9C_290/2009 vom 25. September 2009 E. 3.1.3; 9C_215/2007 vom 2. Juli 2007 E. 3.1).
3.1.3 Entgegen der Ansicht des Beschwerdeführers kann im Beschwerdefall auch das Gericht nach Gewährung des rechtlichen Gehörs eine zu Unrecht ergangene Revisionsverfügung mit der substituierten Begründung der Wiedererwägung schützen. Dies setzt weder ein Wiedererwägungsgesuch des Versicherten noch einen entsprechenden Antrag des Versicherers voraus, sondern ergibt sich daraus, dass die Gerichte das Recht von Amtes wegen anzuwenden haben (Art. 106 Abs. 1 und Art. 110 BGG; <ref-ruling>; Urteil 9C_303/2010 vom 5. Juli 2010 E. 4).
3.2 Nach Auffassung der Vorinstanz ist es offensichtlich, dass sich seit der ursprünglichen Rentenzusprache der medizinische Sachverhalt und damit auch die zumutbare Restarbeitsfähigkeit verändert hat.
3.3 Nach nicht offensichtlich unrichtiger und daher für das Bundesgericht verbindlicher vorinstanzlicher Feststellung (E. 1.1) beruhte die Leistungszusprache vom 9. Mai 2006 auf den Berichten des Dr. med. Y._ vom 24. November 2004, 10. August und 21. September 2005, des Dr. med. S._ vom 16. August 2005 sowie der Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 13. Dezember 2005. Danach wurden einzig die Diagnosen eines "chronischen panspondylogenen Syndroms" sowie einer langanhaltenden somatoformen Schmerzstörung resp. Fibromyalgie als ausschlaggebend erachtet. Die Annahme, dass dadurch die Arbeitsfähigkeit auch in leidensangepassten Tätigkeiten eingeschränkt gewesen sei, verletzte Bundesrecht (vgl. zum zeitlich massgebenden Rechtszustand <ref-ruling> E. 2c S. 17); denn die somatischen Befunde boten dafür keine genügende Grundlage und eine somatoforme Schmerzstörung resp. Fibromyalgie vermag in der Regel keine lang dauernde, zu einer Invalidität im Sinne von Art. 4 Abs. 1 IVG führende Einschränkung der Arbeitsfähigkeit zu bewirken (<ref-ruling> E. 2.2.2 und 2.2.3 S. 353 ff.; 396 E. 6 S. 399 ff.; <ref-ruling> E. 4 S. 70 ff.). Hinweise auf eine - nur in Ausnahmefällen anzunehmende - Unzumutbarkeit einer willentlichen Leidensüberwindung und eines Wiedereinstiegs in den Arbeitsprozess (vgl. <ref-ruling> E. 2.2.3 S. 354 f.) waren nicht aktenkundig, zumal keine ernsthaften objektivierbaren Befunde festgestellt wurden, die ärztlichen Stellungnahmen, welche eine Arbeitsunfähigkeit auch in angepasster Tätigkeit attestierten, diese mit keinem Wort begründeten und der Versicherte selber erstmals mit dem Revisionsgesuch vom 29. November 2006 eine "neu hinzugetretene Depression" geltend machte. Damit steht die zweifellose Unrichtigkeit der ursprünglichen Rentenzusprache fest und deren Berichtigung ist, da es sich um eine periodische Dauerleistung handelt, von erheblicher Bedeutung (<ref-ruling> E. 1c S. 480 mit Hinweisen; Urteil 9C_272/2009 vom 16. September 2009 E. 6.1).
3.4 Die streitige Frage, ob in Bezug auf den medizinischen Sachverhalt eine Veränderung eingetreten ist und daher ein Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG (E. 3.1.1) vorliegt, kann nach dem Gesagten offen bleiben (E. 1.2). Die vorinstanzliche Überprüfung des Rentenanspruchs ist zulässig, weil Anlass für die Wiedererwägung der ursprünglichen Rentenverfügung besteht (E. 3.1.2).
4. 4.1 Im Rahmen freier Beweiswürdigung (Art. 61 lit. c ATSG), unter Bezugnahme auf die rechtserheblichen Akten und in bundesrechtskonformer Auffassung vom Beweiswert medizinischer Berichte (<ref-ruling> E. 3a S. 352) hat die Vorinstanz dem Gutachten des Zentrums X._ Beweiskraft beigemessen. An der Erstellung des Gutachtens war je ein Facharzt für Innere Medizin und für Orthopädie beteiligt, deren Fachkompetenz sich auch auf rheumatologische Leiden wie Fibromyalgie erstreckt, zumal Gegenstand der Rheumatologie - als Teildisziplin der Inneren Medizin - (chronische) Schmerzen des Bewegungsapparates sind, was u.a. auch auf die Orthopädie zutrifft. Ausserdem wurde eine Fachärztin für Psychiatrie und Psychotherapie beigezogen, welche indessen keine Diagnose mit Auswirkungen auf die Arbeitsfähigkeit stellte (vgl. zur Vergleichbarkeit der Diagnosen Fibromyalgie [ICD-10: M79.0] und somatoforme Schmerzstörung [ICD-10: F45.4] BGE <ref-ruling> E. 4.1 S. 70). Selbst wenn eine Fibromyalgie oder ein vergleichbares Leiden diagnostiziert worden wäre, bliebe dies ohne Auswirkungen auf die Arbeitsfähigkeitsschätzung, denn solche Beeinträchtigungen gelten als mit zumutbarer Willensanstrengung überwindbar (E. 3.3; <ref-ruling> E. 2.2.2 und 2.2.3 S. 353 ff.; 396 E. 6 S. 399 ff.; <ref-ruling> E. 4 S. 70 ff.; bestätigt in SVR 2008 IV Nr. 62 S. 203, 9C_830/2007 E. 4.2). Dies träfe auch im konkreten Fall zu, zumal hinsichtlich der massgeblichen Kriterien (<ref-ruling> E. 1.2 S. 50 f.; <ref-ruling> E. 2.2.3 S. 354 f.) einzig die mittlerweile diagnostizierten körperlichen Begleiterkrankungen (initiale Cox- und Gonarthrosen beidseits; vgl. Urteile 9C_709/2009 vom 14. Dezember 2009 E. 4.1; 9C_111/2008 vom 27. Januar 2009 E. 3.2 in fine) in Betracht fielen, was bei gesamthafter Betrachtung für die Annahme einer weitergehenden Einschränkung nicht genügen würde. Schliesslich ist auch die - neue und daher ohnehin unzulässige (Art. 99 Abs. 1 BGG) - mit der Beschwerde vorgebrachte Tatsache, der am Gutachten mitwirkende Dr. med. B._ sei Angestellter der IV-Stelle Luzern und daher nicht unabhängig, nicht geeignet, den Beweiswert des Gutachtens des Zentrums X._ zu schmälern: Ein späterer Stellenwechsel des Gutachters lässt nicht auf dessen diesbezügliche Befangenheit während der Dauer eines vorangehenden Arbeitsverhältnisses schliessen.
4.2 Die vorinstanzliche Feststellung in Bezug auf den medizinischen Sachverhalt und die sich daraus ergebende Arbeitsfähigkeit (E. 2) ist nicht offensichtlich unrichtig und beruht auch nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich ist (E. 1.1).
4.3 Die übrigen von der Verwaltung angewendeten und der Vorinstanz bestätigten Bemessungsfaktoren werden weder in tatsächlicher noch rechtlicher Hinsicht beanstandet. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (<ref-ruling> E. 1b und 2c S. 415 ff.; 110 V E. 4a S. 53). Nach dem Gesagten hat das kantonale Gericht die Rentenherabsetzung zu Recht bestätigt; die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. September 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann