Sachverhalt:
A. Der 1967 geborene K._ war vom Dezember 1990 bis zur Kündigung des Arbeitsverhältnisses durch den Arbeitgeber auf Ende April 2004 als Schlosser resp. Schweisser tätig. Im Mai 2002 meldete er sich unter Hinweis auf Rückenleiden bei der Invalidenversicherung zum Leistungsbezug an. Nach gesundheitlichen und beruflichen Abklärungen verneinte die IV-Stelle des Kantons Thurgau mit Verfügung vom 3. März 2006 einen Anspruch auf Umschulung, was sie nach weiteren Untersuchungen mit Einspracheentscheid vom 17. August 2010 bestätigte.
B. Die Beschwerde des K._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 26. Januar 2011 ab, soweit es darauf eintrat.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 26. Januar 2011 sei die IV-Stelle zu verpflichten, ihm die Umschulungsmassnahmen vollumfänglich zu gewähren, eventualiter den Anspruch auf Umschulung nach erneuter Abklärung der Voraussetzungen zu überprüfen resp. gutzuheissen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Der Versicherte hat Anspruch auf Umschulung auf eine neue Erwerbstätigkeit, wenn die Umschulung infolge Invalidität notwendig ist und dadurch die Erwerbsfähigkeit voraussichtlich erhalten oder verbessert werden kann (<ref-law>). Dabei wird u.a. ein invaliditätsbedingter Minderverdienst von rund 20 % vorausgesetzt (<ref-ruling> E. 4.2 S. 489 f.; SVR 2010 IV Nr. 52 S. 160, 9C_125/2009 E. 4.5 mit Hinweisen).
3. Das kantonale Gericht hat gestützt auf das Gutachten des Dr. med. S._ vom 15. April 2008 und in Übereinstimmung mit dem Bericht der beruflichen Abklärungsstelle (BEFAS) vom 12. Januar 2004 eine volle Arbeitsfähigkeit in leidensangepassten Tätigkeiten festgestellt. Weiter hat es für das Jahr 2009, entsprechend dem zuletzt erzielten Verdienst, ein Valideneinkommen von Fr. 73'203.75 angenommen. Das Invalideneinkommen hat es auf Fr. 62'177.55 festgesetzt, wobei es den Tabellenlohn der schweizeri-schen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE 2008 Tabelle TA3, total Männer, Anforderungsniveau 4) herangezogen und die betriebsübliche Wochenarbeitszeit sowie die Nominallohn-entwicklung, jedoch keinen Abzug (<ref-ruling>) berücksichtigt hat. Beim daraus resultierenden Invaliditätsgrad von 15 % hat es einen Anspruch auf Umschulung verneint.
4. 4.1 Die vorinstanzliche Feststellung betreffend die Arbeitsfähigkeit ist nicht offensichtlich unrichtig und wird auch vom Beschwerdeführer nicht in Abrede gestellt, weshalb sie für das Bundesgericht verbindlich ist (E. 1). In Bezug auf die Invaliditätsbemessung macht der Versicherte einen Abzug vom Invalideneinkommen von 20 % geltend; ausserdem sei die zukünftige Einkommensentwicklung zu berücksichtigen.
4. 4.1 Die vorinstanzliche Feststellung betreffend die Arbeitsfähigkeit ist nicht offensichtlich unrichtig und wird auch vom Beschwerdeführer nicht in Abrede gestellt, weshalb sie für das Bundesgericht verbindlich ist (E. 1). In Bezug auf die Invaliditätsbemessung macht der Versicherte einen Abzug vom Invalideneinkommen von 20 % geltend; ausserdem sei die zukünftige Einkommensentwicklung zu berücksichtigen.
4.2 4.2.1 Wird das Invalideneinkommen auf der Grundlage von statistischen Durchschnittswerten ermittelt, ist der entsprechende Ausgangswert (Tabellenlohn) allenfalls zu kürzen. Damit soll der Tatsache Rechnung getragen werden, dass persönliche und berufliche Merkmale wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäfti-gungsgrad Auswirkungen auf die Lohnhöhe haben können (<ref-ruling> E. 3b/aa S. 323) und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5b/aa in fine S. 80). Der Abzug soll aber nicht automatisch erfolgen. Er ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen und darf 25 % nicht übersteigen (<ref-ruling> E. 5b/bb-cc S. 80; <ref-ruling> E. 5.2 S. 327 f.; Urteil 9C_368/2009 vom 17. Juli 2009 E. 2.1). Rechtsprechungsgemäss ist ein Abzug auf dem Invalideneinkommen insbesondere dann zu gewähren, wenn eine versicherte Person selbst im Rahmen körperlich leichter Hilfsarbeitertätigkeit in ihrer Leistungsfähigkeit eingeschränkt ist (<ref-ruling> E. 5a/bb S. 78). Sind hingegen leichte bis mittelschwere Arbeiten zumutbar, ist allein deswegen auch bei eingeschränkter Leistungsfähigkeit noch kein Abzug gerechtfertigt (Urteile 9C_205/2010 vom 20. Juli 2010 E. 5.2; 9C_343/2008 vom 21. August 2008 E. 3.2; 8C_765/2007 vom 11. Juli 2008 E. 4.3.2), weil der Tabellenlohn im Anforderungsniveau 4 bereits eine Vielzahl von leichten und mittelschweren Tätigkeiten umfasst (Urteil 9C_72/2009 vom 30. März 2009 E. 3.4).
4.2.2 Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom Tabellenlohn vorzunehmen ist, stellt eine Rechtsfrage dar (Urteil 8C_652/2008 vom 8. Mai 2009 E. 4 in fine, nicht publiziert in: <ref-ruling>), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
4.2.3 Dem Gutachten des Dr. med. S._ ist zu entnehmen, dass dem Versicherten jegliche leichten bis mittelschweren Arbeiten ohne Heben von Gewichten über 7-10 kg, in wechselnder Körperstellung und bei freier Einteilung des Arbeitsrhythmus' uneingeschränkt zumutbar sind und sich keine Hinweise oder Anhaltspunkte für eine verminderte Leistungsfähigkeit fanden. Die Tatsache allein, dass der Versicherte nicht mehr ganztags stehend arbeiten und mithin lediglich eine wechselbelastende Tätigkeit ausüben kann, rechtfertigt aber noch keinen Abzug vom Tabellenlohn (vgl. E. 4.2.1).
Ein Abzug wegen der Nationalität des Beschwerdeführers, welcher das Schweizer Bürgerrecht besitzt, ist nicht angebracht (Urteil 9C_205/2010 vom 20. Juli 2010 E. 5.3; vgl. auch SZS 2009 S. 136, 9C_382/2007 E. 6.4). Soweit der Versicherte vorbringt, eingebürgerte Personen aus den Ländern des ehemaligen Jugoslawien würden immer noch als Ausländer behandelt, wird dieser Einwand allein schon durch die Höhe des Valideneinkommens entkräftet.
Andere Gründe für einen Abzug werden nicht geltend gemacht und sind auch nicht ersichtlich. Insbesondere kann der von Dr. med. S._ erwähnte vermehrte Pausenbedarf von "ca. einer Stunde pro Tag vor allem zu Beginn der Arbeitsaufnahme" im Kontext seiner übrigen Ausführungen nur so verstanden werden, dass er lediglich für eine gewisse Einarbeitungszeit attestiert wurde, weshalb er nicht abzugsrelevant ist. Nach dem Gesagten ist der vorinstanzliche Verzicht auf Vornahme eines Abzugs vom Tabellenlohn bundesrechtskonform.
4.3 Anhaltspunkte für eine erhebliche Veränderung des Invaliditätsgrads aufgrund der (hypothetischen) beruflichen Entwicklung des Versicherten, wie sie etwa in BSV-Liste 2005 02 1, I 783/03 E. 5.2, berücksichtigt wurde, fehlen: Im konkreten Fall handelt es sich nicht um einen am Anfang seiner beruflichen Karriere stehenden Versicherten kurz nach Beendigung der Berufsausbildung; sein (auf das Jahr 2009 aufgerechnetes) Valideneinkommen beruhte u.a. auf einer jahrelangen Anstellung beim gleichen Arbeitgeber und lag laut Lohnstrukturerhebung 2008 sogar über dem branchenüblichen Durchschnittslohn im Anforderungsniveau 3. Es ist daher auch in Zukunft nicht von einer wesentlichen Steigerung des Valideneinkommens oder - vorbehältlich eines unveränderten Gesundheitszustandes - einer massgeblichen Veränderung des Invalideneinkommens auszugehen. Somit besteht keine Veranlassung, von der rechtsprechungsgemässen Voraussetzung eines Mindestinvaliditätsgrades (E. 2) abzusehen (vgl. auch SVR 2010 IV Nr. 52 S. 160, 9C_125/2009 E. 5).
4.4 Auf die Ausführungen in der Beschwerde zur Gleichwertigkeit der durch die Umschulung angestrebten Erwerbsmöglichkeit mit der bisherigen Tätigkeit (vgl. <ref-ruling> E. 4.2 S. 489 f.) ist nicht einzugehen: Nach dem Gesagten liegt der Invaliditätsgrad des Versicherten deutlich unter dem Richtwert von 20 %, weshalb die Vorinstanz einen Anspruch auf Umschulung zu Recht verneint hat.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann