Sachverhalt: A. Der 1967 geborene K._ war vom Dezember 1990 bis zur Kündigung des Arbeitsverhältnisses durch den Arbeitgeber auf Ende April 2004 als Schlosser resp. Schweisser tätig. Im Mai 2002 meldete er sich unter Hinweis auf Rückenleiden bei der Invalidenversicherung zum Leistungsbezug an. Nach gesundheitlichen und beruflichen Abklärungen verneinte die IV-Stelle des Kantons Thurgau mit Verfügung vom 3. März 2006 einen Anspruch auf Umschulung, was sie nach weiteren Untersuchungen mit Einspracheentscheid vom 17. August 2010 bestätigte. B. Die Beschwerde des K._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 26. Januar 2011 ab, soweit es darauf eintrat. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 26. Januar 2011 sei die IV-Stelle zu verpflichten, ihm die Umschulungsmassnahmen vollumfänglich zu gewähren, eventualiter den Anspruch auf Umschulung nach erneuter Abklärung der Voraussetzungen zu überprüfen resp. gutzuheissen.