Sachverhalt:
A. Nachdem die IV-Stelle des Kantons Solothurn mit Verfügung vom 11. Februar 2004 einen Rentenanspruch verneint hatte, meldete sich der 1959 geborene P._ im Mai 2007 erneut bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens ermittelte die IV-Stelle einen Invaliditätsgrad von 32 % und verneinte den Anspruch auf berufliche Eingliederungsmassnahmen und auf eine Invalidenrente (Verfügung vom 2. März 2010).
B. P._ liess Beschwerde beim Versicherungsgericht des Kantons Solothurn einreichen und beantragen, unter Aufhebung der Verfügung vom 2. März 2010 seien ihm die gesetzlichen Leistungen (Rente, berufliche Massnahmen) nach Massgabe eines Invaliditätsgrades von mindestens 40 % zuzüglich eines Verzugszinses von 5 % auszurichten; eventualiter sei die Sache zur Neuabklärung an die IV-Stelle zurückzuweisen. Mit Verfügung vom 22. Juni 2010 wies das kantonale Gericht das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege bzw. Bestellung eines unentgeltlichen Rechtsbeistandes zufolge Aussichtslosigkeit der Beschwerde ab (Dispositiv-Ziffer 2) und verpflichtete P._ zur Zahlung eines Kostenvorschusses von Fr. 600.- bis zum 23. August 2010, widrigenfalls auf die Beschwerde nicht eingetreten werde (Dispositiv-Ziffer 3). Mit Verfügung vom 24. August 2010 wies das Verwaltungsgericht des Kantons Solothurn das Gesuch des Versicherten um Wiedererwägung der Verfügung vom 22. Juni 2010 ab (Dispositiv-Ziffer 2).
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, die Dispositiv-Ziffern 2 und 3 der Verfügung vom 22. Juni 2010 sowie Dispositiv-Ziffer 2 der Verfügung vom 25. (recte: 24.) August 2010 seien aufzuheben, weiter sei ihm für das Beschwerdeverfahren vor dem kantonalen Versicherungsgericht die unentgeltliche Rechtspflege zu gewähren und sein Rechtsvertreter als unentgeltlicher Rechtsbeistand einzusetzen.
Das kantonale Gericht schliesst auf Abweisung der Beschwerde. Die IV-Stelle stellt keinen Antrag und das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. Eine selbstständig eröffnete Verfügung, mit der im kantonalen Verfahren ein Gesuch um unentgeltliche Prozessführung abgewiesen wird, stellt praxisgemäss einen Zwischenentscheid dar, welcher geeignet ist, einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zu verursachen (SVR 2009 UV Nr. 12 S. 49, 8C_530/2008 E. 2). Auf die Beschwerde ist demnach grundsätzlich einzutreten. Aus der Verfügung des Versicherungsgerichts vom 16. August 2010 geht indessen hervor, dass der Beschwerdeführer den verlangten Kostenvorschuss (vgl. Dispositiv-Ziffer 3 der Verfügung vom 22. Juni 2010) fristgerecht bezahlte. Damit ist der entsprechende Antrag gegenstandslos.
2. 2.1 Der Beschwerdeführer bestreitet die funktionelle Zuständigkeit der Gerichtspräsidentin für den Entscheid über den Anspruch auf unentgeltliche Rechtspflege. Diese verfahrensrechtliche Rüge ist vorab zu prüfen.
2.2 <ref-law> und Art. 6 Ziff. 1 EMRK garantieren u.a. den Anspruch des Einzelnen auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ob diese Garantien verletzt sind, überprüft das Bundesgericht grundsätzlich mit freier Kognition (Art. 95 lit. a und b BGG). Welches Gericht als kantonales Versicherungsgericht (vgl. <ref-law>) zuständig und wie dieses zu besetzen ist, ergibt sich im Einzelnen - mangels bundesrechtlicher Vorschrift (vgl. <ref-law>) - aus der einschlägigen kantonalen Regelung der Gerichtsorganisation. Deren Anwendung und Auslegung wird vom Bundesgericht - vorbehältlich der in Art. 95 lit. c und d BGG genannten Fälle - nur auf Willkür hin geprüft (ZBl 103/2002 S. 334, 1P.157/2001 E. 2a; Urteile 9C_836/2008 vom 30. Oktober 2008 E. 2.2 und 3; 1P.473/2000 vom 20. Oktober 2000 E. 2b).
2.3 Laut dem hier - in Verbindung mit § 159 des Sozialgesetzes vom 31. Januar 2007 (BGS 831.1) und § 76 des Verwaltungsrechtspflegegesetzes vom 15. November 1970 (BGS 124.11) in der bis 31. Dezember 2010 geltenden Fassung - sinngemäss anwendbaren § 107 der auf den 31. Dezember 2010 aufgehobenen solothurnischen Zivilprozessordnung vom 11. September 1966 (ZPO) entscheidet über das Gesuch um unentgeltliche Rechtspflege das zuständige Gericht, während der Prozesseinleitung der Instruktionsrichter. Die gleiche Zuständigkeit gilt für den Entscheid über die Bestellung eines unentgeltlichen Rechtsbeistandes (<ref-law>).
2.4 Der Versicherte hat die Gesuche um unentgeltliche Rechtspflege und Verbeiständung mit Einreichung der Beschwerde resp. bei laufendem Verfahren gestellt. Die Präsidentin des Versicherungsgerichts hat daher als Instruktionsrichterin (vgl. § 51 des Verwaltungsrechtspflegegesetzes) in Übereinstimmung mit den genannten kantonalen Bestimmungen über die Gesuche des Beschwerdeführers entschieden. Dass die kantonale Regelung willkürlich sein oder sonstwie die Garantien der <ref-law> und Art. 6 Ziff. 1 EMRK verletzen soll, ist nicht ersichtlich und wird vom Beschwerdeführer nicht dargelegt.
3. 3.1 Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen. Sie soll sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich überdies im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann (<ref-ruling> E. 7.1 S. 2). Für das - in der Regel kostenlose (<ref-law> [SR 830.1]) - sozialversicherungsrechtliche Beschwerdeverfahren findet der Anspruch auf unentgeltlichen Rechtsbeistand in <ref-law> eine gesetzliche Grundlage.
3.2 Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 2.5.3 S. 236; <ref-ruling> E. 2.3.1 S. 136). Es ist unzulässig, den Entscheid über das Gesuch um unentgeltliche Rechtspflege für einen zunächst nicht aussichtslos erscheinenden Prozess bis zu den gerichtlichen Beweiserhebungen hinauszuschieben und bei nachträglich zu Tage tretender Aussichtslosigkeit die unentgeltliche Rechtspflege für das gesamte Verfahren zu verweigern (<ref-ruling> E. 2). Die prognostische Beurteilung der Erfolgsaussichten eröffnet dem Sachgericht allerdings einen Beurteilungsspielraum, in den das Bundesgericht auch bei freier Prüfung der Rechtsfragen nur mit Zurückhaltung eingreift. Erforderlich ist, dass das Sachgericht von anerkannten Rechtsgrundsätzen abgewichen ist, dass es Umstände berücksichtigt hat, die für die Prognose im Einzelfall keine Rolle spielen dürfen oder umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen (vgl. <ref-ruling> E. 5.4 S. 211; <ref-ruling> E. 12.2.2 S. 31; <ref-ruling> E. 3.1 S. 220).
3.2 Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 2.5.3 S. 236; <ref-ruling> E. 2.3.1 S. 136). Es ist unzulässig, den Entscheid über das Gesuch um unentgeltliche Rechtspflege für einen zunächst nicht aussichtslos erscheinenden Prozess bis zu den gerichtlichen Beweiserhebungen hinauszuschieben und bei nachträglich zu Tage tretender Aussichtslosigkeit die unentgeltliche Rechtspflege für das gesamte Verfahren zu verweigern (<ref-ruling> E. 2). Die prognostische Beurteilung der Erfolgsaussichten eröffnet dem Sachgericht allerdings einen Beurteilungsspielraum, in den das Bundesgericht auch bei freier Prüfung der Rechtsfragen nur mit Zurückhaltung eingreift. Erforderlich ist, dass das Sachgericht von anerkannten Rechtsgrundsätzen abgewichen ist, dass es Umstände berücksichtigt hat, die für die Prognose im Einzelfall keine Rolle spielen dürfen oder umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen (vgl. <ref-ruling> E. 5.4 S. 211; <ref-ruling> E. 12.2.2 S. 31; <ref-ruling> E. 3.1 S. 220).
3.3 3.3.1 Der Versicherte stellte mit der vorinstanzlichen Beschwerde den Beweiswert des Gutachtens des Institutes X._ vom 22. Oktober 2009 in Abrede. Er machte insbesondere geltend, es habe darin keine Auseinandersetzung mit den Ergebnissen der beruflichen Abklärung (Berichte der Genossenschaft Y._ vom 24. Juni 2002 und 14. Mai 2003) und späterer Arbeitsversuche (Bericht der Suchthilfe Region Z._ vom 5. Mai 2009) stattgefunden; die Kniebeschwerden und die Folgen des Schmerzmittelkonsums seien ungenügend berücksichtigt worden. Im Zusammenhang mit der Epicondylitis sei die Arbeitsfähigkeit vor und nach der im Januar 2008 erfolgten Operation nicht abgeklärt worden. In psychiatrischer Hinsicht fehlten fremdanamnestische Auskünfte, obwohl der Versicherte seit Jahren unter medikamentöser Behandlung stehe und im Zusammenhang mit einem Alkoholentzug in der Klinik A._ und anschliessend während rund zehn Monaten im H._ behandelt worden sei. Seit Anfang März 2010 werde er auf der psychosomatischen Abteilung der Klinik A._ stationär behandelt. Soweit im Zusammenhang mit der im Gutachten des Instituts X._ diagnostizierten somatoformen Schmerzstörung eine invalidisierende Wirkung verneint werde, fehle es an einer schlüssigen Begründung insbesondere betreffend die somatischen Beschwerden und weiteren Umstände wie fehlende Libido, Gewichtszunahme und das Zurückgreifen auf Alkohol. Ausserdem lebe er sozial zurückgezogen. Der Beschwerdeführer reichte im vorinstanzlichen Verfahren u.a. einen Bericht der Klinik A._ vom 10. Mai 2010 über einen vom 9. März bis 24. April 2010 erfolgten stationären Aufenthalt sowie einen Bericht des SUVA-Kreisarztes vom 3. August 2010, wonach keine Arbeitsfähigkeit bestehe, ein.
3.3.2 Das kantonale Gericht hat nach dem Grundsatz der freien Beweiswürdigung (<ref-law>) die medizinischen Berichte ohne Bindung an förmliche Beweisregeln zu würdigen, was insbesondere bei einander widersprechenden medizinischen Auskünften gilt (vgl. <ref-ruling> E. 3a S. 352). Wohl hat es das Eidgenössische Versicherungsgericht damit vereinbar erachtet, in Bezug auf bestimmte Formen medizinischer Auskünfte Richtlinien zu beachten (vgl. <ref-ruling> E. 3b S. 352 ff.). Daraus kann jedoch nicht geschlossen werden, ein unter Beachtung der einschlägigen Verfahrensvorschriften (vgl. <ref-law> sowie <ref-ruling> E. 6 S. 106 ff. und 376 E. 6 ff. S. 380 ff.) von der IV-Stelle eingeholtes medizinisches Gutachten sei vom kantonalen Gericht im Rahmen der Beweiswürdigung nur noch eingeschränkt überprüfbar (Urteil 8C_991/2008 vom 1. April 2009 E. 3.2.2).
3.3.3 Die Vorinstanz hat denn auch in knapper Form eine Beweiswürdigung vorgenommen: Sie ist der Auffassung, die Nichtbeachtung des vor Erlass der Verfügung vom 11. Februar 2004 erstellten Berichts der Genossenschaft Y._ stelle keinen Mangel des Gutachtens des Instituts X._ dar, der Bericht der Suchthilfe Z._ sei hinreichend berücksichtigt und diskutiert worden, es habe eine genügende Abklärung und Auseinandersetzung mit der Ellbogenproblematik sowie den Alkoholproblemen stattgefunden, weitere fremdanamnestische Auskünfte seien nicht einzuholen gewesen und der Klinikeintritt Anfang März 2010 spiele für das vorliegende Verfahren keine Rolle.
3.3.4 Es trifft zu, dass sich der gerichtliche Prüfungszeitraum vom 11. Februar 2004 bis zum 2. März 2010 erstreckt (<ref-ruling> E. 3 S. 73 ff.; <ref-ruling> E. 1.2 S. 4). Das schliesst indessen nicht aus, Unterlagen zu berücksichtigen, welche Rückschlüsse auf den Sachverhalt in diesem Zeitraum zulassen. Insofern ist dem Bericht der Klinik A._ vom 10. Mai 2010 nicht zum vornherein Relevanz abzusprechen, wird darin doch dokumentiert, dass sich der Versicherte rund sechs Monate nach der Begutachtung des Instituts X._ und nur eine Woche nach Erlass der angefochtenen Verfügung für mehrere Wochen in stationäre Behandlung begab. Gleiches gilt für den Bericht des SUVA-Kreisarztes vom 3. August 2010: der rheumatologische Gutachter des Instituts X._ hielt die Implantation einer Kniegelenksprothese für "diskussionswürdig", während der Kreisarzt hinsichtlich der Kniebeschwerden - ohne dass diesbezüglich eine Verschlechterung ersichtlich ist - eine vollständige Arbeitsunfähigkeit attestierte. Weiter steht fest, dass sich der Versicherte wegen seiner Alkoholabhängigkeit stationär therapieren liess, ein entsprechender Bericht indessen nicht aktenkundig ist. Unter diesen Umständen durfte der Beschwerdeführer in guten Treuen die Frage nach dem Beweiswert des Gutachtens des Instituts X._ (<ref-ruling> E. 3a S. 352) und der Verletzung des Untersuchungsgrundsatzes (<ref-law>) aufwerfen. Weiter verfügt das kantonale Gericht im Rahmen der freien Beweiswürdigung (zur Qualifizierung als Tatfrage vgl. Urteile 8C_763/2008 vom 19. Juni 2009 E. 1, nicht publiziert in: <ref-ruling>; 9C_39/2010 vom 25. März 2010 E. 4.1.2) und Sachverhaltsfeststellung über einen gewissen Ermessensspielraum. Die Beschwerde kann daher in Bezug auf die substanziierten, gegen das Gutachten des Instituts X._ vorgebrachten Rügen nicht als aussichtslos bezeichnet werden.
3.3.4 Es trifft zu, dass sich der gerichtliche Prüfungszeitraum vom 11. Februar 2004 bis zum 2. März 2010 erstreckt (<ref-ruling> E. 3 S. 73 ff.; <ref-ruling> E. 1.2 S. 4). Das schliesst indessen nicht aus, Unterlagen zu berücksichtigen, welche Rückschlüsse auf den Sachverhalt in diesem Zeitraum zulassen. Insofern ist dem Bericht der Klinik A._ vom 10. Mai 2010 nicht zum vornherein Relevanz abzusprechen, wird darin doch dokumentiert, dass sich der Versicherte rund sechs Monate nach der Begutachtung des Instituts X._ und nur eine Woche nach Erlass der angefochtenen Verfügung für mehrere Wochen in stationäre Behandlung begab. Gleiches gilt für den Bericht des SUVA-Kreisarztes vom 3. August 2010: der rheumatologische Gutachter des Instituts X._ hielt die Implantation einer Kniegelenksprothese für "diskussionswürdig", während der Kreisarzt hinsichtlich der Kniebeschwerden - ohne dass diesbezüglich eine Verschlechterung ersichtlich ist - eine vollständige Arbeitsunfähigkeit attestierte. Weiter steht fest, dass sich der Versicherte wegen seiner Alkoholabhängigkeit stationär therapieren liess, ein entsprechender Bericht indessen nicht aktenkundig ist. Unter diesen Umständen durfte der Beschwerdeführer in guten Treuen die Frage nach dem Beweiswert des Gutachtens des Instituts X._ (<ref-ruling> E. 3a S. 352) und der Verletzung des Untersuchungsgrundsatzes (<ref-law>) aufwerfen. Weiter verfügt das kantonale Gericht im Rahmen der freien Beweiswürdigung (zur Qualifizierung als Tatfrage vgl. Urteile 8C_763/2008 vom 19. Juni 2009 E. 1, nicht publiziert in: <ref-ruling>; 9C_39/2010 vom 25. März 2010 E. 4.1.2) und Sachverhaltsfeststellung über einen gewissen Ermessensspielraum. Die Beschwerde kann daher in Bezug auf die substanziierten, gegen das Gutachten des Instituts X._ vorgebrachten Rügen nicht als aussichtslos bezeichnet werden.
3.4 3.4.1 Weiter rügte der Versicherte mit der vorinstanzlichen Beschwerde eine unzutreffende Invaliditätsbemessung durch die IV-Stelle: Für die Festsetzung des Valideneinkommens sei nicht auf den Totalwert der Tabellenlöhne gemäss Lohnstrukturerhebung des Bundesamtes für Statistik (LSE), sondern - entsprechend den bisher ausgeübten Tätigkeiten - auf die im Baugewerbe erzielten Einkommen (LSE Tabelle TA1, Ziffer 45) abzustellen und angesichts seiner Berufs- und Fachkenntnisse sei das Anforderungsniveau 3 zu berücksichtigen. Zudem sei beim Invalideneinkommen ein Abzug vom Tabellenlohn in Höhe von 20 % angebracht. Er könne nur noch leichte, wechselbelastende Arbeiten ausüben und es bestünden hohe Anforderungen an die "Arbeitsplatzergometrie", es sei ein Teilzeitabzug vorzunehmen, für das Selbstmanagement des insulinpflichtigen Diabetes benötige er zeitliche Unterbrüche, ausserdem sei er bereits über 50 Jahre alt.
3.4.2 Weder die Vorinstanz noch die Verwaltung hat dargelegt, weshalb der Versicherte ohne gesundheitliche Beeinträchtigungen nicht mehr im Baugewerbe tätig wäre. Dies ist denn auch nicht auszuschliessen, weshalb die Berücksichtigung der Löhne des entsprechenden Wirtschaftszweiges in Betracht fällt. In Bezug auf das Anforderungsniveau hat das kantonale Gericht indessen zutreffend darauf verwiesen, dass der Versicherte nie ein Einkommen in der Grössenordnung des Niveaus 3 erzielt habe.
3.4.3 Mit dem Abzug vom Tabellenlohn soll der Tatsache Rechnung getragen werden, dass persönliche und berufliche Merkmale, wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben können (<ref-ruling> E. 3b/aa S. 323) und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichen Erfolg verwerten kann (<ref-ruling> E. 5b/aa in fine S. 80). Der Abzug ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen und darf 25 % nicht übersteigen (<ref-ruling> E. 5b/bb-cc S. 80; Urteil 9C_721/2010 vom 15. November 2010 E. 4.2).
3.4.4 Die Vorinstanz hat einen "rein leidensbedingten" Abzug von 15 % für grosszügig befunden. Weiter wies sie zutreffend darauf hin, dass dem Versicherten laut Gutachten des Instituts X._ die Verwertung der Restarbeitsfähigkeit "ganztags mit um 20 % reduzierter Leistungsfähigkeit" zumutbar sei. Angesichts der jüngeren Rechtsprechung des Bundesgerichts (SVR 2010 IV Nr. 28 S. 87, 9C_708/2009, E. 2.5.2; Urteil 9C_721/2010 vom 15. November 2010 E. 4.2.2; SZS 2010 S. 521, 9C_728/2009 vom 21. September 2010 E. 4.3.2) ist die Anerkennung einer reduzierten Leistungsfähigkeit als lohnmässig relevante und damit abzugsfähige Erschwernis indessen nicht zum vornherein ausgeschlossen und die entsprechende Rüge nicht aussichtslos. Auch wenn die Bedeutung der Dienstjahre mit sinkendem Anforderungsprofil abnimmt (<ref-ruling> E. 5a/cc S. 79), kann das Alter des Versicherten als lohnmindernder Faktor bewertet werden. Nach dem Gesagten würde auch die Festsetzung des Abzugs auf 20 % keine rechtsfehlerhafte vorinstanzliche Ermessensausübung darstellen.
3.4.5 Würde in Abweichung von der Verfügung der IV-Stelle vom 2. März 2010 lediglich der im Baugewerbe erzielte Durchschnittslohn (LSE Tabelle TA1, Ziffer 45, Anforderungsniveau 4) und damit ein Valideneinkommen von Fr. 64'272.- sowie ein Abzug (E. 3.4.3) von 20 % und damit ein Invalideneinkommen von Fr. 38'386.- berücksichtigt, resultierte bereits ein rentenbegründender Invaliditätsgrad (<ref-law>). Auch in Bezug auf die Invaliditätsbemessung kann die vorinstanzlich erhobene Beschwerde daher nicht als aussichtslos bezeichnet werden.
3.5 Weshalb die IV-Stelle den Anspruch auf Massnahmen beruflicher Art (vgl. <ref-law>) verneinte, geht aus der Verfügung vom 2. März 2010 nicht hervor. Diesbezüglich hat sich das kantonale Gericht im angefochtenen Entscheid nicht geäussert. Obwohl in der Begründung der vorinstanzlichen Beschwerde Ausführungen dazu fehlen (vgl. <ref-law>), ist eine Aussichtslosigkeit auch hinsichtlich beruflicher Massnahmen sowohl unter formellen (vgl. <ref-law>; <ref-ruling> E. 2.2.1 S. 188, 229 E. 5.2 S. 236) als auch materiellen (vgl. SVR 2010 IV Nr. 52 S. 160, 9C_125/2009 E. 4.5 mit Hinweisen) Aspekten nicht ersichtlich.
3.6 Insgesamt können prospektiv die Gewinnaussichten bei Einreichung der kantonalen Beschwerde nicht als beträchtlich geringer angesehen werden als die Verlustgefahren. Die Vorinstanz hat daher die Aussichtslosigkeit der kantonalen Beschwerde in Verletzung von <ref-law> und <ref-law> festgestellt.
4. 4.1 Was die übrigen Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung (E. 3.1) anbelangt, hat das kantonale Gericht keine Feststellungen getroffen. Diese lassen sich indessen durch das Bundesgericht ergänzen (<ref-law>).
4.2 Die finanzielle Bedürftigkeit des Beschwerdeführers ist mit den vorinstanzlich eingereichten Unterlagen ausgewiesen. Angesichts der Schwierigkeit der Sache und der Fähigkeiten des Versicherten ist auch dessen Vertretung durch einen Anwalt sachlich geboten.
5. Vom Kanton als unterliegende Partei sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 in Verbindung mit Abs. 4 BGG). Hingegen hat der Beschwerdeführer für das bundesgerichtliche Verfahren Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Die Dispositiv-Ziffern 2 der Verfügungen vom 22. Juni und 24. August 2010 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer für das kantonale Beschwerdeverfahren betreffend berufliche Massnahmen und eine Rente der Invalidenversicherung Anspruch auf unentgeltliche Rechtspflege hat. Rechtsanwalt Claude Wyssmann wird als sein unentgeltlicher Rechtsbeistand bestellt.
2. Es werden keine Gerichtskosten erhoben.
3. Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Februar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann