Sachverhalt:
A. Der 1954 geborene B._ erlitt am 8. Mai 2007 einen Fahrradunfall. Die Schweizerische Unfallversicherungsanstalt (SUVA) stellte ihre Leistungen zum 1. März 2010 ein (Einspracheentscheid vom 13. Oktober 2010). Auf Beschwerde hin hob das Versicherungsgericht des Kantons Solothurn diesen Verwaltungsakt auf und wies die Sache zu weiteren Abklärungen betreffend allfälliger orthopädischer und ORL-medizinischer Unfallfolgen an die SUVA zurück (Entscheid vom 16. Mai 2011). Im März 2008 hatte sich B._ bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle des Kantons Solothurn holte u.a. beim Zentrum X._ eine Expertise ein. Mit Vorbescheid vom 5. April 2011 teilte sie dem Versicherten mit, es bestehe kein Anspruch auf berufliche Massnahmen und eine Invalidenrente. Dagegen erhob B._ Einwand, wobei er um "volle unentgeltliche Rechtspflege und Rechtsverbeiständung" ersuchte. Mit Verfügung vom 17. August 2011 wies die IV-Stelle das Begehren ab. Bezug nehmend auf den Einwand gegen ihren Vorbescheid und unter Vorlage weiterer ärztlicher Berichte ersuchte sie am 5. September 2011 das Zentrum X._ um Stellungnahme.
B. B._ liess beim Versicherungsgericht des Kantons Solothurn Beschwerde einreichen und beantragen, die Verfügung vom 27. August 2011 sei aufzuheben und ihm für das Vorbescheidverfahren die volle unentgeltliche Rechtspflege zu gewähren sowie eine öffentliche Verhandlung mit zusätzlicher Partei- und Zeugenbefragung durchzuführen; ebenfalls sei ihm für dieses Verfahren die unentgeltliche Rechtspflege zu gewähren.
Mit Entscheid vom 26. Januar 2012 wies das angerufene Gericht das Gesuch um Bewilligung der unentgeltlichen Rechtspflege bzw. Bestellung eines unentgeltlichen Rechtsbeistandes (Dispositiv-Ziffer 3) und die Anträge, es sei eine öffentliche Verhandlung mit zusätzlicher Partei- und Zeugenbefragung durchzuführen (Dispositiv-Ziffer 4), ab.
C. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, Dispositiv-Ziffer 3 und 4 des Entscheids vom 26. Januar 2012 seien aufzuheben, ihm für das Verfahren vor dem kantonalen Versicherungsgericht die volle unentgeltliche Rechtspflege und Rechtsverbeiständung zu gewähren, eventualiter die Sache zum Neuentscheid an die Vorinstanz zurückzuweisen.
Das kantonale Versicherungsgericht beantragt die Abweisung der Beschwerde.

Erwägungen:
1. Der Beschwerdeführer beantragt auch die Aufhebung von Dispositiv-Ziffer 4 des vorinstanzlichen Entscheids, der den Antrag auf Durchführung einer öffentliche Verhandlung mit zusätzlicher Partei- und Zeugenbefragung abweist. Er äussert sich indessen mit keinem Wort zu den diesbezüglichen Erwägungen des kantonalen Gerichts. Insoweit ist daher nicht auf die Beschwerde einzutreten (Art. 41 Abs. 1 und 2 BGG).
2. Der angefochtene Entscheid verneint den Anspruch des Beschwerdeführers auf unentgeltliche Rechtspflege, insbesondere das Recht, sich verbeiständen zu lassen (<ref-law>), im Streit um den von der IV-Stelle verneinten Anspruch auf unentgeltliche Rechtspflege für das Vorbescheidverfahren (<ref-law> in Verbindung mit <ref-law> und <ref-law>). Dabei handelt sich um einen selbständig eröffneten Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; Urteil 8C_679/2009 vom 22. Februar 2010 E. 1 mit Hinweisen; vgl. auch Urteil 9C_286/2009 vom 28. Mai 2009 E. 1). Auf die Beschwerde ist somit einzutreten, da auch die übrigen formellen Gültigkeitserfordernisse gegeben sind.
3. Die Vorinstanz hat die Rechtsprechung zum Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren nach <ref-law> richtig wiedergegeben. Darauf wird verwiesen.
4. 4.1 Nach <ref-law> muss im Verfahren vor dem kantonalen Versicherungsgericht das Recht, sich verbeiständen zu lassen, gewährleistet sein. Wo die Verhältnisse es rechtfertigen, wird der Beschwerde führenden Person ein unentgeltlicher Rechtsbeistand bewilligt. Praxisgemäss setzt die unentgeltliche Verbeiständung voraus, dass der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung notwendig oder doch geboten ist (Urteil 8C_679/2009 vom 22. Februar 2010 E. 1 mit Hinweis; vgl. auch <ref-ruling> E. 4a S. 202).
4. 4.1 Nach <ref-law> muss im Verfahren vor dem kantonalen Versicherungsgericht das Recht, sich verbeiständen zu lassen, gewährleistet sein. Wo die Verhältnisse es rechtfertigen, wird der Beschwerde führenden Person ein unentgeltlicher Rechtsbeistand bewilligt. Praxisgemäss setzt die unentgeltliche Verbeiständung voraus, dass der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung notwendig oder doch geboten ist (Urteil 8C_679/2009 vom 22. Februar 2010 E. 1 mit Hinweis; vgl. auch <ref-ruling> E. 4a S. 202).
4.2 4.2.1 Prozessbegehren sind als aussichtslos anzusehen, wenn die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren, so dass sie kaum als ernsthaft bezeichnet werden können. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde (<ref-ruling> E. 2.3.1 S. 135; <ref-ruling> E. 2.5.3 S. 236; Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.1). Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (SVR 2006 UV Nr. 10 S. 37, U 266/04 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
4.2.2 Ob die anwaltliche Verbeiständung notwendig oder doch geboten ist, beurteilt sich nach den konkreten objektiven und subjektiven Umständen, Es ist im Einzelfall zu fragen, ob eine nicht bedürftige Partei unter sonst gleichen Umständen vernünftigerweise eine Rechtsanwältin oder einen Rechtsanwalt beiziehen würde, weil sie selber zu wenig rechtskundig ist und das Interesse am Prozessausgang den Aufwand rechtfertigt (Urteil des Eidg. Versicherungsgerichts I 812/05 vom 24. Januar 2006 E. 4.1 mit Hinweisen).
5. Die Vorinstanz hat mit folgender Begründung den Anspruch auf unentgeltliche Rechtspflege für das hängige Verfahren verneint: Bis zum Vorbescheid vom 5. April 2011 habe das Verwaltungsverfahren weder in tatsächlicher noch rechtlicher Hinsicht Schwierigkeiten aufgewiesen, die eine anwaltliche Vertretung erheischt hätten. Vielmehr habe die IV-Stelle ihr Vorgehen mit jenem der SUVA koordiniert, wobei der Beschwerdeführer im UV-Verfahren anwaltlich vertreten gewesen sei. Die Vorhalte im Einwand gegen den Vorbescheid liessen sich aufgrund der Stellungnahme des Zentrums X._ einfach auflösen in dem Sinne, dass insbesondere die Schwerhörigkeit keine prozentuale Verminderung der Arbeitsfähigkeit zur Folge habe. Weiter wäre es den zuständigen Behörden der Sozialhilfe zumutbar, den seit April 2010 bei ihnen gemeldeten Beschwerdeführer zu unterstützen. Dass sich der Zweckverband Sozialregion Y._ dazu ausserstande sähe, sei nicht aktenkundig. Aus der Behauptung, wegen der Schwerhörigkeit nicht adäquat kommunizieren zu können und der deutschen Sprache nicht mächtig zu sein, könne der Beschwerdeführer nichts zu seinen Gunsten ableiten. Gemäss den Ärzten des Zentrums X._ verfüge er über eine befriedigende Hörversorgung; das Erheben der Anamnese in der Umgangssprache sei problemlos möglich gewesen. Im Übrigen wäre es dem seit 18 Jahren in der Schweiz lebenden Versicherten im Rahmen der Schadenminderungspflicht zumutbar, allenfalls fehlende Kenntnisse in der deutschen Sprache mittels entsprechenden Kursen zu begegnen. Vor diesem Hintergrund und nach einer vorläufigen Prüfung des Sachverhalts schienen die Aussichten auf eine erfolgreiche Beschwerde gering zu sein, weshalb der Anspruch auf unentgeltliche Rechtspflege im vorliegenden Verfahren zu verneinen sei.
6. Der Beschwerdeführer rügt, der vorinstanzliche Entscheid beruhe auf offensichtlich unrichtigen, teilweise aktenwidrigen tatsächlichen Annahmen.
6.1 Das Bundesgericht prüft frei, ob die vorinstanzliche Beschwerde aussichtslos ist (vgl. <ref-ruling> E. 2.3.1 S. 136; Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.3). Dagegen ist es an die Sachverhaltsfeststellung der Vorinstanz gebunden, soweit diese nicht offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
6.2 Vorab ist festzustellen, dass es in dem beim kantonalen Gericht anhängigen Prozess um die unentgeltliche Verbeiständung für das Vorbescheidverfahren geht. Ob das Verfahren bis zum Erlass des Vorbescheids vom 5. April 2011 Schwierigkeiten in tatsächlicher oder rechtlicher Hinsicht bot, ist somit ohne Belang. Was nun den zu prüfenden Prozessgegenstand anbelangt, war der Einwand des beigezogenen Rechtsvertreters des Beschwerdeführers gegen die in Aussicht gestellte Verneinung des Anspruchs auf berufliche Massnahmen und eine Invalidenrente so verfasst, dass die IV-Stelle dadurch veranlasst wurde, bei den Ärzten der Gutachterstelle unter Vorlage weiterer medizinischer Unterlagen eine Stellungnahme einzuholen (Anfrage vom 5. September 2011). Allein dieser Umstand lässt es als mit dem bundesrechtlichen Begriff der Aussichtslosigkeit unvereinbar erscheinen, der beschwerdeweise behaupteten Notwendigkeit anwaltlicher Interessenwahrung im Vorbescheidverfahren die Gewinnchancen bei dieser Sachlage zum Vornherein als "gering" zu bezeichnen. Die Beschwerde ist begründet.
7. Die unterliegende Vorinstanz resp. der Kanton Solothurn hat keine Gerichtskosten zu tragen (<ref-law>), jedoch dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, soweit darauf einzutreten ist. Der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 26. Januar 2012 wird aufgehoben und die Sache an dieses zurückgewiesen, damit es, nach Prüfung der weiteren Voraussetzungen, über den Anspruch auf unentgeltliche Rechtspflege und Verbeiständung im hängigen Beschwerdeverfahren neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Solothurn hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler