Sachverhalt:
A.a Der 1957 geborene J._ meldete sich am 28. August 2004 bei der Invalidenversicherung zum Leistungsbezug. Mit Verfügung vom 27. Dezember 2004 gewährte ihm die IV-Stelle des Kantons Solothurn berufliche Massnahmen (Beratung und Unterstützung bei der Stellensuche), welche jedoch wegen fehlender Mitwirkung am 1. April 2005 eingestellt wurde. Am 19. Februar 2007 meldete sich J._ erneut zum Leistungsbezug an, worauf ihm die IV-Stelle mit Verfügung vom 31. August 2007 die Kosten für zwei Hörgeräte zusprach. Mit Vorbescheid vom 16. Oktober 2007 stellte sie J._ nach weiteren Abklärungen, insbesondere einem MEDAS-Gutachten vom 19. April 2007, eine vom 1. November 2004 bis Ende Februar 2007 befristete ganze Rente in Aussicht und sprach ihm mit Verfügung vom 4. März 2008 die befristete Rente bereits ab September 2004 zu. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn (nachfolgend: kantonales Gericht) mit Entscheid vom 19. Februar 2009 ab.
A.b Am 26. Januar 2010 stellte J._ ein erneutes Leistungsgesuch. Nach Abklärungen in medizinischer Hinsicht stellte ihm die IV-Stelle mit Vorbescheid vom 27. Mai 2010 die Abweisung des Leistungsbegehrens in Aussicht, worauf J._ Einwand erhob und die unentgeltliche Verbeiständung beantragte. Mit Verfügung vom 26. August 2010 gewährte ihm die IV-Stelle die unentgeltliche Verbeiständung für das Vorbescheidverfahren und veranlasste in der Folge ein weiteres MEDAS-Gutachten vom 26. Januar 2012; dazu lud sie J._ am 31. Januar 2012 zur Stellungnahme innert 20 Tagen ein. Mit erneutem Vorbescheid vom 21. Februar 2012 wurde J._ mangels eines rentenbegründenden Invaliditätsgrades (33%) die Abweisung des Leistungsbegehrens in Aussicht gestellt, worauf dieser am 26. März 2012 (recte: 29. März 2012) abermals opponierte und um unentgeltliche Verbeiständung ersuchte. Gleichzeitig gewährte ihm die IV-Stelle mit Verfügung vom 26. März 2012 die unentgeltliche Verbeiständung für das erste Vorbescheidverfahren und wies darauf hin, dass sie für das neue Vorbescheidverfahren ein neues Gesuch benötige. Am 2. April 2012 wurde ihm die Frist zu einer ergänzenden Stellungnahme auf Grund der Akteneinsicht bis 20. Mai 2012 erstreckt. Nach Eingang des Gesuchs vom 20. April 2012 lehnte die IV-Stelle am 26. April 2012 die Gewährung der unentgeltlichen Verbeiständung für das aktuelle (zweite) Vorbescheidverfahren auf Grund fehlender Notwendigkeit einer anwaltlichen Vertretung ab und holte eine zusätzliche Stellungnahme beim Regionalen Ärztlichen Dienst, RAD, und bei den MEDAS-Gutachtern (vom 22. Mai 2012) ein.
B. Den in der hiegegen an das kantonale Gericht eingereichten Beschwerde gestellten Antrag, es sei ihm für das Beschwerdeverfahren die unentgeltliche Rechtspflege zu gewähren, wies der Instruktionsrichter mit Verfügung vom 17. Juli 2012 ab (Dispositiv-Ziffer 2) und verpflichtete J._ zur Bezahlung eines Kostenvorschusses von Fr. 600.- bis 3. September 2012 (Dispositiv-Ziffer 3).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt J._ beantragen, Dispositiv-Ziffer 2 des Entscheids vom 17. Juli 2012 sei aufzuheben und es sei ihm für das Verfahren vor dem kantonalen Versicherungsgericht die unentgeltliche Rechtsverbeiständung zu gewähren, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege im letztinstanzlichen Verfahren.
Das Versicherungsgericht des Kantons Solothurn schliesst unter Hinweis auf seine Verfügung auf Abweisung der Beschwerde.

Erwägungen:
1. Der angefochtene Entscheid verneint den Anspruch des Beschwerdeführers auf unentgeltliche Rechtspflege, insbesondere das Recht, sich verbeiständen zu lassen (<ref-law>), im Streit um den von der IV-Stelle verneinten Anspruch auf unentgeltliche Rechtspflege für das Vorbescheidverfahren (<ref-law> in Verbindung mit <ref-law> und <ref-law>). Dabei handelt sich um einen selbstständig eröffneten Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; Urteil 9C_196/2012 vom 20. April 2012 E. 2 mit Hinweisen). Auf die Beschwerde ist somit einzutreten, da auch die übrigen formellen Gültigkeitserfordernisse erfüllt sind.
2. Streitig und zu prüfen ist, ob die Vorinstanz dem Beschwerdeführer im erstinstanzlichen Verfahren in der Annahme, sein Rechtsmittel sei aussichtslos, die unentgeltliche Verbeiständung zu Recht verweigert hat.
2.1 Nach <ref-law> muss im Verfahren vor dem kantonalen Versicherungsgericht das Recht, sich verbeiständen zu lassen, gewährleistet sein. Wo die Verhältnisse es rechtfertigen, wird der Beschwerde führenden Person ein unentgeltlicher Rechtsbeistand bewilligt. Praxisgemäss setzt die unentgeltliche Verbeiständung voraus, dass der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung notwendig oder doch geboten ist (Urteil 8C_679/2009 vom 22. Februar 2010 E. 1 mit Hinweis; vgl. auch <ref-ruling> E. 4a S. 202).
2.1 Nach <ref-law> muss im Verfahren vor dem kantonalen Versicherungsgericht das Recht, sich verbeiständen zu lassen, gewährleistet sein. Wo die Verhältnisse es rechtfertigen, wird der Beschwerde führenden Person ein unentgeltlicher Rechtsbeistand bewilligt. Praxisgemäss setzt die unentgeltliche Verbeiständung voraus, dass der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung notwendig oder doch geboten ist (Urteil 8C_679/2009 vom 22. Februar 2010 E. 1 mit Hinweis; vgl. auch <ref-ruling> E. 4a S. 202).
2.2 2.2.1 Prozessbegehren sind als aussichtslos anzusehen, wenn die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren, so dass sie kaum als ernsthaft bezeichnet werden können. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde (<ref-ruling> E. 2.3.1 S. 135; <ref-ruling> E. 2.5.3 S. 236; Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.1). Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (SVR 2006 UV Nr. 10 S. 37, U 266/04 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
2.2.2 Ob die anwaltliche Verbeiständung notwendig oder doch geboten ist, beurteilt sich nach den konkreten objektiven und subjektiven Umständen. Es ist im Einzelfall zu fragen, ob eine nicht bedürftige Partei unter sonst gleichen Umständen vernünftigerweise eine Rechtsanwältin oder einen Rechtsanwalt beiziehen würde, weil sie selber zu wenig rechtskundig ist und das Interesse am Prozessausgang den Aufwand rechtfertigt (Urteil I 812/05 vom 24. Januar 2006 E. 4.1 mit Hinweisen).
2.3 Die Rechtsprechung zum Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren nach <ref-law> hat die Vorinstanz richtig wiedergegeben (<ref-ruling> E. 4.1, 125 V 32 E. 4b S. 35, je mit Hinweisen; Urteil 9C_315/2009 vom 18. September 2009 E. 2.1). In der Tat besteht im Vorbescheidverfahren ein Anspruch auf anwaltliche Verbeiständung nur in Ausnahmefällen, in denen ein Rechtsanwalt beigezogen wird, weil schwierige rechtliche oder tatsächliche Fragen dies als notwendig erscheinen lassen und eine Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- oder Vertrauensleute sozialer Institutionen nicht in Betracht fällt. Zu gewichten ist auch die Fähigkeit der versicherten Person, sich im Verfahren zurechtzufinden (vgl. nicht publ. E. 8.2 des Urteils <ref-ruling>, in SVR 2012 IV Nr. 26 S. 107, 8C_272/2011).
3. 3.1 Die Vorinstanz hat den Anspruch auf unentgeltliche Rechtspflege für das bei ihr hängige Verfahren mit der Begründung verneint, die Erfolgschancen im Rahmen der gebotenen summarischen Prüfung erschienen als gering. Es handle sich im (zweiten) Vorbescheidverfahren im Wesentlichen um die Beurteilung des Gesundheitszustandes des Beschwerdeführers und damit um einen normalen Durchschnittsfall im Bereich des Invalidenversicherungsrechts. Es seien keine erhöhten Schwierigkeiten tatsächlicher oder rechtlicher Art erkennbar. Die vom Beschwerdeführer vorgebrachten Rügen, wonach unter anderem die Beurteilung des Gesundheitszustandes, die Würdigung medizinischer Unterlagen und die Frage des Beweiswerts von ärztlichen Stellungnahmen zu beurteilen seien, seien Bestandteil eines jeden Vorbescheidverfahrens und vermöchten daher die Notwendigkeit einer Verbeiständung nicht zu begründen. Nicht stichhaltig sei, dass der Beschwerdeführer absolut rechtsunkundig und der deutschen Schriftsprache nicht mächtig sei sowie unter psychischen Störungen leide. Zudem sei weder dargetan noch ersichtlich, weshalb der von der Sozialhilfe abhängige Beschwerdeführer keine Vertretung oder Unterstützung durch den Regionalen Sozialdienst erhalten sollte. Auch könne er aus der Tatsche, dass die IV-Stelle die unentgeltliche Vertretung im ersten Vorbescheidverfahren bewilligt habe, nichts ableiten.
3.2 Das Bundesgericht prüft frei, ob die vorinstanzliche Beschwerde aussichtslos ist (vgl. <ref-ruling> E. 2.3.1 S. 136; Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.3). Dagegen ist es an die Sachverhaltsfeststellung der Vorinstanz gebunden, soweit diese nicht offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
3.3 Die Stellungnahme des Rechtsvertreters zum Vorbescheid vom 21. Februar 2012 führte dazu, dass die IV-Stelle nach Rücksprache mit dem RAD bei den MEDAS-Gutachtern eine ergänzende Stellungnahme vom 22. Mai 2012 einforderte (Anfrage vom 16. Mai 2011). Gemäss Urteil 9C_196/2012 vom 20. April 2012 (in Plädoyer 2012/4 S. 65) kann nicht von vornherein davon ausgegangen werden, die anwaltliche Interessenwahrung im Vorbescheidverfahren sei nicht notwendig, wenn die IV-Stelle durch einen Einwand des Versicherten veranlasst wird, bei den Ärzten der Gutachterstelle eine Stellungnahme einzuholen. Hier kommt hinzu, dass sich das Verfahren mit den verschiedenen Stellungnahmen und der Terminüberschneidung von Stellungnahme zum MEDAS-Gutachten und Erlass des (zweiten) Vorbescheides durch die IV-Stelle als aufwändig und nicht sehr überschaubar darstellte. Daher konnte dem Beschwerdeführer nicht zugemutet werden, nach Erlass des zweiten Vorbescheides die Sache plötzlich selbst in die Hand zu nehmen, nachdem bereits ein erster Vorbescheid ergangen war und der daraufhin erhobene Einwand die Einholung eines polydisziplinären Gutachtens zur Folge hatte. Von einem durchschnittlichen Fall kann jedenfalls nicht die Rede sein. Da die Beschwerde damit nicht aussichtslos war, die Bedürftigkeit von der IV-Stelle bereits im ersten Vorbescheidverfahren als erfüllt betrachtet wurde und sich auf Grund der vor Vorinstanz eingereichten Unterlagen zum Gesuch um unentgeltliche Rechtspflege keine Anhaltspunkte für eine Änderung der finanziellen Verhältnisse ergeben, weshalb der Beschwerdeführer auch die weitere Voraussetzung der Bedürftigkeit erfüllt, ist die Beschwerde begründet.
4. Die unterliegende Vorinstanz resp. der Kanton Solothurn hat keine Gerichtskosten zu tragen (<ref-law>), jedoch dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Zwischenentscheid des Versicherungsgerichts des Kantons Solothurn vom 17. Juli 2012 wird aufgehoben. Es wird festgestellt, dass der Beschwerdeführer Anspruch auf unentgeltliche Verbeiständung im kantonalen Beschwerdeverfahren hat.
2. Es werden keine Gerichtskosten erhoben.
3. Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein