Sachverhalt:
A. Mit Verfügung vom 8. Mai 2009 sprach die IV-Stelle des Kantons Solothurn dem 1970 geborenen Y._ rückwirkend eine vom 1. Oktober 2002 bis 31. Dezember 2006 befristete ganze Invalidenrente namentlich gestützt auf ein Gutachten des medizinischen Instituts X._ vom 28. Mai 2008 zu.
B. Y._ liess hiegegen Beschwerde beim Versicherungsgericht des Kantons Solothurn führen mit den Rechtsbegehren, in Aufhebung der Verfügung vom 8. Mai 2009 seien ihm die gesetzlichen Leistungen nach Massgabe einer Erwerbsunfähigkeit von mindestens 70 % über den 1. Januar 2007 hinaus zuzüglich eines 5%igen Verzugszinses ab wann rechtens zuzusprechen. Eventualiter sei die Sache zur Neuabklärung, (insbesondere zur Einholung eines psychiatrischen Gutachtens und zur Prüfung des Anspruchs auf berufliche Eingliederungsmassnahmen) sowie zur neuen Festlegung des Invaliditätsgrades an die IV-Stelle zurückzuweisen. Ferner ersuchte er um Rückerstattung der Kosten des Parteigutachtens des Psychiaters Dr. med. F._ vom 27. Januar 2009 sowie um Durchführung einer öffentlichen Gerichtsverhandlung mit Partei- und Zeugenbefragung gestützt auf Art. 6 Ziff. 1 EMRK. Mit Schreiben vom 25. August 2010 liess er zudem u.a. die unentgeltliche Rechtspflege beantragen, wobei der Kostenvorschuss bereits am 18. Juni 2009 bezahlt worden war. Das Versicherungsgericht des Kantons Solothurn wies das Gesuch um unentgeltliche Rechtspflege (im Sinne der unentgeltlichen Prozessführung und des unentgeltlichen Rechtsbeistands) verfügungsweise am 2. Februar 2011 zufolge Aussichtslosigkeit der Beschwerde ab (Dispositiv-Ziffer 3).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Y._ beantragen, es sei Dispositiv-Ziffer 3 der Verfügung des kantonalen Gerichts vom 2. Februar 2011 aufzuheben und die Sache an dieses zurückzuweisen, damit es über das Gesuch um unentgeltliche Rechtspflege für das kantonale Verfahren neu entscheide. Weiter wird um aufschiebende Wirkung der Beschwerde ersucht. Für das bundesgerichtliche Verfahren wird die unentgeltliche Rechtspflege beantragt sowie um aufschiebende Wirkung der Beschwerde ersucht.
Das kantonale Gericht schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Eine selbstständig eröffnete Verfügung, mit der im kantonalen Verfahren ein Gesuch um unentgeltliche Prozessführung abgewiesen wird, stellt praxisgemäss einen Zwischenentscheid dar, welcher geeignet ist, einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zu verursachen (SVR 2009 UV Nr. 12 S. 49, 8C_530/2008 E. 2). Auf die Beschwerde ist daher grundsätzlich einzutreten.
1. 1.1 Eine selbstständig eröffnete Verfügung, mit der im kantonalen Verfahren ein Gesuch um unentgeltliche Prozessführung abgewiesen wird, stellt praxisgemäss einen Zwischenentscheid dar, welcher geeignet ist, einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zu verursachen (SVR 2009 UV Nr. 12 S. 49, 8C_530/2008 E. 2). Auf die Beschwerde ist daher grundsätzlich einzutreten.
1.2 1.2.1 Die Beschwerde ist nicht kassatorischer, sondern reformatorischer Natur. Daher ist grundsätzlich zu verlangen, dass nicht nur die Aufhebung des angefochtenen Entscheids und Rückweisung an die Vorinstanz beantragt, sondern in der Beschwerdeschrift ein präziser Antrag zur Sache gestellt wird (<ref-ruling> E. 3.1; Urteil 9C_104/2007 vom 20. August 2007, E. 10.2). Das Begehren umschreibt den Umfang des Rechtsstreits und sollte so formuliert werden, dass es bei Gutheissung zum Urteil erhoben werden kann. Ein blosser Aufhebungs- und Rückweisungsantrag genügt nach dem Gesagten (von hier nicht interessierenden Ausnahmen abgesehen) nicht. Bei der Beurteilung, ob ein genügender Antrag vorliegt, stellt das Gericht nicht nur auf die förmlich gestellten Anträge ab, das Begehren kann sich auch aus der Begründung ergeben. Ein Verweis auf die im vorinstanzlichen Verfahren gestellten Anträge ist jedoch nicht hinreichend (vgl. Urteil des Bundesgerichtes 8C_253/2007 vom 23. Januar 2008, E. 1, mit Hinweis auf Niggli/Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar, Bundesgerichtsgesetz [BGG], Basel 2008, N. 14 ff. und 18 zu Art. 42).
1.2.2 Aus der Beschwerdebegründung geht hervor, dass sinngemäss ein Antrag auf Gewährung der unentgeltlichen Rechtspflege im kantonalen Verfahren gestellt wird, weshalb auf die Beschwerde auch unter diesem Aspekt eingetreten werden kann.
2. 2.1 Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen. Sie soll sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich überdies im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann (<ref-ruling> E. 7.1 S. 2). Für das - in der Regel kostenlose (<ref-law> [SR 830.1]) - sozialversicherungsrechtliche Beschwerdeverfahren findet der Anspruch auf unentgeltlichen Rechtsbeistand in <ref-law> eine gesetzliche Grundlage.
2. 2.1 Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen. Sie soll sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich überdies im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann (<ref-ruling> E. 7.1 S. 2). Für das - in der Regel kostenlose (<ref-law> [SR 830.1]) - sozialversicherungsrechtliche Beschwerdeverfahren findet der Anspruch auf unentgeltlichen Rechtsbeistand in <ref-law> eine gesetzliche Grundlage.
2.2 2.2.1 Das Bundesgericht prüft die normative Frage, ob das Rechtsmittel aussichtslos sei, frei (vgl. <ref-ruling> E. 2.3.1 S. 136; Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.3 und 3.2.1-3.2.3 [publ. in: SZS 2009 S. 397]).
2.2.2 Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 2.5.3 S. 236; <ref-ruling> E. 2.3.1 S. 136). Es ist unzulässig, den Entscheid über das Gesuch um unentgeltliche Rechtspflege für einen zunächst nicht aussichtslos erscheinenden Prozess bis zu den gerichtlichen Beweiserhebungen hinauszuschieben und bei nachträglich zu Tage tretender Aussichtslosigkeit die unentgeltliche Rechtspflege für das gesamte Verfahren zu verweigern (<ref-ruling> E. 2). Die prognostische Beurteilung der Erfolgsaussichten eröffnet dem Sachgericht allerdings einen Beurteilungsspielraum, in den das Bundesgericht auch bei freier Prüfung der Rechtsfragen nur mit Zurückhaltung eingreift. Erforderlich ist, dass das Sachgericht von anerkannten Rechtsgrundsätzen abgewichen ist, dass es Umstände berücksichtigt hat, die für die Prognose im Einzelfall keine Rolle spielen dürfen oder umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen (vgl. <ref-ruling> E. 5.4 S. 211; <ref-ruling> E. 12.2.2 S. 31; <ref-ruling> E. 3.1 S. 220).
3. 3.1 Im Verfahren vor kantonalem Gericht bestreitet der Versicherte den Beweiswert des Gutachtens des medizinischen Instituts X._ vom 28. Mai 2008. Er bringt u.a. vor, das Gutachten leide an formellen Mängeln, da die psychiatrische Exploration nicht durch eine Person mit Facharzttitel in Psychiatrie und Psychotherapie durchgeführt worden sei. In materieller Hinsicht habe die Expertise die medizinischen Vorakten nicht genügend berücksichtigt, zumal ein seit Jahren bestehendes psychisches Krankengeschehen vorliege. So habe im Zeitpunkt der Begutachtung kein aktueller Bericht des behandelnden Psychiaters Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie, vorgelegen. Es fehle ausserdem an einer schlüssigen gutachterlichen Stellungnahme zur von Dr. med. A._ und Dr. med. P._, Facharzt für Psychiatrie und Psychotherapie (der im Auftrag der Krankenkasse des Versicherten am 24. September 2002 einen Bericht erstellt hatte), diagnostizierten (kombinierten) Persönlichkeitsstörung, welche Diagnose zu den Schlussfolgerungen im Gutachten des medizinischen Instituts X._ erheblich divergiere. Auch im Parteigutachten des Dr. med. F._ (vom 27. Januar 2009) seien störende Persönlichkeitsänderungen sowie eine rezidivierende depressive Störung (aktuell mindestens mittelgradig) diagnostiziert worden. Eine Remission der depressiven Störung werde in der Expertise des medizinischen Instituts X._ zudem einzig mit einem angeblich hohen Aktivitätsniveau begründet, da der Versicherte in der Lage gewesen sei, im Frühling 2006 in die Türkei zu reisen, weshalb der Gutachter zum unhaltbaren Schluss gelange, es liege überwiegend wahrscheinlich seit Sommer 2006 eine Verbesserung des psychischen Zustandsbildes vor.
3.2 Ob die kantonale Beschwerde aussichtslos gewesen sei konzentriert sich gestützt auf die Vorbringen des Beschwerdeführers auf die Frage des Vorliegens eines allfälligen psychischen oder geistigen Gesundheitsschadens mit Auswirkungen auf die Arbeitsfähigkeit. Diesbezüglich erwog das kantonale Gericht, dem Parteigutachten des Dr. med. F._ seien keine objektiven Gesichtspunkte zu entnehmen, die den Beweiswert des Gutachtens des medizinischen Instituts X._ zu erschüttern vermöchten, zumal Dr. med. F._ sich bei seiner Beurteilung primär auf die subjektiven Angaben des Versicherten gestützt habe.
3.3 Das kantonale Gericht hat nach dem Grundsatz der freien Beweiswürdigung (<ref-law>) die medizinischen Berichte ohne Bindung an förmliche Beweisregeln zu würdigen, was insbesondere bei einander widersprechenden medizinischen Auskünften gilt (vgl. <ref-ruling> E. 3a S. 352). Was Parteigutachten anbelangt, rechtfertigt der Umstand allein, dass eine ärztliche Stellungnahme von einer Partei eingeholt und in das Verfahren eingebracht wird, nicht Zweifel an ihrem Beweiswert (<ref-ruling> E. 3b/dd S. 353). Auch ein Parteigutachten enthält somit Äusserungen eines Sachverständigen, welche zur Feststellung eines medizinischen Sachverhalts beweismässig beitragen können. Daraus folgt indessen nicht, dass ein solches Gutachten den gleichen Rang wie ein vom Gericht oder von einem Unfallversicherer (beziehungsweise von der Invalidenversicherung) nach dem vorgegebenen Verfahrensrecht eingeholtes Gutachten besitzt. Es verpflichtet indessen - wie jede substanziiert vorgetragene Einwendung gegen ein solches Gutachten - das Gericht, den von der Rechtsprechung aufgestellten Richtlinien für die Beweiswürdigung folgend, zu prüfen, ob es in rechtserheblichen Fragen die Auffassungen und Schlussfolgerungen des vom Gericht oder vom Unfallversicherer förmlich bestellten Gutachters derart zu erschüttern vermag, dass davon abzuweichen ist (<ref-ruling> E. 3c S. 354). Ferner muss der Richter bei einander widersprechenden medizinischen Berichten das gesamte Beweismaterial würdigen und die Gründe angeben, warum er auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die vorgebrachten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind (<ref-ruling> E. 5.1).
3.4 Dem kantonalen Gericht kann insoweit nicht gefolgt werden, als es erwog, das Privatgutachten des Dr. med. F._ basiere hauptsächlich auf subjektiven Angaben des Versicherten. Dem Experten lagen vielmehr, nebst weiteren medizinischen Berichten, der Bericht des Dr. med. P._ vom 24. September 2002, ein Gutachten der MEDAS vom 6. November 2003 sowie verschiedene Arztberichte des behandelnden Psychiaters Dr. med. A._ vor, mit welchem der Gutachter überdies telefonisch in Kontakt getreten war. Er setzte sich mit den bestehenden Vorakten auseinander und stellte hinsichtlich der Diagnosestellung auf subjektive wie objektive Untersuchungsbefunde ab. Auch wenn kein genereller Anspruch besteht, dass immer dann, wenn zwei widersprüchliche Begutachtungen vorliegen, zwingend ein Obergutachten erstellt werden müsste (Urteile 9C_657/2007 vom 12. Juni 2008 E. 2.3, I 165/05 vom 11. Juli 2005 E. 4), hätte sich bei der vorliegenden Sachlage zumindest die Einholung einer Stellungnahme des medizinischen Instituts X._ zu den Darlegungen des Experten Dr. med. F._ aufgedrängt, zumal dieser in Übereinstimmung mit dem behandelnden Psychiater Dr. med. A._ von einer weiterhin andauernden, von der Drogenproblematik unabhängigen Persönlichkeitsstörung bzw. Persönlichkeitsänderungen sowie einer rezidivierenden depressiven Störung mit Auswirkung auf die Arbeits- und Erwerbsfähigkeit ausging.
Bei dieser Sach- und Rechtslage stellt sich durchaus die Frage nach dem Beweiswert des Gutachtens des medizinischen Instituts X._. Dies auch ohne Berücksichtigung der nach der Verfügung vom 2. Februar 2011 im vorinstanzlichen Verfahren eingereichten Stellungnahmen der Dres. med. A._ und F._ (vom 23. und 24. Februar 2011) zum Gutachten des medizinischen Instituts X._, welche demnach im für die Beurteilung des Anspruchs auf unentgeltliche Rechtspflege massgebenden Zeitpunkt der Gesuchseinreichung noch nicht vorlagen. Als prozessleitender Entscheid wird der Entscheid über die unentgeltliche Rechtspflege nur formell, nicht aber materiell rechtskräftig, weshalb jederzeit ein neues Gesuch um unentgeltliche Rechtspflege aufgrund geänderter Verhältnisse zulässig gewesen wäre (Urteile 5A_430/2010 vom 13. August 2010 E. 2.4 und 5A_336/2007 vom 5. Oktober 2007 E. 2.2).
Unabhängig hievon kann nach dem Gesagten jedenfalls nicht ohne Weiteres der Schluss gezogen werden, die Vorbringen in der kantonalen Beschwerde seien aussichtslos.
4. 4.1 Was die übrigen Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung (E. 2.1) anbelangt, hat das kantonale Gericht keine Feststellungen getroffen. Diese lassen sich indessen durch das Bundesgericht ergänzen (<ref-law>).
4.2 Die finanzielle Bedürftigkeit des Beschwerdeführers ist mit den vorinstanzlich eingereichten Unterlagen ausgewiesen. Angesichts der Schwierigkeit der Sache und der Fähigkeiten des Versicherten ist auch dessen Vertretung durch einen Anwalt sachlich geboten.
5. Gerichtskosten sind keine zu erheben (<ref-law>). Der Kanton Solothurn hat dem obsiegenden Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>; <ref-ruling> E. 6.1 S. 235; Urteil 8C_679/2009 vom 22. Februar 2010 E. 5 [zusammengefasst u.a. in Anwaltsrevue 5/2010 S. 233]). Damit wird sein Gesuch um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und Dispositiv-Ziffer 3 der Verfügung des Versicherungsgerichts des Kantons Solothurn vom 2. Februar 2011 aufgehoben. Es wird festgestellt, dass der Beschwerdeführer für das kantonale Beschwerdeverfahren betreffend berufliche Massnahmen und eine Rente der Invalidenversicherung Anspruch auf unentgeltliche Rechtspflege hat. Rechtsanwalt Claude Wyssmann wird als sein unentgeltlicher Rechtsbeistand bestellt.
2. Es werden keine Gerichtskosten erhoben.
3. Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla