Sachverhalt:
A. Mit Verfügung vom 8. Mai 2009 sprach die IV-Stelle des Kantons Solothurn Y._ (Jg. 1970) für die Zeit vom 1. Oktober 2002 bis 31. Dezember 2006 eine ganze Invalidenrente zu, während sie für die Folgezeit einen Rentenanspruch verneinte.
B. Dagegen erhob Y._ Beschwerde beim Versicherungsgericht des Kantons Solothurn und beantragte die Zusprechung einer Invalidenrente auch über den 31. Dezember 2006 hinaus; eventualiter sei die Sache zur ergänzenden Abklärung an die IV-Stelle zurückzuweisen. Des Weitern ersuchte er um Rückerstattung der Kosten des von ihm in Auftrag gegebenen medizinischen Gutachtens des Dr. med. F._ vom 27. Januar 2009 durch die IV-Stelle und um Durchführung einer öffentlichen Gerichtsverhandlung mit Partei- und Zeugenbefragung gestützt auf Art. 6 Ziff. 1 EMRK.
Nach Einholung einer Vernehmlassung der IV-Stelle stellte das kantonale Gericht den Abschluss des Schriftenwechsels in Aussicht. Y._ ersuchte daraufhin erneut um Durchführung einer öffentlichen Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK, welches Begehren Oberrichterin A._ mit Verfügung vom 23. Dezember 2009 abwies. Mit Schreiben vom 10. Juni 2009 stellte diese Y._ alsdann eine reformatio in peius in Aussicht. Darin führte sie einleitend aus:
"Nach Lage der Akten ist nicht zum Vornherein auszuschliessen, dass das Versicherungsgericht - unpräjudiziell und nach einer Vorabwürdigung der für eine Schlechterstellung sprechenden Fallumstände - Ihre Beschwerde nicht nur abweisen, sondern möglicherweise zu Ungunsten Ihres Mandanten entscheiden wird."
Nach der Wiedergabe der Schlussfolgerungen des versicherungspsychiatrischen Gutachtens des medizinischen Instituts X._ vom 28. Mai 2008 und des Parteigutachtens des Dr. med. F._ vom 27. Januar 2009 heisst es weiter: "Eine vorläufige Würdigung der Akten führt zum Ergebnis, dass dem Parteigutachten von Dr. med. F._ vom 27. Januar 2009 insgesamt keine objektiven Gesichtspunkte zu entnehmen sind, welche den Beweiswert des Gutachtens des medizinischen Instituts X._ vom 28. Mai 2008 zu erschüttern vermögen. Dr. med. F._ hat bei seiner Beurteilung primär auf die subjektiven Angaben des Beschwerdeführers abgestellt. Sein Gutachten reicht nicht aus, das Administrativgutachten in Frage zu stellen." Daraus wird zusammenfassend geschlossen: "Da bezüglich der Suchtkrankheit nun Klarheit herrscht und aufgrund der medizinischen Akten vor diesem Zeitraum auch nur diese Opiatabhängigkeit im Zentrum stand, ist - da invaliditätsfremd - auch der Rentenanspruch in der Zeit von 1.10.2002 bis 31.12.2006 zu verneinen." Das Schreiben vom 10. Juni 2010 schliesst wie folgt:
"Sie erhalten nun Gelegenheit, insbesondere zwecks Vermeiden einer Schlechterstellung (sog. reformatio in peius), die Beschwerde gegen die angefochtene Verfügung vom 8.5.2009 zurückzuziehen. In diesem Fall wäre das Verfahren abzuschreiben und bliebe die Verfügung bestehen.
Wir bitten Sie, uns bis spätestens 24.6.2010 einen allfälligen Rückzug der Beschwerde zukommen zu lassen oder aber die Erklärung, dass Sie - trotz Drohen einer Schlechterstellung - an der Beschwerde festhalten. Ohne entsprechende Äusserung, insbesondere ohne expliziten Rückzug innert der gesetzten Frist, nehmen wir an, dass Sie einen richterlichen Entscheid wünschen."
Innert erstreckter Frist teilte Y._ dem kantonalen Versicherungsgericht mit, dass er an der Beschwerde festhalte. Gleichzeitig verlangte er den Ausstand der Gerichtspersonen, welche an der "Verfügung" vom 10. Juni 2010 mitgewirkt haben. Zudem verlangte er erneut die Durchführung einer öffentlichen Verhandlung nach Art. 6 Ziff. 1 EMRK und ersuchte um unentgeltliche Rechtspflege.
Am 8. September 2010 nahm Oberrichterin A._ zum Ausstandsbegehren Stellung.
Mit Verfügung vom 22. Oktober 2010 wies das Versicherungsgericht das Ausstandsbegehren in der Besetzung von Oberrichter B._ und C._ sowie Gerichtsschreiber D._ ab.
C. Y._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, die Verfügung vom 22. Oktober 2010 sei aufzuheben, soweit damit die Ausstandspflicht von Oberrichterin A._ verneint werde, und es sei die Sache an das Versicherungsgericht zurückzuweisen, damit es in neuer Besetzung ohne deren Beteiligung weiter befinde. Überdies wird um Gewährung der unentgeltlichen Rechtspflege ersucht.

Erwägungen:
1. Bei der mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochtenen vorinstanzlichen Verfügung handelt es sich um einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren. Diese ist gemäss <ref-law> mit Beschwerde beim Bundesgericht anfechtbar. Auf das Rechtsmittel ist daher einzutreten.
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht (<ref-law>) und von Völkerrecht (<ref-law>) gerügt werden. Soweit sich der angefochtene Entscheid auf Quellen des kantonalen Rechts stützt, welche nicht in Art. 95 lit. c-e BGG genannt werden, beschränkt sich die Überprüfung durch das Bundesgericht demgegenüber inhaltlich auf die erhobenen und begründeten Rügen (<ref-law>) und thematisch auf die Frage, ob die Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt.
3. 3.1 Im Sinne einer unabhängig vom anwendbaren Verfahrens- und Organisationsrecht geltenden und damit auch für das kantonale Versicherungsgericht nach <ref-law> (SR 830.1) ohne weiteres massgeblichen Minimalgarantie haben die Prozessparteien einen aus Art. 6 Ziff. 1 EMRK und <ref-law> abgeleiteten Anspruch darauf, dass ihre Sache von unabhängigen, unvoreingenommenen und unbefangenen Richterinnen und Richtern ohne Einwirkung sachfremder Umstände entschieden wird. Die Garantie ist verletzt, wenn Gegebenheiten vorliegen, welche den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen (<ref-ruling> E. 4.2 S. 21; <ref-ruling> E. 6.2 S. 6; <ref-ruling> E. 3.4 S. 116; <ref-ruling> E. 2a S. 84). Solche Umstände können in einem bestimmten Verhalten der betreffenden Person oder in äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Für den Ausstand wird nicht verlangt, dass der Richter oder die Richterin tatsächlich befangen ist. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken (BGE <ref-ruling> E. 6.2 S. 6; <ref-ruling> E. 1.1 S. 25 mit Hinweisen). Das subjektive Empfinden einer Partei vermag dagegen keine Ausstandspflicht zu begründen (<ref-ruling> E. 4.2 S. 21; <ref-ruling> E. 5.2 S. 3).
3.2 Eine gewisse Besorgnis der Voreingenommenheit und damit Misstrauen in das Gericht kann bei den Parteien immer dann entstehen, wenn einzelne Gerichtspersonen in einem früheren Verfahren mit der konkreten Streitsache schon einmal befasst waren. Liegt eine solche Vorbefassung vor, stellt sich die Frage, ob sich eine Gerichtsperson durch ihre Mitwirkung an früheren Entscheidungen in einzelnen Punkten bereits in einem Mass festgelegt hat, die sie nicht mehr als unvoreingenommen und dementsprechend das Verfahren als nicht mehr offen erscheinen lassen. Ob dies der Fall ist, kann nicht generell gesagt werden; es ist vielmehr in jedem Einzelfall - anhand aller tatsächlichen und verfahrensrechtlichen Umstände - zu untersuchen, ob die konkret zu entscheidende Rechtsfrage trotz Vorbefassung als noch offen erscheint (BGE <ref-ruling> E. 3.4 S. 116 f. mit Hinweisen).
3.3 Je nach verfahrensmässiger Konstellation muss sich ein Richter oder eine Richterin bereits in einem früheren Verfahrensstadium zu Fragestellungen äussern, die auch für den Endentscheid relevant sind. Dies trifft etwa zu bei bestimmten Instruktionsmassnahmen, wie beispielsweise Zwischenentscheiden über den Aspekt der Aussichtslosigkeit bei Entscheiden betreffend unentgeltliche Rechtspflege, über die Gewährung des rechtlichen Gehörs im Hinblick auf eine mögliche reformatio in peius im Sinne von <ref-law>, über vorsorgliche Massnahmen oder im Zusammenhang mit einem Vergleichsvorschlag. In derartigen Konstellationen begründen auch Aussagen über die Prozesschancen regelmässig keine Befangenheit, wenn sie den Rahmen dessen nicht überschreiten, was für die Durchführung der konkreten prozessualen Vorkehr notwendig ist. Befangenheit ist demgegenüber regelmässig dann anzunehmen, wenn konkrete Anhaltspunkte dafür vorliegen, dass sich der Richter oder die Richterin bereits in einer Art festgelegt hat, dass er oder sie einer anderen Bewertung der Sach- und Rechtslage nicht mehr zugänglich und der Verfahrensausgang deswegen nicht mehr offen erscheint (BGE <ref-ruling> E. 3.7 S. 124).
4. 4.1 Der Beschwerdeführer leitet den Anschein der Befangenheit von Oberrichterin A._ aus dem Inhalt des Schreibens vom 10. Juni 2010 betreffend Androhung eines seine Rechtsstellung verschlechternden Verfahrensausgangs ab. Er macht geltend, dessen Formulierung entspreche inhaltlich einem Endentscheid, welcher die Annahme eines noch offenen Verfahrensausgangs nicht mehr zulasse. Zudem sei er lediglich aufgefordert worden, den Rückzug der Beschwerde oder Festhalten an derselben zu erklären, ohne dass ihm die Möglichkeit eingeräumt worden wäre, zu den inhaltlichen Ausführungen Stellung zu nehmen. Daraus schliesst der Beschwerdeführer, dass seine Meinung zum Schreiben vom 10. Juni 2010 zum Vornherein nichts mehr an der von Oberrichterin A._ gewonnen Überzeugung zu ändern vermöchte. Dass für diese der beabsichtigte Entscheid schon unverrückbar feststehe und sein Standpunkt nicht von Interesse sei, bestätige auch ihre Abweisung des Gesuchs um Durchführung einer öffentlichen Gerichtsverhandlung (Verfügung vom 23. Dezember 2009).
4.2 <ref-law> verpflichtet die Rechtsmittelbehörde, welche eine reformatio in peius beabsichtigt, dem Beschwerdeführer vor Ausfällen ihres Entscheids Gelegenheit zur Stellungnahme sowie zum Rückzug der Beschwerde zu geben. Ein solches Äusserungsrecht steht dem Beschwerdeführer von Verfassungs wegen zu, da der Erlass eines ihn belastenden Entscheids infrage kommt (vgl. <ref-ruling> E. 2a S. 167).
4.3 Im Hinblick auf die unzulässige Vorbefassung ergibt sich, dass bei einer reformatio in peius die gerichtliche Auseinandersetzung mit dem Fall im Interesse der Partei liegt. Der Beschwerdeführer muss seinen Entscheid, die Beschwerde zurückzuziehen oder aufrechtzuerhalten, im Wissen um die ausschlaggebenden Gesichtspunkte treffen können. Denn er trägt das Risiko, vom Gericht nicht nur mit seinen Begehren abgewiesen zu werden, sondern noch schlechter gestellt zu werden als vor der Beschwerdeerhebung. Der Entscheid über das Rückzugsrecht im Rahmen des verfassungsmässigen Gehörsanspruchs setzt daher zwingend voraus, dass der Beschwerdeführer die Gelegenheit erhält, zu denjenigen neuen Gesichtspunkten Stellung zu nehmen, welche die Vorinstanz anlässlich einer ersten summarischen Prüfung des Falles bewogen haben, eine Schlechterstellung ins Auge zu fassen. Es muss ausgeschlossen sein, dass dem im Falle fehlenden Rückzugs ergehenden kantonalen Entscheid Gesichtspunkte unterlegt werden, mit denen der Versicherte nicht rechnete noch zu rechnen brauchte. Für das Gericht bedeutet dies, dass es bei der Ankündigung der reformatio in peius einen Mittelweg zu beschreiten hat, welcher den Anspruch auf rechtliches Gehör und den Anspruch des Rechtsuchenden auf unbefangene gerichtliche Beurteilung in gleicher Weise wahrt (Urteile U 391/04 vom 13. September 2005 E. 4.2; U 8/02 vom 16. Dezember 2002 E. 3.6). Feststellungen, die zur Erfüllung dieser Aufgabe eindeutig nicht erforderlich sind, erfolgen ohne Grund und Rechtfertigung und sind somit grundsätzlich nicht mit <ref-law> vereinbar. Eine "überschiessende", da nicht mit den konkreten Erfordernissen der Verfahrensleitung begründbare Festlegung ist indessen nicht leichthin anzunehmen, zumal der instruierenden Richterin bei der Ausgestaltung verfahrensleitender Verfügungen und ihrer Begründung ein erheblicher Gestaltungsspielraum zusteht (Urteil U 391/04 vom 13. September 2005 E. 4.1). Gleiches hat auch im Rahmen der Androhung einer reformatio in peius zu gelten.
4.4 Im Lichte dieser Rechtsprechung lassen die Einwände des Beschwerdeführers die vorinstanzliche Verneinung des gegenüber Oberrichterin A._ geltend gemachten Ausstandsgrundes nicht als verfassungs- oder konventionswidrig erscheinen. Wie das Versicherungsgericht mit Recht erwogen hat, enthalten die Ausführungen in der Androhung der reformatio in peius vom 10. Juni 2010 lediglich eine Beschreibung der vorläufigen Einschätzung, zu welcher eine Vorabwürdigung der Akten geführt hat. Obwohl das Schreiben sehr detailliert und zudem weitgehend im Indikativ abgefasst ist, wird damit der Rahmen dessen, was bei einem Hinweis auf eine drohende Schlechterstellung notwendig erscheint, nicht überschritten. Die inkriminierte Bestimmtheit der sprachlichen Formulierung lässt insofern keinen Anschein der Voreingenommenheit entstehen, als nicht nur im Einleitungssatz, sondern auch mit der als vorläufig bezeichneten Würdigung der medizinischen Unterlagen deutlich zum Ausdruck kommt, dass dem Schreiben nur summarische und provisorische Überlegungen zugrunde liegen. Auch die gewählte Form als Brief, ohne Dispositiv, deutet an, dass es sich nicht um eine endgültige Beurteilung handelt, an welche das Gericht gebunden wäre.
4.5 Zwar ist dem Beschwerdeführer beizupflichten, dass im umstrittenen Schreiben nicht ausdrücklich auf die Gelegenheit zur Stellungnahme zur angedrohten Schlechterstellung hingewiesen worden ist. Im letzten Satz ist zwar von einer Äusserungsmöglichkeit die Rede, doch bezieht sich diese aufgrund des Sachzusammenhangs nicht ohne weiteres auf den Verschlechterungsgrund, sondern auf die Festhaltens- oder Rückzugserklärung. Da sich die Möglichkeit zur Stellungnahme jedoch bereits aus dem Gesetzeswortlaut von <ref-law> ergibt, stand es dem Beschwerdeführer auch ohne expliziten Hinweis offen, sich nicht auf eine einfache Erklärung zu beschränken, sondern gleichzeitig zu der in Erwägung gezogenen Abänderung der angefochtenen Verfügung vom 8. Mai 2009 zu seinem Nachteil Stellung zu nehmen und seinen Standpunkt allenfalls mit neuen Argumenten, welche seiner Ansicht nach gegen eine Verschlechterung seiner Rechtslage sprechen, zu untermauern. Das Fehlen eines ausdrücklichen Hinweises auf die Gelegenheit zur Stellungnahme ist jedenfalls kein genügender Grund, um die Oberrichterin abzulehnen. Nur sehr schwere oder wiederholt begangene Verfahrensfehler, welche eine Amtspflichtverletzung darstellen, vermögen den Anschein der Befangenheit zu begründen (Urteil 1P.257/1999 vom 12. Juli 1999 E. 4a). Dies trifft vorliegend mit Bezug auf das Schreiben vom 10. Juni 2010 nicht zu.
4.6 Die Ablehnung des Antrags auf Durchführung einer öffentlichen Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK hat Oberrichterin A._ in der Verfügung vom 23. Dezember 2009 damit begründet, laut Rechtsprechung könne von einer öffentlichen Verhandlung abgesehen werden, wenn - wie vorliegend - die Beurteilung nicht vom persönlichen Eindruck der Partei, sondern in erster Linie von den Akten abhänge. Abgesehen davon, dass im vorliegenden Verfahren nicht zu beurteilen ist, ob dieses Vorgehen einer bundesgerichtlichen Überprüfung standhalten würde (vgl. Urteile 8C_495/2010 vom 16. Dezember 2010; 8C_801/2010 vom 15. Dezember 2010), kann darin, weder für sich allein noch im Gesamtzusammenhang, keine unzulässige, den Anschein der Befangenheit erweckende Vorbeurteilung erblickt werden.
4.7 Völlig unbehelflich ist sodann der Hinweis des Beschwerdeführers auf das vor dem kantonalen Gericht noch pendente Gesuch um unentgeltliche Rechtspflege. Indem dieses darüber noch nicht befunden hat, bleibt gerade offen, wie es in diesem Zusammenhang die Erfolgsaussichten einschätzt.
4.8 Zusammenfassend liegt damit, entgegen der Auffassung des Beschwerdeführers, keine Verletzung von <ref-law> und von Art. 6 Abs. 1 EMRK vor.
5. Aufgrund der obigen Ausführungen ist die Beschwerde somit abzuweisen. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten grundsätzlich dem Beschwerdeführer als unterliegender Partei aufzuerlegen (<ref-law>). Er hat indessen um unentgeltliche Rechtspflege ersucht. Da die Voraussetzungen von <ref-law> erfüllt sind, kann seinem Gesuch entsprochen werden. Sein Rechtsvertreter ist aus der Gerichtskasse angemessen zu entschädigen. Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Claude Wyssmann wird als unentgeltlicher Anwalt bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'000.- ausgerichtet.
5. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Januar 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Hofer