Sachverhalt:
A. Mit Verfügung vom 4. September 2009 lehnte die IV-Stelle des Kantons Solothurn die von S._ (Jg. 1952) am 10. Dezember 2007 gestellten Begehren um berufliche Massnahmen und eine Invalidenrente (Neuanmeldung) im Wesentlichen mit der Begründung ab, seit der letztmalig rechtskräftig gewordenen Bestätigung der Leistungsverweigerung durch das Versicherungsgericht des Kantons Solothurn am 14. Februar 2006 sei keine anspruchsrelevante Änderung der gesundheitlichen Verhältnisse eingetreten.
B. Das kantonale Versicherungsgericht wies die dagegen gerichtete Beschwerde mit Entscheid vom 23. August 2010 ab.
C. S._ lässt beschwerdeweise die Aufhebung des kantonalen Entscheids und die Zusprache einer Invalidenrente auf Grund einer mindestens 40%igen Verminderung der Erwerbsfähigkeit beantragen; eventuell sei die Sache zur weiteren Abklärung in medizinischer und beruflicher Hinsicht an die Vorinstanz oder die IV-Stelle zurückzuweisen. Des Weiteren stellt er den Antrag, die IV-Stelle sei zur Rückerstattung seiner Kosten für das im vorinstanzlichen Verfahren beigebrachte Gutachten des Psychiaters Dr. med. F._ vom 16. September 2009 zu verpflichten. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Letzteres äussert sich dabei vor allem zur Mitwirkung des vom Beschwerdeführer als befangen erachteten Gerichtsschreibers am angefochtenen Entscheid. Zu dieser Problematik nehmen sowohl der Beschwerdeführer wie auch die Vorinstanz in der Folge (unaufgefordert) nochmals Stellung (Eingaben des Beschwerdeführers vom 1. April und des kantonalen Gerichts vom 28. April 2011). Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft indessen grundsätzlich nur die geltend gemachten Rügen und ist nicht gehalten, auch letztinstanzlich nicht (mehr) aufgeworfene Fragen zu untersuchen (<ref-ruling> E. 1.4.1 S. 254).
2. In formeller Hinsicht macht der Beschwerdeführer eine Verletzung seines Anspruchs auf ein unabhängiges und unparteiisches Gericht geltend, was er damit begründet, dass an der vorinstanzlichen Entscheidfindung Gerichtsschreiber G._ mitgewirkt habe. Als Verfasser des in SZS 2010 S. 364 ff. publizierten Artikels "Die MEDAS (einmal mehr) im Kreuzfeuer der Kritik" erwecke dieser den Anschein der Befangenheit und hätte daher in Ausstand treten müssen. Damit stellt sich der Beschwerdeführer auf den Standpunkt, das vorinstanzliche Gericht sei nicht korrekt besetzt gewesen; dessen Entscheid vom 23. August 2010 müsse deshalb aufgehoben werden.
2.1 Jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, hat laut <ref-law> und Art. 6 Ziff. 1 EMRK Anspruch auf ein unabhängiges und unparteiisches Gericht. Damit dies gewährleistet bleibt, dürfen Personen, deren Unabhängigkeit oder Unparteilichkeit fraglich erscheint, an einer gerichtlichen Urteils- resp. Entscheidfindung nicht teilhaben, sondern müssen, wenn Anschein einer Befangenheit oder Gefahr einer Voreingenommenheit besteht, in Ausstand treten (vgl. die bundesrechtliche Regelung in den <ref-law>). Dass eine Richterin, ein Richter oder eine Gerichtsschreiberin, ein Gerichtsschreiber ausserhalb ihres/seines Amtes abstrakt und ohne Bezug zu einem konkreten Verfahren eine politische oder wissenschaftliche Meinung geäussert hat, begründet für sich allein noch keine Befangenheit, welche als Ausstandsgrund zu gelten hätte (<ref-ruling> E. 3.3 S. 92; vgl. auch Verfügung 9C_510/2009 vom 7. Juli 2010 E. 2.3 mit Hinweis auf das Urteil I 269/05 vom 11. Oktober 2005 E. 1). Anschein der Befangenheit kann hingegen entstehen, wenn sich eine Gerichtsperson durch die Art ihrer Äusserungen in einer Weise festlegt, die bei objektiver Betrachtungsweise befürchten lässt, sie habe ihre Meinung abschliessend gebildet und werde die sich in einem konkreten Streitfall stellenden Fragen nicht mehr umfassend und offen beurteilen können (REGINA KIENER, Richterliche Unabhängigkeit, Verfassungsrechtliche Anforderungen an Richter und Gerichte, Bern 2001, S. 194 ff.).
Dass eine an einem Gericht tätige und hier bei der Beantwortung von sich in Streitfällen stellenden Rechtsfragen mitwirkende Person - wozu nebst Richterinnen und Richtern auch Gerichtsschreiberinnen und Gerichtsschreiber gehören - eine persönliche Meinung und eigene Einstellung gegenüber bestimmten Rechtsproblemen hat, ist der aktuellen Gerichtsorganisation immanent und kann für sich allein noch nicht als Ausstandsgrund wegen Befangenheit herangezogen werden. Geben solche Amtsträger ihre persönlichen Ansichten im Rahmen publizistischer Tätigkeit öffentlich bekannt und machen sie diese damit der Allgemeinheit zugänglich - was der Fortentwicklung des Rechts dienen kann - darf ihnen auch dies nicht grundsätzlich verwehrt sein.
2.2 Gerichtsschreiber G._ hat sich in seinem in SZS 2010 S. 364 ff. publizierten Artikel in allgemeiner Weise zum Verfahren der IV-Stellen und insbesondere zur Frage nach unabhängiger Begutachtung geäussert. Seinem Beitrag ist zu entnehmen, dass er die häufig aus Anwaltskreisen zu hörende Kritik an der derzeitigen Praxis von Administrativbehörden bei der Einholung fachärztlicher, zumeist polydisziplinärer Gutachten im Rahmen ihrer medizinischen Sachverhaltsabklärungen als verfehlt hält. Der genannte Beitrag bezieht sich dabei nicht auf den konkret streitigen Fall des Beschwerdeführers. Insoweit liesse es sich daher noch nicht rechtfertigen, Gerichtsschreiber G._ wegen seiner Publikation in der SZS 2010 als befangen zu bezeichnen und von ihm zu erwarten, deswegen im konkreten Fall des Beschwerdeführers in Ausstand zu treten.
2.3 Anlass zu Bedenken geben jedoch die Art und Weise, wie sich Gerichtsschreiber G._ im inkriminierten Beitrag zur Beschaffung und zur gerichtlichen Berücksichtigung von Gutachten, welche die versicherte Person selbst veranlasst hat (so genannte Privatgutachten), äussert.
2.3.1 Im genannten Beitrag in SZS 2010 S. 364 ff. nimmt Gerichtsschreiber G._ Bezug auf ein Rechtsgutachten, das von Prof. Dr. iur. Paul Müller und Dr. iur. Johannes Reich am 11. Februar 2010 im Auftrag eines Versichertenanwalts verfasst worden ist. Laut dieser Abhandlung wird dem durch Art. 6 EMRK gewährleisteten Anspruch auf ein faires Verfahren zufolge des grossen Gewichts, das den von Medizinischen Abklärungsstellen der Invalidenversicherung (MEDAS) erstatteten Expertisen beigemessen wird, angesichts deren wirtschaftlichen Abhängigkeit vom Auftraggeber (zumeist die Invalidenversicherung) nicht Genüge getan. Daran anknüpfend stellt er fest, während die Versichertengemeinschaft über keine eigentliche "Lobby" verfüge, "agiere" im Gegenzug dazu "eine gut funktionierende, Einzelinteressen verpflichtete Industrie von Anwälten, Verbänden, Organisationen und Ärzten, welche die finanzielle Solidarität der Risikogemeinschaft in Form von Renten selbst für versicherte Personen mit nicht oder kaum objektivierbaren Gesundheitsschäden dezidiert einfordert, und diese - ohne jegliche moralische Bedenken - letztlich so auf die gleiche Stufe stellt wie Menschen mit schwersten Krankheiten oder Gebrechen." In der Folge untersucht der Autor die Zunahme der Bedeutung von MEDAS-Gutachten im Zusammenhang mit von der Rechtsprechung zunächst als invalidisierend anerkannten - was unterdessen immerhin relativiert worden ist - Störungen psychischer oder zumindest organisch nicht objektivierbarer Art wie etwa somatoforme Schmerzstörungen, Fibromyalgien, unklare Schmerzsyndrome, psychoreaktive Störungen und auch diffuse Beschwerdebilder nach Schleudertraumata. Dabei gelangt er zum Ergebnis, dass die MEDAS bei unklaren Schmerzzuständen die für die Durchsetzung von Rentenbegehren erforderlichen Arbeitsunfähigkeitsatteste - seines Erachtens zu Recht - selten ausstellen, was dazu führe, dass seitens von Versichertenanwälten vermehrt mit Privatgutachten versucht werde, die Leistungsbegehren ihrer Klienten durchzusetzen. So werde letztlich eine "Zweiklasse-Versichertengemeinschaft (mit und ohne verfügbare private Abklärungsmaschinerie)" in Kauf genommen, was von den Recht anwendenden Behörden "entschieden zu bekämpfen" sei.
2.3.2 Den Versicherten steht es grundsätzlich zu, auch selbst für der Durchsetzung ihrer Interessen dienliches Beweismaterial besorgt zu sein. Die Rechtsprechung hat denn auch anerkannt, dass sämtliche Beweismittel von der Verwaltung wie auch den Gerichtsinstanzen frei zu würdigen sind - und dies unabhängig davon, von wem sie stammen (vgl. <ref-law>; <ref-ruling> E. 3a S. 352). Wenn Gerichtsschreiber G._ in seiner Publikation durchblicken lässt, dass seiner Ansicht nach bei der Ausrichtung von Versicherungsleistungen wegen erwerblicher Folgen nicht objektivierbarer Gesundheitsschäden Zurückhaltung angezeigt sei, und deshalb insbesondere fordert, die Praxis vieler Anwälte, Privatgutachten als Beleg für ihre Sachverhaltsdarstellungen und Untermauerung ihrer jeweiligen Argumentation beizubringen, "entschieden zu bekämpfen", kann dies bei der am Recht stehenden Partei die durchaus begründete Befürchtung auslösen, dass er in diesem Sinne und damit nicht mehr unbefangen über ihre Sache befinden werde, was sich letztlich auch auf die Meinungsbildung der für den definitiven Entscheid zuständigen Richterinnen und Richter auswirken könnte. Verstärkt wird der damit schon geschaffene Anschein der Befangenheit durch die mit der - zu wissenschaftlichen Beiträgen nicht passenden - pauschalen Wertung "ohne jegliche Moral" zum Ausdruck gebrachte Despektierlichkeit gegenüber Versichertenanwälten und anderen Kreisen, die zur Unterstützung der Versicherungsleistungen anbegehrenden Person in der Lage und bereit sind. Der weitere, ebenfalls von Gerichtsschreiber G._ unter dem Titel "Das medizinische Privatgutachten in der Invalidenversicherung" in Jusletter vom 10. August 2009 veröffentlichte Artikel mag diesen Eindruck der Befangenheit allenfalls verstärken, worauf an dieser Stelle jedoch nicht weiter einzugehen ist, nachdem dieser Beitrag in den Rechtsschriften des Beschwerdeführers und des kantonalen Gerichts zwar wiederholt zur Sprache gebracht wird, aber nicht als Grund für das gestellte Ausstandsbegehren angerufen worden ist.
Mithin hätte Gerichtsschreiber G._ am vorinstanzlichen Entscheid vom 23. August 2010 nicht mitwirken dürfen, zumal die Abfassung des SZS-Beitrages kurz zuvor erfolgt war und nicht angenommen werden kann, er hätte zum damaligen Zeitpunkt bereits Abstand von der in der Publikation geäusserten Haltung gefunden.
2.4 Der angefochtene Entscheid ist demnach in Gutheissung der Beschwerde aufzuheben und die Sache zur Neubeurteilung in korrekter Besetzung an die Vorinstanz zurückzuweisen.
3. Als unterliegende Partei hätte bei diesem Ausgang des Verfahrens grundsätzlich die IV-Stelle die Gerichtskosten zu tragen (<ref-law>; <ref-ruling>) und dem anwaltlich vertretenen Beschwerdeführer eine Parteientschädigung zu entrichten (<ref-law>). Unnötige Kosten hat indessen zu bezahlen, wer sie verursacht (Art. 66 Abs. 3 und Art. 68 Abs. 4 BGG). Dies gestattet, die Gerichts- und Parteikosten ausnahmsweise der Vorinstanz resp. dem Gemeinwesen, dem diese angehört, aufzuerlegen, namentlich, wenn diese wie hier die Pflicht zur Justizgewährleistung verletzt hat (Urteil 8C_830/2009 vom 4. Januar 2010 E. 3.1 mit Hinweis; THOMAS GEISER, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N 25 zu Art. 66 und N 18 zu <ref-law>; SEILER/VON WERTH/GÜNGERICH, Bundesgerichtsgesetz [BGG], 2007, N 43 zu Art. 66 und N 32 f. zu <ref-law>). Ein solcher Fall liegt hier vor und rechtfertigt es, dem Kanton Solothurn die Gerichtskosten aufzuerlegen, welcher dem Beschwerdeführer überdies eine Parteientschädigung schuldet.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 23. August 2010 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit diese im Sinne der Erwägungen verfahre und über die Beschwerde gegen den Entscheid vom 23. August 2010 neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden dem Kanton Solothurn auferlegt.
3. Der Kanton Solothurn hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, dem Kanton Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Juni 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl