Sachverhalt: A. Mit Verfügung vom 4. September 2009 lehnte die IV-Stelle des Kantons Solothurn die von S._ (Jg. 1952) am 10. Dezember 2007 gestellten Begehren um berufliche Massnahmen und eine Invalidenrente (Neuanmeldung) im Wesentlichen mit der Begründung ab, seit der letztmalig rechtskräftig gewordenen Bestätigung der Leistungsverweigerung durch das Versicherungsgericht des Kantons Solothurn am 14. Februar 2006 sei keine anspruchsrelevante Änderung der gesundheitlichen Verhältnisse eingetreten. B. Das kantonale Versicherungsgericht wies die dagegen gerichtete Beschwerde mit Entscheid vom 23. August 2010 ab. C. S._ lässt beschwerdeweise die Aufhebung des kantonalen Entscheids und die Zusprache einer Invalidenrente auf Grund einer mindestens 40%igen Verminderung der Erwerbsfähigkeit beantragen; eventuell sei die Sache zur weiteren Abklärung in medizinischer und beruflicher Hinsicht an die Vorinstanz oder die IV-Stelle zurückzuweisen. Des Weiteren stellt er den Antrag, die IV-Stelle sei zur Rückerstattung seiner Kosten für das im vorinstanzlichen Verfahren beigebrachte Gutachten des Psychiaters Dr. med. F._ vom 16. September 2009 zu verpflichten. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Letzteres äussert sich dabei vor allem zur Mitwirkung des vom Beschwerdeführer als befangen erachteten Gerichtsschreibers am angefochtenen Entscheid. Zu dieser Problematik nehmen sowohl der Beschwerdeführer wie auch die Vorinstanz in der Folge (unaufgefordert) nochmals Stellung (Eingaben des Beschwerdeführers vom 1. April und des kantonalen Gerichts vom 28. April 2011). Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.