Sachverhalt: A. Der 1966 geborene A._ meldete sich im Januar 2003 erstmals bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Solothurn verneinte mit Verfügung vom 23. November 2005 und Einspracheentscheid vom 3. Juli 2006 einen Anspruch auf berufliche Massnahmen und auf eine Invalidenrente mangels einer gesundheitsbedingten Einschränkung des Leistungsvermögens. Dies wurde mit Entscheid des Versicherungsgerichts des Kantons Solothurn vom 13. August 2007 bestätigt. Bezüglich des psychischen Gesundheitszustandes stützten sich Verwaltung und Gericht namentlich auf das Gutachten des Dr. med. I._, Facharzt FMH für Psychiatrie und Psychotherapie vom 23. September 2005. Im Dezember 2007 meldete sich A._ wieder bei der IV-Stelle zum Rentenbezug an. Die IV-Stelle holte nebst weiteren Arztberichten ein neues Gutachten des Dr. med. I._ vom 7. Oktober 2008 (mit Ergänzung vom 9. Juli 2009) ein, nachdem sie ein vom Versicherten gegen diesen Experten eingereichtes Ablehnungsbegehren mit Verfügung vom 18. Juni 2008 abgewiesen hatte. Zudem wurde A._ durch die RAD-Ärztin Frau Dr. med. G._, Fachärztin für Psychiatrie und Psychotherapie FMH, untersucht, welche darüber am 15. April 2010 (mit Ergänzung vom 29. Juli 2010) Bericht erstattete. Mit Verfügung vom 10. November 2010 lehnte es die IV-Stelle wiederum ab, berufliche Massnahmen und eine Invalidenrente zu gewähren. Bei unverändertem Gesundheitszustand liege nach wie vor keine medizinisch begründete Einschränkung der Arbeitsfähigkeit vor. B. Die von A._ hiegegen erhobene Beschwerde auf Zusprechung von Leistungen der Invalidenversicherung nach Massgabe eines Invaliditätsgrades von mindestens 40 % zuzüglich Verzugszins wies das Versicherungsgericht des Kantons Solothurn nach Gewährung der unentgeltlichen Rechtspflege und Durchführung einer öffentlichen Verhandlung mit Entscheid vom 23. August 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ sein vorinstanzliches Rechtsbegehren erneuern; eventuell sei die Sache zur Einholung eines Gerichtsgutachtens und zum neuen Entscheid an die Vorinstanz zurückzuweisen; subeventuell sei die Sache zu neuen medizinischen Abklärungen und zur neuen Verfügung an die IV-Stelle zurückzuweisen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.