Sachverhalt:
A. Der 1966 geborene A._ meldete sich im Januar 2003 erstmals bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Solothurn verneinte mit Verfügung vom 23. November 2005 und Einspracheentscheid vom 3. Juli 2006 einen Anspruch auf berufliche Massnahmen und auf eine Invalidenrente mangels einer gesundheitsbedingten Einschränkung des Leistungsvermögens. Dies wurde mit Entscheid des Versicherungsgerichts des Kantons Solothurn vom 13. August 2007 bestätigt. Bezüglich des psychischen Gesundheitszustandes stützten sich Verwaltung und Gericht namentlich auf das Gutachten des Dr. med. I._, Facharzt FMH für Psychiatrie und Psychotherapie vom 23. September 2005. Im Dezember 2007 meldete sich A._ wieder bei der IV-Stelle zum Rentenbezug an. Die IV-Stelle holte nebst weiteren Arztberichten ein neues Gutachten des Dr. med. I._ vom 7. Oktober 2008 (mit Ergänzung vom 9. Juli 2009) ein, nachdem sie ein vom Versicherten gegen diesen Experten eingereichtes Ablehnungsbegehren mit Verfügung vom 18. Juni 2008 abgewiesen hatte. Zudem wurde A._ durch die RAD-Ärztin Frau Dr. med. G._, Fachärztin für Psychiatrie und Psychotherapie FMH, untersucht, welche darüber am 15. April 2010 (mit Ergänzung vom 29. Juli 2010) Bericht erstattete. Mit Verfügung vom 10. November 2010 lehnte es die IV-Stelle wiederum ab, berufliche Massnahmen und eine Invalidenrente zu gewähren. Bei unverändertem Gesundheitszustand liege nach wie vor keine medizinisch begründete Einschränkung der Arbeitsfähigkeit vor.
B. Die von A._ hiegegen erhobene Beschwerde auf Zusprechung von Leistungen der Invalidenversicherung nach Massgabe eines Invaliditätsgrades von mindestens 40 % zuzüglich Verzugszins wies das Versicherungsgericht des Kantons Solothurn nach Gewährung der unentgeltlichen Rechtspflege und Durchführung einer öffentlichen Verhandlung mit Entscheid vom 23. August 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ sein vorinstanzliches Rechtsbegehren erneuern; eventuell sei die Sache zur Einholung eines Gerichtsgutachtens und zum neuen Entscheid an die Vorinstanz zurückzuweisen; subeventuell sei die Sache zu neuen medizinischen Abklärungen und zur neuen Verfügung an die IV-Stelle zurückzuweisen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (vgl. BGE 133 II 249 E. 1.4.1 S. 254; Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: BGE 135 V 194, aber in: SVR 2009 UV Nr. 35 S. 120).
Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Von diesen tatsächlichen Feststellungen kann es nur dann abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. 2.1 Das kantonale Gericht hat die Voraussetzungen für die Zusprechung einer Invalidenrente im Rahmen einer Neuanmeldung - nach vorgängiger rechtskräftiger Verneinung eines Rentenanspruchs - richtig dargelegt. Hervorzuheben ist, dass, analog zur Rentenrevision (Art. 17 Abs. 1 ATSG), eine anspruchsrelevante Änderung der tatsächlichen Verhältnisse erforderlich ist. Ob eine solche Änderung eingetreten ist, beurteilt sich durch Vergleich des Sachverhalts im Zeitpunkt der letzten, auf einer materiellen Prüfung beruhenden, rechtskräftigen Verfügung, mit welcher eine Rente verweigert wurde, resp. des diese Verfügung bestätigenden Einspracheentscheids, mit dem Sachverhalt zur Zeit der auf die Neuanmeldung hin ergangenen Verfügung (BGE 133 V 108; 130 V 71).
Zutreffend sind auch die vorinstanzlichen Erwägungen zur Aufgabe der Ärzte (und gegebenenfalls auch anderer Fachleute) im Rahmen der Invaliditätsbemessung (BGE 132 V 93 E. 4 S. 99 f. mit Hinweisen) sowie zur Beweiswürdigung und zum Beweiswert ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3 S. 352 ff.; vgl. auch BGE 135 V 465 E. 4.4 S. 470 und 134 V 231 E. 5.1 S. 232), namentlich auch, soweit diese von RAD-Ärzten stammen (SVR 2009 IV Nr. 56 S. 174, 9C_323/2009 E. 4; vgl. auch SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 2.2, je mit Hinweisen). Darauf wird verwiesen.
2.2 Zu prüfen ist, ob zwischen dem Einspracheentscheid vom 3. Juli 2006 und der Verfügung vom 10. November 2010, welche Verwaltungsakte unstreitig die massgeblichen Vergleichszeitpunkte darstellen, eine rentenrelevante Änderung der tatsächlichen Verhältnisse eingetreten ist. Dabei steht einzig eine Veränderung des psychischen Gesundheitszustandes zur Diskussion.
Die Verwaltung hat eine solche Veränderung verneint. Es bestehe nach wie vor kein psychisches Leiden, welches die Arbeitsfähigkeit beeinträchtige. Das kantonale Gericht hat dies bestätigt.
2.3 Der Beschwerdeführer macht geltend, die Vorinstanz habe in verschiedener Hinsicht Verfahrensrecht verletzt. Diese Rügen sind aufgrund ihrer formellen Natur vorab zu prüfen.
2.3.1 Vorgebracht wird, das kantonale Gericht habe den Anspruch auf eine öffentliche Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK verletzt, indem es entgegen den Anträgen des Beschwerdeführers keine Parteibefragung mit ihm und keine Zeugenbefragungen mit Dr. med. I._ und der von diesem beigezogenen Dolmetscherin durchgeführt habe.
Das kantonale Gericht hat eine öffentliche Verhandlung durchgeführt und damit dem entsprechenden Anspruch nach Art. 6 Ziff. 1 EMRK Rechnung getragen. Dieser Anspruch umfasst nicht die öffentliche Durchführung von Beweismassnahmen. Er wurde daher nicht verletzt, indem das kantonale Gericht auf die vom Versicherten in den vorinstanzlichen Rechtsschriften ausdrücklich zum Beweis beantragten Befragungen verzichtete (vgl. Urteile 8C_491/2011 vom 7. Oktober 2011 E. 3.3 und 8C_426/2011 vom 29. September 2011 E. 5, je mit Hinweisen).
2.3.2 Der Beschwerdeführer beanstandet in diesem Zusammenhang sodann, das kantonale Gericht habe ihn nicht persönlich angehört, obschon dies gestützt auf Art. 6 Ziff. 1 EMRK aufgrund des an ihn gerichteten Vorwurfes der Simulation und Rentenbegehrlichkeit hätte erfolgen müssen. Damit bezieht sich der Versicherte namentlich auf den im Gutachten I._ vom 7. Oktober 2008 geäusserten Verdacht auf Simulation resp. Aggravation.
In Prozessen über zivilrechtliche Ansprüche gewährleistet Art. 6 Ziff. 1 EMRK nicht generell, jedoch dann einen Anspruch auf persönliches Erscheinen oder persönliche Anhörung vor Gericht, wenn dies für die Entscheidung der Sache von unmittelbarer Bedeutung ist (SVR 2010 UV Nr. 3 S. 11, 8C_283/2009 E. 2.2.1 mit Hinweisen; erwähntes Urteil 8C_426/2011, E. 5). Es ist nicht ersichtlich, weshalb dies hier der Fall sein soll. Namentlich ist nicht nachvollziehbar, inwiefern die persönlichen Äusserungen des Versicherten zum Verdacht, den der psychiatrische Experte gestützt auf die Begutachtung geäussert hat, zu einer Klärung hätten beitragen können und damit entscheidsrelevant gewesen wären. Der Sachverhalt ist denn auch nicht mit den Fällen vergleichbar, in welchen das Erfordernis einer persönlichen Anhörung gestützt auf Art. 6 Ziff. 1 EMRK bejaht wurde (vgl. die im erwähnten Urteil SVR 2010 UV Nr.3, E. 2.2.1, aufgeführten Beispiele). Abgesehen davon ist nicht erkennbar, dass der Beschwerdeführer im kantonalen Verfahren um persönliche Anhörung ersucht hat und/oder ihm dies durch die Vorinstanz verwehrt wurde.
2.3.3 Beanstandet wird weiter, der angefochtene Entscheid setze sich ungenügend mit dem Einwand des Versicherten, das Gutachten I._ vom 7. Oktober 2008 sei nicht mehr aktuell, auseinander. Dies verletze die Begründungspflicht des kantonalen Gerichts und damit den Anspruch auf rechtliches Gehör.
Die Rüge ist unbegründet. Die Vorinstanz hat sich im angefochtenen Entscheid mit dem besagten Einwand auseinandergesetzt. Sie hat dabei namentlich erwogen, die später erstellten Austrittsberichte der Dienste S._ betreffend Hospitalisationen sowie die Aussagen der RAD-Psychiaterin Frau Dr. med. G._ enthielten keine Anhaltspunkte dafür, dass sich seit der Begutachtung durch Dr. med. I._ eine Verschlechterung ergeben habe. Zu beachten sei überdies, dass Dr. med. I._ am 9. Juli 2009 ergänzend Stellung genommen und seine im Gutachten vertretene Einschätzung bestätigt habe. Sodann verweist das kantonale Gericht auf seine in den weiteren Erwägungen vorgenommene beweismässige Würdigung der besagten Austrittsberichte und des Gutachtens G._. Den aus dem Anspruch auf rechtliches Gehör abzuleitenden Anforderungen an eine Entscheidsbegründung wurde damit jedenfalls entsprochen. Namentlich genügen die vorinstanzlichen Erwägungen entgegen der in der Beschwerde vertretenen Auffassung, um eine sachgerechte Anfechtung des kantonalen Entscheids zu ermöglichen.
2.4 Nach dem Gesagten liegen keine formellen Fehler im kantonalen Verfahren vor. Damit ist inhaltlich zu beurteilen, ob das kantonale Gericht ein die Arbeitsfähigkeit beeinträchtigendes Leiden zu Recht verneint hat. Die Prüfung dieser Tatsachenfeststellung erstreckt sich auf offensichtliche Unrichtigkeit und auf Rechtsverletzung im Sinne von Art. 95 BGG (E. 1 hievor).
2.4.1 Die Vorinstanz stützt ihre Beurteilung namentlich auf die von ihr als beweiswertig erachtete Einschätzung des medizinischen Experten Dr. med. I._ und der RAD-Psychiaterin Frau Dr. med. G._.
Dr. med. I._ hat im Gutachten vom 7. Oktober 2008 (mit Ergänzung vom 9. Juli 2009) aus psychiatrischer Sicht folgende Diagnosen gestellt: "a) Entwicklung körperlicher Symptome aus psychischen Gründen F68.0; DD Hypochondrie F45.2 bei histrio-nischen Persönlichkeitszügen; Simulation Z76.5; b) knapp erfüllte Diagnosekriterien für Dysthymie F34.1 und Neurasthenie F48.0". Der Experte verneinte eine Auswirkung dieser Diagnosen auf die Arbeitsfähigkeit. Die RAD-Psychiaterin Frau Dr. med. G._ gelangte im Untersuchungsbericht vom 15. April 2010 (mit Ergänzung vom 29. Juli 2010), bei eigener Diagnostizierung einer Dysthymie, zum Ergebnis, die gutachterlichen Feststellungen des Dr. med. I._ seien verlässlich.
2.4.2 Der Versicherte wendet zunächst ein, auf die Aussagen des Dr. med. I._ dürfe nicht abgestellt werden, da dieser als voreingenommen und befangen zu betrachten sei. Dies ergebe sich aufgrund verschiedener Äusserungen in der Expertise vom 7. Oktober 2008 zum Versicherten selber, zu Dr. med. K._, FMH Psychiatrie und Psychotherapie, welcher im Rahmen des früheren IV-Verfahrens am 13. August 2006 ein psychiatrisches Gutachten erstattet hatte, sowie zum behandelnden Psychiater med. pract. R._, Facharzt für Psychiatrie und Psychotherapie.
Dass ein medizinischer Gutachter allfällige Anzeichen für Simulation oder Aggravation erwähnt und bei der Diagnosestellung berücksichtigt, gehört zu seiner Aufgabe als Sachverständiger. Es bestehen keine Anhaltspunkte dafür, dass sich Dr. med. I._ hiebei von unsachlichen Motiven leiten liess. Das gilt auch, soweit der Experte den Eindruck vermittelt, der Versicherte strebe trotz aus fachärztlicher Sicht fehlenden Anspruchsgrundlagen den Erhalt von Rentenleistungen an.
Soweit Dr. med. I._ zu den medizinischen Vorberichten Stellung nahm, verliess er in der Tat den zulässigen Rahmen, indem er einzelne Aussagen des Dr. med. K._ und des med. pract. R._ mit teils harschen Worten nicht angemessen würdigte. Der Hinweis, Dr. med. K._ habe allenfalls, da vom Versicherten beauftragt, keine diesen benachteiligende Beurteilung abgeben wollen, ist unangebracht, zumal sich in den Akten keine Hinweise dafür finden, dass der Vorgutachter den Exploranden bevorteilen wollte. Dass Dr. med. K._ seine Expertise in einem Auftragsverhältnis erstellte, mindert deren Aussagekraft ebenfalls nicht (vgl. BGE 125 V 351 E. 3 S. 352 ff.) und würde zudem auch für das Gutachten des Dr. med. I._ gelten. Sodann ist gerichtsnotorisch, dass Dr. med. K._ regelmässig Gutachten nicht nur für Versicherte, sondern auch für Versicherungsträger und Gerichte erstellt. Ihm unsachliche Versichertenfreundlichkeit unterstellen zu wollen, entbehrte also auch von daher einer Grundlage. Die Kritik des Versicherten an den Aussagen des Dr. med. I._ ist insofern berechtigt. Sie mindert dessen Beweiskraft, gestattet aber noch nicht den Schluss, Dr. med. I._ sei gegenüber dem Beschwerdeführer voreingenommen gewesen. Es ergeben sich auch weder aus den weiteren Äusserungen im Gutachten vom 7. Oktober 2008 noch aus den weiteren Akten Anhaltspunkte, welche zumindest den Anschein der Befangenheit des Experten zu begründen vermöchten.
2.4.3 Der Beschwerdeführer macht weiter geltend, das Gutachten I._ vom 7. Oktober 2008 sei zu wenig aktuell, um als verlässliche Beurteilungsgrundlage zu dienen.
Das kantonale Gericht hat zu diesem Einwand im Wesentlichen erwogen, Dr. med. I._ habe am 9. Juli 2009 nochmals Stellung genommen und dabei am Gutachten vom 7. Oktober 2008 festgehalten. Sodann seien auch der Bericht vom 15. April 2010 (über die am 13. April 2010 durchgeführte psychiatrische Untersuchung) und die ergänzende Stellungnahme vom 29. Juli 2010 von Frau Dr. med. G._ zu berücksichtigen. Die RAD-Ärztin sei darin zum gleichen Ergebnis wie Dr. med. I._ gelangt. Sie habe dabei ebenfalls die Berichte der Dienste S._ gewürdigt, welche denn auch die Schlussfolgerungen von Dr. med. I._ und Frau Dr. med. G._ stützten. Damit sei die medizinische Aktenlage genügend aktuell.
In der Beschwerde wird nichts vorgebracht, was diese Feststellung als offensichtlich unrichtig oder rechtsverletzend im Sinne von Art. 95 BGG erscheinen liesse.
2.4.4 Ein weiterer Einwand geht dahin, Frau Dr. med. G._ habe, als sie den Untersuchungsbericht vom 15. April 2010 erstattete, noch nicht über den Austrittsbericht der Dienste S._ vom 30. November 2009 verfügt.
Die RAD-Ärztin kannte den Austrittsbericht indessen jedenfalls im Zeitpunkt ihrer ergänzenden Stellungnahme vom 29. Juli 2010, in welcher sie sich damit auch auseinandersetzte. Es finden sich weder in der Stellungnahme noch in den weiteren Akten Anhaltspunkte dafür, dass der Austrittsbericht die Psychiaterin zu einer abweichenden Diagnose und/oder Einschätzung der Arbeitsfähigkeit geführt hat. Der Einwand ist daher ebenfalls nicht geeignet, die vorinstanzliche Beurteilung als offensichtlich unrichtig oder in anderer Weise rechtsverletzend erscheinen zu lassen.
2.4.5 Der Beschwerdeführer vertritt die Auffassung, die Berichte des behandelnden Psychiaters med. pract. R._ und die Austrittsberichte der Dienste S._ liessen auf ein psychisches Leiden mit Einfluss auf die Arbeitsfähigkeit schliessen. Allenfalls seien ergänzende fachärztliche Abklärungen vorzunehmen.
Das kantonale Gericht hat dargelegt, weshalb es die Gutachten und Stellungnahmen des Dr. med. I._ und der Frau Dr. med. G._ für überzeugender erachtet als die Berichte des med. pract. R._. Diese Beweiswürdigung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Gleiches gilt, soweit die Vorinstanz erkannt hat, die Austrittsberichte der Dienste S._ rechtfertigten keine abweichende Betrachtungsweise. Hervorzuheben ist, dass sich der Versicherte gemäss den Austrittsberichten der Dienste S._ dahingehend äusserte, er erhoffe sich vom Klinikaufenthalt namentlich auch eine IV-Rente. Zudem thematisierte er seine durch die Verweigerung einer solchen Rente erlittene Kränkung und sein Unverständnis über diese Ablehnung seines Leistungsbegehrens. Diese Aussagen stützen, wie die Vorinstanz zutreffend erkannt hat, die Einschätzung der Gutachter I._ und G._. Im weiteren Inhalt der Austrittsberichte der Dienste S._ finden sich ebenfalls keine Anhaltspunkte, welche die vorinstanzliche Beurteilung in Frage stellen könnten.
Nicht zu beanstanden ist auch, dass die Vorinstanz die medizinische Aktenlage für genügend erachtet und in antizipierter Beweiswürdigung erkannt hat, von weiteren medizinischen Abklärungen sei kein entscheidrelevanter neuer Aufschluss zu erwarten. Entgegen der in der Beschwerde vertretenen Auffassung wurde somit auch der Untersuchungsgrundsatz nicht verletzt.
2.5 Die geltend gemachte psychisch bedingte Einschränkung der Arbeitsfähigkeit liegt nach dem Gesagten nicht vor. Damit wurde auch zu Recht der Anspruch auf eine Invalidenrente verneint.
3. Das kantonale Gericht hat weiter erkannt, mangels gesundheitlich bedingter Arbeitsunfähigkeit bestehe auch kein Anspruch auf Integrationsmassnahmen nach Art. 14a IVG und auf Berufsberatung nach Art. 15 IVG. Der Beschwerdeführer legt nicht dar, weshalb es sich hiebei anders verhalten soll. Damit hat es diesbezüglich sein Bewenden. Die Beschwerde ist somit in allen Teilen unbegründet.
4. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Claude Wyssmann wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Dezember 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz