Sachverhalt:
A.
Mit Verfügung vom 22. Dezember 2003, bestätigt mit Einspracheentscheid vom 6. April 2005, lehnte die IV-Stelle des Kantons Solothurn ein erstes Gesuch des 1956 geborenen Z._ um Zusprechung einer Invalidenrente ab, weil der Invaliditätsgrad nur 33 % betrage. Mit Urteil vom 30. Mai 2007 bestätigte das Bundesgericht letztinstanzlich diesen Entscheid.
Am 28. Dezember 2007 meldete sich der Versicherte erneut bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. Mai 2012 verneinte die IV-Stelle wiederum einen Anspruch auf berufliche Massnahmen und eine Invalidenrente, da sich der Invaliditätsgrad lediglich auf 34 % belaufe.
B.
Die von Z._ hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Z._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides seien ihm Leistungen (berufliche Eingliederungsmassnahmen, Integrationsmassnahmen, Invalidenrente) bei einem Invaliditätsgrad von mindestens 40 % zuzusprechen; eventuell sei die Sache zur Anordnung eines gerichtlichen Gutachtens sowie zu neuer Entscheidung an das kantonale Gericht zurückzuweisen. Ferner sei die IV-Stelle zu verpflichten, die Kosten für das Privatgutachten des Dr. med. M._ zurückzuerstatten. Schliesslich ersucht der Versicherte um die Bewilligung der unentgeltlichen Rechtspflege.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Die Vorinstanz hat die Bestimmungen und Grundsätze über den Anspruch auf eine Invalidenrente (<ref-law>), den Umfang des Rentenanspruchs (<ref-law>), die Bemessung des Invaliditätsgrades nach der Einkommensvergleichsmethode (<ref-law>), das Vorgehen im Fall einer Neuanmeldung analog zu einem Revisionsfall (<ref-law>; <ref-ruling> E. 3a), die dabei zu vergleichenden Sachverhalte (<ref-ruling> E. 3.1 S. 73) und die Bedeutung ärztlicher Auskünfte für die Belange der Invaliditätsbemessung (<ref-ruling>; vgl. auch <ref-ruling> E. 4 S. 261, 114 V 310 E. 3c S. 314) zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht gelangte gestützt auf eine einlässliche Würdigung der Arztberichte, insbesondere der Expertise des Instituts X._ vom 28. März 2011, des Privatgutachtens des Psychiaters Dr. med. M._ und des lic. phil. J._ (vom 23. November 2011) sowie der Stellungnahme des Psychiaters Dr. med. K._ vom Regionalen Ärztlichen Dienst (RAD) zum Schluss, dass der Beschwerdeführer in somatischer Hinsicht nicht in einer die Arbeitsfähigkeit erheblich einschränkenden Weise beeinträchtigt sei, während er in psychischer Hinsicht an einer rezidivierenden, leichten bis mittelschweren depressiven Störung sowie einer anhaltenden somatoformen Schmerzstörung leide. Eine wesentliche Verschlechterung im Vergleich zu den früheren Befunden liege nicht vor. Die Vorinstanz setzte sich des Weiteren eingehend mit dem Privatgutachten auseinander, dessen Beweistauglichkeit sie mit einleuchtender Begründung entkräftete. Zusammenfassend erkannte sie keine relevante gesundheitliche Verschlechterung, indem sie darlegte, dass der Versicherte die angestammte Tätigkeit als Gipser schon 1995 nicht mehr habe verrichten können, während die Leistungseinbusse in einer anderen Tätigkeit nach wie vor bei 30 % liege. Mangels bedeutsamer Verschlechterung des Gesundheitszustandes sei das neue Leistungsgesuch ohne weiteres abzuweisen.
3.2. Der Beschwerdeführer rügt die Feststellungen der Vorinstanz zum psychischen Gesundheitszustand, habe sich doch seit der Begutachtung durch Dr. med. U._ vom 14. Februar 2005, als eine leichte depressive Episode nach Anpassungsstörung diagnostiziert wurde, eine rezidivierende depressive Störung entwickelt. Laut psychiatrischer Expertise des Dr. med. M._ habe sich beim Versicherten über die Zeit eine relevante Persönlichkeitsstörung vom Borderline-Typ entwickelt. Falls nicht auf das Privatgutachten abgestellt werde, müsste ein Gerichtsgutachten in Auftrag gegeben werden. Auch in Anbetracht des Diabetes mellitus sei eine Verschlechterung festzustellen. Sodann hätte das kantonale Gericht die Auswirkungen der Neuropathie fachärztlich abklären lassen müssen, nachdem sich der Experte des Instituts X._ dazu nicht habe äussern wollen.
4.
4.1. Die Einwendungen des Beschwerdeführers erschöpfen sich in weiten Teilen in einer appellatorischen, im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässigen Kritik an der vorinstanzlichen Beweiswürdigung und diesen zugrunde liegenden Arztberichten und Gutachten, insbesondere an der Verwaltungsexpertise des Instituts X._. Entgegen den Vorbringen in der Beschwerde besteht kein Grund, am Beweiswert des Gutachtens zu zweifeln, woran auch die wenig qualifizierten Äusserungen zu den aus Sicht des Versicherten offenbar mangelhaften Kenntnissen und der fehlenden Praxis des begutachtenden Psychiaters Dr. med. G._ nichts ändern. Was insbesondere den unterstellten mangelnden Bezug zur hierzulande gängigen medizinischen Behandlungspraxis anbelangt, kann auf das das Institut X._ betreffende Urteil 9C_799/2012 vom 16. Mai 2013 (SZS 2013 S. 487) verwiesen werden, in dessen E. 2.5 gerade dieser Vorwurf ausführlich erörtert und zurückgewiesen wurde. Die Tatsache, dass der Psychiater des Instituts X._ und Dr. med. M._ zu divergierenden Folgerungen mit Bezug auf Gesundheitsschaden und Arbeitsunfähigkeit des Versicherten gelangt sind, ist nicht entscheidend: Die Vorinstanz hat unter Berufung auf die Stellungnahme des RAD-Psychiaters vom 8. Februar 2012 hinreichend schlüssig begründet, weshalb sie auf die Beurteilung des Instituts X._ abstellt. Auch hinsichtlich der somatischen Gesundheitsschäden vermag der Beschwerdeführer keine offensichtlich unrichtige oder anderweitig bundesrechtswidrige Sachverhaltsermittlung der Vorinstanz darzutun. Insbesondere hat sich das kantonale Gericht auch mit den verschiedenen, vom Versicherten geltend gemachten physischen Leiden (insbesondere Diabetes, Verdacht auf Polyneuropathie) auseinandergesetzt und insoweit eine wesentliche Verschlechterung mit Zunahme der Arbeitsunfähigkeit im massgeblichen Vergleichszeitraum ausgeschlossen. Dass in diesem Punkt eine Bundesrechtsverletzung gegeben sei, vermag der Beschwerdeführer nicht ausreichend zu begründen.
4.2. Da sich gemäss angefochtenem Entscheid im massgeblichen Zeitraum im Gesundheitszustand und beim Grad der Arbeitsunfähigkeit keine wesentliche Änderung ergeben hat, erübrigt es sich, eine Invaliditätsbemessung mit Einkommensvergleich vorzunehmen. Bei voller Arbeitsunfähigkeit im ursprünglichen Beruf und gleich gebliebener Arbeitsunfähigkeit in Verweisungstätigkeiten resultiert mangels relevanter Verschlechterung der tatsächlichen Verhältnisse nach wie vor kein Rentenanspruch, weshalb auf die Vorbringen des Beschwerdeführers zu den erwerblichen Gesichtspunkten der Invaliditätsbemessung nicht einzugehen ist.
5.
Die weiteren Rechtsbegehren sind ebenfalls unbegründet, befasst sich die Beschwerde doch einzig mit dem Invalidenrentenanspruch und im Zusammenhang damit äusserst einlässlich mit den medizinischen Fragen. Hingegen finden sich zu den Anträgen auf Gewährung beruflicher Massnahmen und Integrationsmassnahmen keine Ausführungen, weshalb darauf nicht einzutreten ist. Das Eventualbegehren auf Rückweisung der Sache zur Einholung eines Gerichtsgutachtens und zu neuer Entscheidung an die Vorinstanz ist mit Blick auf die in somatischer und in psychischer Hinsicht umfassenden und vollständigen medizinischen Abklärungen ebenso wie der Hauptantrag abzuweisen.
6.
Kein Erfolg beschieden sein kann schliesslich dem Antrag des Versicherten, die IV-Stelle zur Rückerstattung der Kosten für das von ihm in Auftrag gegebene Gutachten des Dr. med. M._ zu verpflichten. Nach der Rechtsprechung sind einer vor dem Bundesgericht obsiegenden Partei, die sich auf ein privates Gutachten stützt, alle notwendigen Expertenkosten unter dem Titel Parteientschädigung zu ersetzen (<ref-ruling> E. 5c; RKUV 2000 Nr. U 362 S. 44 E. 3b). Mangels Obsiegens des Versicherten entfällt eine Verpflichtung der IV-Stelle zur Vergütung der Gutachterkosten; dies gilt umso mehr, als sich der medizinische Sachverhalt nicht erst aufgrund der vom Beschwerdeführer beigebrachten Untersuchungsergebnisse schlüssig hat feststellen lassen (vgl. RKUV 2004 Nr. U 503 S. 186, 1994 Nr. U 182 S. 47).
7.
Dem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Der Beschwerdeführer wird jedoch auf <ref-law> hingewiesen. Danach hat die Partei der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen, und es wird dem Beschwerdeführer Rechtsanwalt Claude Wyssmann, Oensingen, als Rechtsbeistand beigegeben.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Rechtsanwalt Claude Wyssmann wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Oktober 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Meyer
Der Gerichtsschreiber: Widmer