Sachverhalt: A. Mit Verfügung vom 22. Dezember 2003, bestätigt mit Einspracheentscheid vom 6. April 2005, lehnte die IV-Stelle des Kantons Solothurn ein erstes Gesuch des 1956 geborenen Z._ um Zusprechung einer Invalidenrente ab, weil der Invaliditätsgrad nur 33 % betrage. Mit Urteil vom 30. Mai 2007 bestätigte das Bundesgericht letztinstanzlich diesen Entscheid. Am 28. Dezember 2007 meldete sich der Versicherte erneut bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. Mai 2012 verneinte die IV-Stelle wiederum einen Anspruch auf berufliche Massnahmen und eine Invalidenrente, da sich der Invaliditätsgrad lediglich auf 34 % belaufe. B. Die von Z._ hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Z._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides seien ihm Leistungen (berufliche Eingliederungsmassnahmen, Integrationsmassnahmen, Invalidenrente) bei einem Invaliditätsgrad von mindestens 40 % zuzusprechen; eventuell sei die Sache zur Anordnung eines gerichtlichen Gutachtens sowie zu neuer Entscheidung an das kantonale Gericht zurückzuweisen. Ferner sei die IV-Stelle zu verpflichten, die Kosten für das Privatgutachten des Dr. med. M._ zurückzuerstatten. Schliesslich ersucht der Versicherte um die Bewilligung der unentgeltlichen Rechtspflege.