Sachverhalt: A. Der 1958 geborene, zuletzt als Bauarbeiter tätig gewesene A._ meldete sich im Juni 2005 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen lehnte die IV-Stelle Luzern, die einen Invaliditätsgrad von 28 % ermittelt hatte, das Leistungsgesuch am 7. April 2008 verfügungsweise ab. Am 19. Oktober 2012 meldete sich A._ unter Hinweis auf ein Rückenleiden und psychische Probleme erneut bei der Invalidenversicherung an. Die IV-Stelle holte ein Gutachten des Psychiaters Dr. med. B._ vom 24. Juni 2013 ein. Mit Verfügung vom 12. September 2014 lehnte sie den Anspruch auf eine Invalidenrente wiederum ab, wobei sie nunmehr den Invaliditätsgrad auf 18 % festlegte. B. A._ liess Beschwerde einreichen mit den Rechtsbegehren, unter Aufhebung der Verfügung vom 12. September 2014 seien ihm die gesetzlichen Leistungen zuzusprechen; eventuell sei ihm mindestens eine Viertelsrente der Invalidenversicherung zu gewähren. Mit Entscheid vom 24. September 2015 wies das Kantonsgericht Luzern die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und die Sache sei zu erneuter Abklärung und Verfügung an die IV-Stelle zurückzuweisen. Eventuell seien ihm Integrations- und Eingliederungsmassnahmen, subeventuell mindestens eine Viertelsrente der Invalidenversicherung, zuzusprechen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.