Sachverhalt:
A.
Der 1958 geborene, zuletzt als Bauarbeiter tätig gewesene A._ meldete sich im Juni 2005 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen lehnte die IV-Stelle Luzern, die einen Invaliditätsgrad von 28 % ermittelt hatte, das Leistungsgesuch am 7. April 2008 verfügungsweise ab. Am 19. Oktober 2012 meldete sich A._ unter Hinweis auf ein Rückenleiden und psychische Probleme erneut bei der Invalidenversicherung an. Die IV-Stelle holte ein Gutachten des Psychiaters Dr. med. B._ vom 24. Juni 2013 ein. Mit Verfügung vom 12. September 2014 lehnte sie den Anspruch auf eine Invalidenrente wiederum ab, wobei sie nunmehr den Invaliditätsgrad auf 18 % festlegte.
B.
A._ liess Beschwerde einreichen mit den Rechtsbegehren, unter Aufhebung der Verfügung vom 12. September 2014 seien ihm die gesetzlichen Leistungen zuzusprechen; eventuell sei ihm mindestens eine Viertelsrente der Invalidenversicherung zu gewähren. Mit Entscheid vom 24. September 2015 wies das Kantonsgericht Luzern die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und die Sache sei zu erneuter Abklärung und Verfügung an die IV-Stelle zurückzuweisen. Eventuell seien ihm Integrations- und Eingliederungsmassnahmen, subeventuell mindestens eine Viertelsrente der Invalidenversicherung, zuzusprechen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2.
2.1. Die Vorinstanz hat den wesentlichen Gehalt der mit <ref-ruling> geänderten Rechtsprechung zum invalidisierenden Charakter somatoformer Schmerzstörungen wiedergegeben und dabei im Sinne von <ref-ruling> E. 2.2 S. 287 auch auf die Ausschlussgründe nach <ref-ruling> verwiesen. Aufgrund von <ref-ruling> E. 8 S. 309 hat sie dargelegt, dass dem Gutachten des Dr. med. B._ vom 24. Juni 2013, welches aus der Zeit vor der Rechtsprechungsänderung stammt, nicht jeglicher Beweiswert abzusprechen sei. Die psychiatrische Expertise erhebe die Befunde umfassend, der Gutachter habe fremdanamnestische Auskünfte des behandelnden Psychiaters sowie des Hausarztes eingeholt und er habe über sämtliche Vorakten verfügt.
2.2. Aufgrund der Angaben des Administrativgutachters Dr. med. B._ in der Expertise vom 24. Juni 2013 ging die Vorinstanz davon aus, der Beschwerdeführer leide an einer rezidivierenden depressiven Störung, zuletzt leicht- bis mittelgradige depressive Episode mit einem somatischen Syndrom sowie einer anhaltenden somatoformen Schmerzstörung und chronischen Beschwerden im HWS- und LWS-Bereich. Die anhaltende somatoforme Schmerzstörung stimme mit den klinischen Befunden kaum überein und enthalte Hinweise für Aggravation; sie erreiche bezüglich der Beurteilung der Arbeitsfähigkeit nur beschränkte Aussagekraft. Die von der Verwaltung anerkannte Invalidität sei den rheumatologischen Faktoren zuzuschreiben. Hinzu komme eine Belastung durch ein fluktuierendes depressives Krankheitsbild, welches indessen zu keiner dauerhaften Verminderung der Arbeitsfähigkeit führe. Hinsichtlich der Diagnose einer anhaltenden somatoformen Schmerzstörung warte das Gutachten des Dr. med. B._ nicht mit den nach der geänderten Rechtsprechung verlangten spezifischen Angaben auf. Es enthalte jedoch in Bezug auf die IV-rechtlichen Auswirkungen der somatoformen Schmerzstörung in den Angaben und im Verhalten des Versicherten deutliche Hinweise auf eine Aggravation. Hinzu kämen eine ausgeprägte Motivationslosigkeit sowie psychosoziale Faktoren. Unter diesen Umständen sei kein IV-rechtlich relevanter psychischer Gesundheitsschaden ausgewiesen.
3.
Der Beschwerdeführer wendet im Wesentlichen ein, es sei keine erhebliche Aggravation nachgewiesen. Das Gutachten des Psychiaters Dr. med. B._ genüge den Anforderungen gemäss <ref-ruling> nicht, indem es nicht die erforderlichen Angaben liefert. Im Umstand, dass sich die Vorinstanz darauf gestützt hat, sei eine Rechtsverletzung begründet. Der massgebliche Sachverhalt sei nicht korrekt abgeklärt worden, weshalb die Sache zur Anordnung eines psychiatrischen Gutachtens an das kantonale Gericht zurückzuweisen sei. Nicht haltbar sei ferner die vorinstanzliche Feststellung, dass die Depression zu keiner Leistungseinschränkung führt.
4.
Die Vorinstanz hat mit einlässlicher Begründung in Würdigung der medizinischen Unterlagen, namentlich des psychiatrischen Gutachtens des Dr. med. B._ vom 24. Juni 2013, zutreffend dargelegt, dass der Beschwerdeführer an keinem psychischen Gesundheitsschaden mit Krankheitswert leidet. Entgegen der in der Beschwerde vertretenen Auffassung kann das aus der Zeit vor der Änderung der Rechtsprechung gemäss <ref-ruling> stammende psychiatrische Gutachten des Dr. med. B._ (vom 24. Juni 2013) als massgebend erachtet werden. Wie die Vorinstanz richtig festhält, verlieren solche Gutachten nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält. In sinngemässer Anwendung dieser Grundsätze gemäss <ref-ruling> E. 6 in initio S. 266 auf die mit der neuen Rechtsprechung materiell-beweisrechtlich geänderten Anforderungen ist in jedem einzelnen Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen sachverständigen Gutachten - gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten - eine schlüssige Beurteilung im Lichte der massgeblichen Indikatoren erlaubt oder nicht (<ref-ruling> E. 8 S. 309). Im angefochtenen Entscheid wird mit überzeugender Begründung dargelegt, dass in Anwendung der neuen Rechtsprechung auf die Administrativexpertise abgestellt werden kann, zumal nicht eine Beurteilung nach Massgabe sämtlicher Indikatoren zu erfolgen hat. Vielmehr hat die Vorinstanz aufgrund des Gutachtens zu Recht festgestellt, dass der Beschwerdeführer an keiner Depression mit Auswirkungen auf die Arbeitsfähigkeit leidet und darüber hinaus kein Gesundheitsschaden vorliegt, der die Arbeitsfähigkeit erheblich einschränkt. Inwiefern diese Darlegungen tatsächlicher Natur willkürlich sein oder anderweitig Bundesrecht verletzen sollen (E. 1 hievor), vermag der Beschwerdeführer nicht zu begründen und ist auch nicht erkennbar. Soweit die beschwerdeweise vorgetragenen Argumente die vorinstanzliche Beweiswürdigung betreffen, ist darauf hinzuweisen, dass die Kritik an diesen tatsächlichen Feststellungen vom Bundesgericht im Rahmen der gesetzlichen Überprüfungsbefugnis (E. 1 hievor) keiner Beurteilung unterzogen werden kann. In der Beschwerde wird sodann auch nicht mit stichhaltiger Begründung vorgebracht, der angefochtene Entscheid verstosse gegen bundesrechtliche Gesetzesbestimmungen oder Grundsätze. Das Kantonsgericht hatte aufgrund der Erkenntnis, dass beim Beschwerdeführer keine wesentliche Arbeitsunfähigkeit besteht, keinen Anlass, eine Invaliditätsbemessung im Rahmen eines Einkommensvergleichs durchzuführen. Schliesslich ist kein Grund ersichtlich, Eingliederungs- und Integrationsmassnahmen zu prüfen oder gar in die Wege zu leiten, solange es dem Versicherten möglich und zumutbar ist, mittels der ihm obliegenden Selbsteingliederung eine Stelle zu finden, wo er seine verbliebene, praktisch volle Leistungsfähigkeit erwerblich verwerten kann.
5.
Das Gesuch um unentgeltliche Rechtspflege ist abzuweisen, da die Beschwerde als aussichtslos bezeichnet werden muss (<ref-law>; <ref-ruling> E. 2.3.1 S. 135, 128 I 225 E. 2.5.3 S. 236). Nach <ref-law> ist umständehalber auf die Erhebung von Gerichtskosten zu verzichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Dezember 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Widmer