Sachverhalt:
A.
A.a. Der 1986 geborene A._ meldete sich am 13. September 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern traf Abklärungen in medizinischer Hinsicht (Arztbericht des Dr. med. B._, Allgemeine Medizin FMH, vom 30. Oktober 2006) und gewährte Beratung und Unterstützung bei der Stellensuche (Mitteilung vom 12. Dezember 2006). Am 6. November 2008 wurde die Arbeitsvermittlung abgeschlossen, weil es gemäss Mitteilung der IV-Stelle nicht gelungen war, den Versicherten innert angemessener Frist in den Arbeitsmarkt zu integrieren. Mit Verfügung vom 26. Mai 2009 wurde der Anspruch auf eine Invalidenrente bei einem Invaliditätsgrad von 19 % abgewiesen. Diese Verfügung blieb unangefochten.
A.b. Mit Schreiben vom 7. Juni 2013 liess A._ eine Verschlechterung des gesundheitlichen Zustandes melden und verlangte eine neue Prüfung seiner Leistungsansprüche (Wiedereingliederung, Rente). Die IV-Stelle nahm erneut medizinische Abklärungen vor und liess insbesondere bei Frau Dr. med. C._, Fachärztin Physikalische Medizin und Rehabilitation, Regionaler Ärztlicher Dienst Zentralschweiz, eine vom 6. Juni 2014 datierende "Eingliederungsorientierte funktionelle Untersuchung" durchführen. In der Folge unterzog sich der Versicherte in der BEFAS vom 17. November bis zum 12. Dezember 2014 einer beruflichen Abklärung. Mit Verfügung vom 8. März 2016 lehnte die IV-Stelle das Leistungsgesuch des Versicherten wiederum ab.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Kantonsgericht Luzern mit Entscheid vom 20. Juli 2016 ab, soweit es darauf eintrat.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte unter Beilage verschiedener medizinischer Dokumente beantragen, in Aufhebung des kantonalen Entscheides sei ihm mindestens eine Viertelsrente der Invalidenversicherung zuzusprechen; zusätzlich seien ihm Eingliederungsmassnahmen zu gewähren; im Weitern seien ihm die Kosten sämtlicher medizinischer Zusatzuntersuchungen von der IV-Stelle zurückzuerstatten. Schliesslich ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren beanstandeten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen sowie die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG und der Anforderungen an den Beweiswert von Arztberichten. Die aufgrund dieser Berichte gerichtlich festgestellte Gesundheitslage bzw. Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Sachverhaltsfragen (BGE 132 V 393 E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils BGE 135 V 254, veröffentlicht in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]).
2.
2.1. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; BGE 135 V 194 E. 2.2 S. 196). Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von Art. 99 Abs. 1 BGG für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne weiteres hätten vorgebracht werden können (Urteil 8C_690/2011 vom 16. Juli 2012 E. 1.3 mit Hinweis, nicht publiziert in: BGE 138 V 286, aber in: SVR 2012 FZ Nr. 3 S. 7; Urteil 9C_777/2015 vom 12. Mai 2016 E. 2.1). Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (SVR 2016 UV Nr. 11 S. 33, 8C_412/2015 E. 4 mit Hinweis).
2.2. Der Bericht des Dr. D._, Chiropraktor SCG/ECU, vom 6. September 2016 wurde nach dem Erlass des angefochtenen Entscheides erstellt und ist daher als unzulässiges Novum ausser Acht zu lassen; das Gleiche gilt hinsichtlich des Röntgenbildes der Chiropraktik E._ vom 8. September 2016.
2.3. Der ebenfalls letztinstanzlich aufgelegte Bericht des Dr. med. F._, Facharzt FMH Radiologie, vom 8. Juli 2016 ist zwar kurz vor Erlass des kantonalen Entscheides verfasst worden, beschlägt aber nicht den in zeitlicher Hinsicht massgeblichen Sachverhalt, wie er sich bis zum Verfügungserlass vom 8. März 2016 verwirklicht hat, weshalb er ebenfalls unberücksichtigt zu bleiben hat.
3.
Die Vorinstanz hat die Bestimmungen über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und die Invalidität (Art. 8 Abs. 1 ATSG) sowie die Rechtsprechung zum Beweiswert von Arztberichten (BGE 125 V 351 E. 3 S. 352) und zu den bei einer Neuanmeldung analog anwendbaren Revisionsregeln (Art. 17 Abs. 1 ATSG; BGE 134 V 131 E. 3 S. 132) richtig dargelegt. Darauf wird verwiesen.
4.
Die ursprüngliche ablehnende Verfügung der IV-Stelle vom 26. Mai 2009 basierte auf dem Bericht der Ärztin des RAD, Frau Dr. med. G._, FMH Allgemeine Innere Medizin, vom 27. November 2006, wonach der Versicherte an einer vorbestehenden knöchernen Missbildung/Fehlstellung der Halswirbelsäule (HWS; C0-C4) mit Fehlhaltung (Schiefhaltung, Skoliose) ohne neurologische Ausfälle, dafür aber zeitweilig mit Schmerzen, leide; eine leichte, wechselbelastende Tätigkeit sei ihm vollschichtig zumutbar. Dass diese Beurteilung im Sinne von Art. 53 Abs. 2 ATSG zweifellos unrichtig gewesen und daher ein Wiedererwägungsgrund gegeben wäre, macht der Beschwerdeführer zu Recht nicht geltend.
5.
Streitig und zu prüfen ist unter dem Gesichtswinkel der Neuanmeldung, ob sich seit der Verfügung vom 26. Mai 2009 bis zur Verfügung vom 8. März 2016, mit welcher ein Leistungsanspruch gegenüber der Invalidenversicherung erneut abgelehnt wurde, eine wesentliche Verschlechterung des Gesundheitszustands des Versicherten mit Auswirkungen auf die Arbeitsfähigkeit ergeben hat.
5.1. Die Vorinstanz hat diese Frage in Würdigung der medizinischen Akten mit einlässlicher Begründung - auf die verwiesen wird - zu Recht verneint. Sie stützte sich dabei im Wesentlichen auf die Ergebnisse der umfassenden eingliederungsorientierten funktionellen Untersuchung, welche durch Frau Dr. med. C._, FMH Physikalische Medizin und Rehabilitation, am 14. April 2014 (Bericht vom 6. Juni 2014) durchgeführt wurde. Die Ärztin diagnostizierte eine komplexe Missbildung C0 bis C4 mit occipitozervikaler Fehlstellung linksbetont und eine leichte Instabilität der Schulter links. Diese Befunde würden sich funktionell auf die Belastungsfähigkeit auswirken, der Versicherte sei aber für gehende, stehende und sitzende Tätigkeiten in horizontaler Ebene und unterhalb der Horizontalen ohne Gewichtsbelastung von mehr als fünf Kilogramm und ohne vermehrte Rotationsbewegungen der HWS arbeitsfähig. Bei Beachtung eines angepassten ergonomischen Leistungsprofils bestehe keine zeitliche Limitierung, ausser dass zwei Entlastungspausen als Folge der muskulären Dysbalance vorzusehen seien. Die Gutachterin hielt fest, dass sich der Gesundheitszustand des Versicherten nicht verändert habe.
5.2. Der Beschwerdeführer beruft sich demgegenüber auf den Bericht der Frau Dr. med. H._, FMH Rheumatologie und Innere Medizin, vom 22. Mai 2013, in welchem diese zusätzlich zu den von Frau Dr. med. C._ gestellten Diagnosen von einer deutlichen Schrägstellung des Auges und negativen Einflüssen auf die Funktion der unteren und der oberen BWS spreche. Frau Dr. med. H._ - wie im Übrigen auch der Hausarzt Dr. med. I._ - kämen bei festgestellter Fehlform des ganzen Rückens und schwerer Fehlfunktion durch Missbildung und/oder Fehlwachstum zum Schluss, dass der Versicherte mit Sicherheit im täglichen Leben in seiner Leistungsfähigkeit massiv beeinträchtigt sei, werde doch von schwerster muskulärer Dysbalance und einer Insuffizienz der ganzen Schultermuskulatur gesprochen. Frau Dr. med. H._ gehe von einer Arbeit in einer geschützten Werkstatt im Rahmen eines kleinen Pensums (höchstens 50 %) mit entsprechenden regelmässigen Pausen aus. Die divergierenden medizinischen Beurteilungen verlangten nach einer Begründung, welche die Vorinstanz nicht gegeben habe. Ferner habe auch die BEFAS-Abklärung gezeigt, dass die komplexe medizinische Situation nicht ausreichend geklärt ist; die BEFAS habe aus diesem Grund eine MEDAS-Begutachtung empfohlen.
5.3. Der Vorinstanz ist darin beizupflichten, dass auf den Bericht der Frau Dr. med. H._ hinsichtlich der Einschätzung der Arbeitsfähigkeit nicht abgestellt werden kann. Frau Dr. med. C._ hat sich in ihrem Untersuchungsbericht vom 6. Juni 2014 ausführlich mit dem Bericht der behandelnden Rheumatologin auseinandergesetzt und nachvollziehbar begründet, weshalb keine zeitliche Limitierung für angepasste Arbeiten anzunehmen ist. Soweit der Beschwerdeführer vorbringt, bei der Untersuchung durch Frau Dr. med. C._, die vor der BEFAS-Abklärung stattfand, sei die im Hinblick auf eine allfällige Spondylodese der oberen cervicalen Segmente im BEFAS-Abklärungsbericht zur Diskussion gestellte Abklärung mittels SPECT-CT, eventuell Szintigraphie oder MRI, nicht durchgeführt worden, ist ihm entgegenzuhalten, dass Frau Dr. med. C._ bei der Feststellung der Befunde und der Einschätzung der Arbeitsfähigkeit die Beeinträchtigung durch die Instabilität im Kopfgelenkbereich durch die entsprechende Umschreibung des Anforderungsprofils bei Verweistätigkeiten berücksichtigt hat; sollte eine Spondylodese sich als sinnvoll erweisen und durchgeführt werden, ergäben sich daraus keine negativen Auswirkungen auf die Arbeitsfähigkeit.
5.4. Entgegen der Meinung des Beschwerdeführers steht die Empfehlung im Abklärungsbericht der BEFAS vom 13. Januar 2015 zur Durchführung einer MEDAS-Abklärung einer abschliessenden Beurteilung der Angelegenheit nicht im Wege. Das kantonale Gericht hat dazu nämlich zu Recht festgestellt, dass der Abklärungsbericht die Schlussfolgerungen der Frau Dr. med. C._ nicht in Frage stellt. Im BEFAS-Bericht vom 13. Januar 2015 wird vor allem festgestellt, dass zuverlässige Aussagen zur Eingliederungsfähigkeit des Versicherten nicht möglich seien, weil die gezeigten Leistungen allesamt quantitativ nicht verwertbar und teilweise auch qualitativ in Frage zu stellen seien; dabei sei nicht auszuschliessen, dass medizinische Gründe dafür zuständig seien. Auf die Frage nach der Eingliederungswilligkeit des Versicherten wird angegeben, dieser habe sich mit der aktuellen Situation arrangiert und wünsche keine Veränderung, zudem fühle er sich nicht arbeitsfähig. Angesichts dieser Feststellungen und der von den BEFAS-Berichterstattern gewählten Formulierung, medizinische Gründe seien "nicht auszuschliessen", durfte die Vorinstanz ohne in Willkür zu verfallen davon ausgehen, die Einholung eines MEDAS-Gutachtens bringe keine für die Frage nach der Entwicklung des Gesundheitszustandes und einer allfälligen Invalidität wesentlichen Erkenntnisse.
5.5. Indem das kantonale Gericht bei dieser Sachlage auf die Einholung weiterer Beweismittel verzichtet hat, hat es weder gegen den Untersuchungsgrundsatz noch gegen den Anspruch auf rechtliches Gehör bzw. auf Beweisabnahme (Art. 29 Abs. 2 BV; Art. 42 ATSG) oder das Gebot eines fairen Verfahrens nach Art. 9 BV und Art. 6 Ziff. 1 EMRK verstossen (antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 S. 236, 134 I 140 E. 5.3 S. 148, BGE 124 V 90 E. 4b S. 94; Urteil 8C_391/2015 vom 11. August 2015 E. 3.5). Von einer willkürlichen Beweiswürdigung der Vorinstanz kann ebenfalls nicht die Rede sein.
6.
Was schliesslich den Antrag anbelangt, es seien Eingliederungsmassnahmen zu gewähren, ist festzuhalten, dass die Eingliederungsfähigkeit des Versicherten vom 17. November bis 12. Dezember 2014 in der BEFAS abgeklärt wurde, wobei sich ergab, dass eine Eingliederung in der aktuellen Situation nicht möglich sei (Abklärungsbericht der BEFAS vom 13. Januar 2015). Eingliederungsmassnahmen kämen gemäss BEFAS-Bericht nur für den Fall in Betracht, dass sich aus den empfohlenen weiteren medizinischen Abklärungen Therapieoptionen ergäben. Weil die Vorinstanz - wie dargelegt - in Würdigung der ärztlichen Angaben zusätzliche medizinische Abklärungen und damit auch allfällige therapeutische Massnahmen mit einer zumindest nicht offensichtlich unrichtigen Begründung als nicht notwendig erachtete, ist es folgerichtig und nicht zu beanstanden, dass sie den Anspruch auf weitere Eingliederungsmassnahmen verneinte. Sie tat dies vor allem auch unter Hinweis auf die fehlende subjektive Eingliederungsfähigkeit des Versicherten. habe er sich doch in der beruflichen Abklärung weder inhaltlich noch leistungsmässig engagiert. Der Beschwerdeführer zeigt nicht auf, dass die für das Bundesgericht verbindlichen (vgl. E. 1 hievor) vorinstanzlichen Feststellungen zum fehlenden Eingliederungswillen offensichtlich unrichtig oder rechtsfehlerhaft seien. Am fehlenden Eingliederungswillen vermag schliesslich auch der Hinweis in der Beschwerde, gemäss BEFAS-Abklärungsbericht strebe der Beschwerdeführer eine Beschäftigung als Chauffeur an, nichts zu ändern, zumal gerade diese Tätigkeit wegen der Opiateinnahme nicht realistisch erscheint. Fehlt es aber an der subjektiven Eingliederungsfähigkeit, besteht von vornherein kein Anspruch auf berufliche Massnahmen (Urteil 9C_474/2013 vom 20. Februar 2014 E. 6.3).
7.
Abzulehnen ist schliesslich auch der Antrag des Beschwerdeführers, es seien ihm sämtliche Zusatzuntersuchungskosten zurückzuerstatten. Art. 45 Abs. 1 ATSG sieht eine Kostenübernahme für Abklärungsmassnahmen durch den Versicherer nur vor, wenn diese für die Beurteilung des Anspruchs unerlässlich waren oder Bestandteil nachträglich zugesprochener Leistungen bilden. Aus den vorstehenden Erwägungen ergibt sich ohne weiteres, dass diese Voraussetzungen nicht erfüllt sind, zumal die meisten Abklärungsmassnahmen, deren Kostenerstattung beantragt wird, nicht berücksichtigt werden konnten, weil es sich um unzulässige Noven handelt (E. 2 hievor).
8.
Das Verfahren ist kostenpflichtig (Art. 65 Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 Satz 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden, weil die Bedürftigkeit ausgewiesen und die Beschwerde nicht als aussichtslos zu bezeichnen ist; ferner war die Vertretung durch einen Rechtsanwalt geboten (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt, und Rechtsanwalt Marco Unternährer wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Rechtsanwalt Marco Unternährer wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Februar 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer