Sachverhalt:
A.
Der 1967 geborene A._ nahm nach seiner Einreise in die Schweiz am 24. Mai 1995 keine Erwerbstätigkeit auf. Im April 2003 meldete er sich der Folgen eines am 27. Mai 1997 erlittenen Fahrradunfalls wegen bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 3. März 2005 verneinte die IV-Stelle Luzern einen Leistungsanspruch. Im Rahmen des Einspracheverfahrens holte die Verwaltung ein Gutachten der Medizinischen Abklärungsstelle Zentralschweiz, Luzern (MEDAS), vom 29. September 2006 ein, worin eine anhaltende somatoforme Schmerzstörung mit sekundärer rezidivierender depressiver Störung, gegenwärtig weitgehend remittiert, bei klarer Aggravation, und chronische Zervikozephalgien sowie eine Zervikobrachialgie seit dem Velounfall diagnostiziert werden. Mittels Einspracheentscheid vom 15. Dezember 2006 (bestätigt durch den Entscheid des Verwaltungsgericht des Kantons Luzern [heute: Kantonsgericht Luzern], vom 30. April 2008) hielt die IV-Stelle an der Leistungsablehnung fest.
Am 25. Mai 2012 meldete sich A._ erneut zum Leistungsbezug an. Er verwies auf eine deutliche Verschlechterung der gesundheitlichen Situation und eine seit Jahren bestehende 100%ige Arbeitsunfähigkeit. Die IV-Stelle wies das Leistungsbegehren am 21. Oktober 2013 verfügungsweise ab. Nach Aufhebung dieses Verwaltungsaktes durch das Kantonsgericht Luzern und Rückweisung der Sache an die Verwaltung, damit diese nach weiteren Abklärungen im Sinne der Erwägungen neu verfüge (Entscheid vom 29. April 2014), veranlasste die IV-Stelle eine Begutachtung durch Dr. med. B._, Facharzt FMH für Psychiatrie und Psychotherapie, welcher seine Expertise am 10. Mai 2016 erstattete. Dem psychiatrischen Gutachter lagen unter anderem die Ergebnisse einer vom Sozialamt der Gemeinde C._ eingeleiteten Observation vor. Nach Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle das Leistungsgesuch wiederum ab (Verfügung vom 11. August 2016).
B.
Das Kantonsgericht Luzern wies die dagegen erhobene Beschwerde ab (Entscheid vom 12. September 2017).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die IV-Stelle sei zu verpflichten, ihm rückwirkend seit 1. November 2012 eine ganze Invalidenrente auszurichten; eventualiter sei die Angelegenheit zu weiteren Abklärungen an die Vorinstanz zurückzuweisen und diese sei anzuweisen, ein psychiatrisches Gerichtsgutachten in Auftrag zu geben. Ferner wird um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung ersucht.
Die IV-Stelle verweist in ihrer Stellungnahme auf den kantonalgerichtlichen Entscheid vom 12. September 2017. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Im Rahmen der Gewährung des rechtlichen Gehörs zu den während der Rechtshängigkeit ergangenen Urteilen 8C_841/2016 und 8C_130/2017 vom 30. November 2017 betreffend invalidisierender Wirkung leichter und mittelschwerer depressiver Störungen bzw. Invalidität bei psychischen Leiden (<ref-ruling> und 418) halten die Parteien an ihren Standpunkten fest.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie den vom Beschwerdeführer mit einer Neuanmeldung vom 25. Mai 2012 geltend gemachten Anspruch auf Leistungen der Invalidenversicherung verneint hat. Sie hat die diesbezüglich massgeblichen Bestimmungen und Grundsätze, namentlich zur Neuanmeldung (Art. 87 Abs. 2 und 3 IVV; <ref-law>), zutreffend dargelegt. Darauf wird verwiesen.
2.1. Geht es um psychische Erkrankungen wie beispielsweise eine anhaltende somatoforme Schmerzstörung, ein damit vergleichbares psychosomatisches Leiden (vgl. <ref-ruling> E. 2.2.1.3 S. 13 f.) oder depressive Störungen leicht- bis mittelgradiger Natur, sind für die Beurteilung der Arbeitsfähigkeit systematisierte Indikatoren beachtlich, die - unter Berücksichtigung leistungshindernder äusserer Belastungsfaktoren einerseits und Kompensationspotentialen (Ressourcen) andererseits - erlauben, das tatsächlich erreichbare Leistungsvermögen einzuschätzen (<ref-ruling> und 418; <ref-ruling> E. 2 ff. S. 285 ff.). Gemäss altem Verfahrensstandard eingeholte Gutachten verlieren nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält (<ref-ruling> E. 8 S. 309).
2.2. Rechtsprechungsgemäss liegt allerdings regelmässig dann kein versicherter Gesundheitsschaden vor, wenn die Leistungseinschränkung auf Aggravation oder einer ähnlichen Konstellation beruht. Dies trifft namentlich zu, wenn: eine erhebliche Diskrepanz zwischen den geschilderten Schmerzen oder Einschränkungen und dem gezeigten Verhalten oder der Anamnese besteht; intensive Schmerzen angegeben werden, deren Charakterisierung jedoch vage bleibt; keine medizinische Behandlung und Therapie in Anspruch genommen wird; demonstrativ vorgetragene Klagen auf den Sachverständigen unglaubwürdig wirken; schwere Einschränkungen im Alltag behauptet werden, das psychosoziale Umfeld jedoch weitgehend intakt ist. Nicht per se auf Aggravation weist blosses verdeutlichendes Verhalten hin (<ref-ruling> E. 2.2.1 S. 287).
3.
3.1. Das kantonale Gericht hat dem Gutachten des Dr. med. B._ vom 10. Mai 2016 nach einlässlicher Würdigung der medizinischen Aktenlage vollen Beweiswert zuerkannt. Gemäss dieser Expertise kann eine psychiatrische Diagnose mit Auswirkung auf die Arbeitsfähigkeit "nicht mit Sicherheit" gestellt werden. Ohne Auswirkung auf die Arbeitsfähigkeit bestehe eine chronische Schmerzstörung mit somatischen und psychischen Faktoren und eine Anpassungsstörung mit längerer depressiver Reaktion. Es seien zu viele Diskrepanzen vorhanden, als dass aus psychiatrischer Sicht eine Einschränkung der Arbeitsfähigkeit mit Sicherheit attestiert werden könnte. Auch rückwirkend würden sich keine klaren Hinweise für eine eingeschränkte Arbeitsfähigkeit finden. Das Verhalten deute mit hoher Wahrscheinlichkeit auf eine bewusstseinsnahe Aggravation hin. Der Versicherte sei beobachtet worden, wie er sich im Alltag ohne irgendwelche Einschränkungen bewegen könne. Gleichzeitig klage er über schwerste Schmerzen, die ihn im Alltag völlig immobilisieren würden. Diese Unterschiede seien eigentlich nur im Rahmen einer Simulation einzuordnen.
Im angefochtenen Entscheid wird zudem dargelegt, aus welchen Gründen die IV-Stelle berechtigt gewesen sei, den Observationsbericht zu den Verfahrensakten zu nehmen und dem psychiatrischen Experten zur Verfügung zu stellen. Dr. med. B._ habe sich mit dem Krankheitsbild bereits auf der Ebene der Diagnosestellung einlässlich - und den klassifikatorischen Vorgaben gemäss <ref-ruling> E. 2.1 ff. entsprechend - auseinandergesetzt. Er habe nach eingehender Erhebung der Befunde nicht nur verschiedene erhebliche Inkonsistenzen herausgearbeitet, sondern auch ein ausgesprochen selbstlimitierendes Verhalten festgestellt. Entsprechend habe er auf ein Aggravations-, ja gar Simulationsverhalten des Beschwerdeführers, d.h. auf einen Ausschlussgrund im Sinn von <ref-ruling> E. 2.2.1 geschlossen. Insgesamt ergebe sich, dass der Versicherte nach wie vor nicht an einem invalidenversicherungsrechtlich relevanten Gesundheitsschaden mit Einschränkung der Arbeitsfähigkeit leide. Der Selbstlimitierung und der ausgeprägten Krankheitsüberzeugung komme kein Krankheitswert zu. Bereits zum Zeitpunkt des Einspracheentscheids vom 15. Dezember 2006, der Gegenstand gerichtlicher Beurteilung gebildet habe, sei keine invalidenversicherungsrechtlich relevante psychische Störung auszumachen gewesen. Mithin sei aus psychiatrischer Sicht von im Wesentlichen gleich gebliebenen gesundheitlichen Verhältnissen auszugehen. Dass eine Verschlechterung des somatischen Gesundheitszustandes eingetreten sein sollte, werde im Übrigen nicht geltend gemacht und sei aufgrund der Aktenlage auch nicht anzunehmen.
3.2.
3.2.1. Der Beschwerdeführer vermag keine Mängel am psychiatrischen Gutachten aufzuzeigen, die dessen Beweiswert schmälern würden. Demgemäss durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes oder von Beweiswürdigungsregeln darauf abstellen. Es trifft namentlich nicht zu, dass der Observationsbericht die alleinige Grundlage für die gutachtlichen Feststellungen betreffend Gesundheitszustand und Arbeitsfähigkeit geliefert hätte. Dr. med. B._ stellt keineswegs einzig auf das Ergebnis der Observation ab, sondern kann seine Einschätzung auf eine umfassende Anamnese und die eigene Exploration abstützen. Soweit er das beobachtete Verhalten des Versicherten ausserhalb der Untersuchungssituation in seine Beurteilung einfliessen lässt, kann dies nicht beanstandet werden. Der Beschwerdeführer verzichtet denn auch letztinstanzlich, unter Verweis auf die Rechtsprechung (vgl. <ref-ruling>), gegen die beweismässige Verwertung der Observationsergebnisse Einwände zu erheben.
3.2.2. Nach einleuchtender fachärztlicher Beurteilung ist von einer Aggravation, bzw. von einer eigentlichen Simulation, auszugehen und die Grenzen eines bloss verdeutlichenden Verhaltens sind klar überschritten, ohne dass die Aggravation auf eine verselbstständigte, krankheitswertige psychische Störung zurückzuführen wäre. Damit liegt keine versicherte Gesundheitsschädigung vor (vgl. SVR 2017 IV Nr. 21 S. 56, 9C_154/2016 E. 4.3 mit Hinweis; E. 2.2 hiervor). Daran ändert nichts, dass das Bundesgericht in <ref-ruling> und 418 entschieden hat, sämtliche psychischen Erkrankungen grundsätzlich einem strukturierten Beweisverfahren nach <ref-ruling> zu unterziehen. Bei dieser Ausgangslage kann eine diagnostische Zuordnung der depressiven Symptomatik - Dr. med. B._ geht von einem leichtgradigen depressiven Zustandsbild aus, während die behandelnden Fachärzte neben einer kombinierten Persönlichkeitsstörung eine mittelgradige depressive Episode und eine anhaltende somatoforme Schmerzstörung diagnostizieren - unterbleiben und eine indikatorengeleitete Überprüfung des psychischen Leidens erübrigt sich ebenso. Auf die diesbezüglichen Einwendungen in der Beschwerde und in der Stellungnahme vom 14. Februar 2018 ist daher nicht weiter einzugehen.
3.2.3. Schliesslich vermag der Versicherte aus dem Umstand, dass Dr. med. B._ eine Einschränkung der Arbeitsfähigkeit durch depressive Symptome nicht "mit Sicherheit" feststellen konnte, nichts zu seinen Gunsten ableiten. Diese Unsicherheit, welche sich auch auf die Befunderhebung erstreckt, ist offensichtlich der Simulation geschuldet, weshalb der Beschwerdeführer die Folgen dieser Beweislosigkeit selber zu tragen hat. Entgegen seiner Auffassung stellte der Gutachter ein diskrepantes Verhalten nicht nur in Bezug auf die Schmerzangaben fest, sondern er ging ausdrücklich davon aus, dass auch die geltend gemachten psychischen Einschränkungen "mit grosser Vorsicht" einzuschätzen seien und aus psychiatrischer Sicht keine klaren Hinweise für eine Einschränkung in den Alltagsfunktionen bestehen würden. Es ist weder willkürlich noch sonstwie bundesrechtswidrig, wenn das kantonale Gericht mit Blick auf diese gutachterliche Einschätzung auf eine fehlende invalidisierende psychische Störung schliesst.
4.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>). Die unentgeltliche Rechtpflege (im Sinne der vorläufigen Befreiung von den Gerichts-kosten und der unentgeltlichen Verbeiständung) kann gewährt werden, da die gesetzlichen Voraussetzungen erfüllt sind (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen. Rechtsanwalt Urs Rudolf wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. August 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Berger Götz