Sachverhalt: A. Der 1967 geborene A._ nahm nach seiner Einreise in die Schweiz am 24. Mai 1995 keine Erwerbstätigkeit auf. Im April 2003 meldete er sich der Folgen eines am 27. Mai 1997 erlittenen Fahrradunfalls wegen bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 3. März 2005 verneinte die IV-Stelle Luzern einen Leistungsanspruch. Im Rahmen des Einspracheverfahrens holte die Verwaltung ein Gutachten der Medizinischen Abklärungsstelle Zentralschweiz, Luzern (MEDAS), vom 29. September 2006 ein, worin eine anhaltende somatoforme Schmerzstörung mit sekundärer rezidivierender depressiver Störung, gegenwärtig weitgehend remittiert, bei klarer Aggravation, und chronische Zervikozephalgien sowie eine Zervikobrachialgie seit dem Velounfall diagnostiziert werden. Mittels Einspracheentscheid vom 15. Dezember 2006 (bestätigt durch den Entscheid des Verwaltungsgericht des Kantons Luzern [heute: Kantonsgericht Luzern], vom 30. April 2008) hielt die IV-Stelle an der Leistungsablehnung fest. Am 25. Mai 2012 meldete sich A._ erneut zum Leistungsbezug an. Er verwies auf eine deutliche Verschlechterung der gesundheitlichen Situation und eine seit Jahren bestehende 100%ige Arbeitsunfähigkeit. Die IV-Stelle wies das Leistungsbegehren am 21. Oktober 2013 verfügungsweise ab. Nach Aufhebung dieses Verwaltungsaktes durch das Kantonsgericht Luzern und Rückweisung der Sache an die Verwaltung, damit diese nach weiteren Abklärungen im Sinne der Erwägungen neu verfüge (Entscheid vom 29. April 2014), veranlasste die IV-Stelle eine Begutachtung durch Dr. med. B._, Facharzt FMH für Psychiatrie und Psychotherapie, welcher seine Expertise am 10. Mai 2016 erstattete. Dem psychiatrischen Gutachter lagen unter anderem die Ergebnisse einer vom Sozialamt der Gemeinde C._ eingeleiteten Observation vor. Nach Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle das Leistungsgesuch wiederum ab (Verfügung vom 11. August 2016). B. Das Kantonsgericht Luzern wies die dagegen erhobene Beschwerde ab (Entscheid vom 12. September 2017). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die IV-Stelle sei zu verpflichten, ihm rückwirkend seit 1. November 2012 eine ganze Invalidenrente auszurichten; eventualiter sei die Angelegenheit zu weiteren Abklärungen an die Vorinstanz zurückzuweisen und diese sei anzuweisen, ein psychiatrisches Gerichtsgutachten in Auftrag zu geben. Ferner wird um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung ersucht. Die IV-Stelle verweist in ihrer Stellungnahme auf den kantonalgerichtlichen Entscheid vom 12. September 2017. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. Im Rahmen der Gewährung des rechtlichen Gehörs zu den während der Rechtshängigkeit ergangenen Urteilen 8C_841/2016 und 8C_130/2017 vom 30. November 2017 betreffend invalidisierender Wirkung leichter und mittelschwerer depressiver Störungen bzw. Invalidität bei psychischen Leiden (BGE 143 V 409 und 418) halten die Parteien an ihren Standpunkten fest.