Sachverhalt:
A.
A.a. A._, geb. 1967, meldete sich am 14. April 2005 unter Hinweis auf seit 1994 bestehende Schmerzen bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 18. September 2007 wies die IV-Stelle Luzern das Gesuch mangels eines Gesundheitsschadens mit Auswirkungen auf die Erwerbsfähigkeit ab. Die dagegen gerichtete Verwaltungsgerichtsbeschwerde hiess das damalige Verwaltungsgericht des Kantons Luzern mit Entscheid vom 16. Dezember 2008 in dem Sinn gut, dass es die Verfügung vom 18. September 2007 aufhob und die Sache zur ergänzenden rheumatologischen Abklärung an die IV-Stelle zurückwies. In der Folge holte die IV-Stelle bei Dr. med. B._, FMH Allgemeine Innere Medizin und Rheumatologie, ein rheumatologisches Gutachten ein. Gestützt auf das Gutachten vom 7. Mai 2009 wies sie das Leistungsbegehren mangels eines Gesundheitsschadens mit Auswirkung auf die Arbeitsfähigkeit mit Verfügung vom 18. Mai 2010 ab. Die dagegen erhobenen Rechtsmittel wiesen das Verwaltungsgericht (Entscheid vom 22. September 2011) und in der Folge das Bundesgericht (Urteil 8C_784/2011 vom 15. Dezember 2011) ab.
A.b. Am 20. August 2013 meldete sich A._ wegen chronischer Wirbelsäulenschmerzen erneut bei der IV-Stelle zum Leistungsbezug an. Diese stellte im Vorbescheid vom 25. August 2014 die Abweisung des Leistungsbegehrens in Aussicht. Nach Einwand des Versicherten veranlasste die IV-Stelle eine polydisziplinäre Begutachtung bei der ABI, Ärztliches Begutachtungsinstitut GmbH, Basel (ABI; Gutachten vom 11. April 2016). Mit Verfügung vom 12. Mai 2017 wies die IV-Stelle (wie vorbeschieden) das Leistungsbegehren bei einem Invaliditätsgrad von 14 % ab.
B.
Das Kantonsgericht Luzern wies die dagegen erhobene Beschwerde mit Entscheid vom 3. April 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragt, ihm sei in Aufhebung des angefochtenen Entscheids rückwirkend ab 1. Februar 2014 eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zur Einholung eines polydisziplinären Gutachtens an die Vorinstanz zurückzuweisen, subeventualiter sei festzustellen, dass er Anspruch auf eine Umschulung habe.
Die IV-Stelle und das Kantonsgericht schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280; vgl. auch BGE 141 V 234 E. 1 S. 236).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Tatsächlicher Natur sind die Feststellungen zum Gesundheitszustand einer versicherten Person und der daraus resultierenden Arbeits (un) fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft. Gleiches gilt für die konkrete Beweiswürdigung (Urteil 9C_457/2014 vom E. 1.2 mit Hinweisen, in: SVR 2016 BVG Nr. 11 S. 47). Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Rechtsfrage ist auch, nach welchen Gesichtspunkten die Entscheidung über die Verwertbarkeit der Restarbeitsfähigkeit erfolgt (BGE 140 V 267 E. 2.4 S. 270 mit Hinweisen; Urteil 8C_133/2018 vom 26. Juni 2018 E. 1.2).
1.3. Der Beschwerdeführer reicht vor Bundesgericht einen Bericht seines Hausarztes, Dr. med. C._, FMH für Innere Medizin, vom 30. April 2018 ein. Dieser datiert nach dem Erlass des angefochtenen Entscheids und kann daher als echtes Novum nicht berücksichtigt werden (Art. 99 Abs. 1 BGG; BGE 143 V 19 E. 1.2 S. 23 f.; 140 V 543 E. 3.2.2.2 S. 548; 139 III 120 E. 3.1.2 S. 123).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die geltend gemachten Ansprüche auf eine Invalidenrente und auf Umschulung verneinte.
2.2. Das kantonale Gericht legte die für die Beurteilung der Streitsache massgeblichen Rechtsgrundlagen zutreffend dar, worauf verwiesen wird. Dies betrifft namentlich die Bestimmungen und Grundsätze zum Begriff der Invalidität (Art. 4 IVG i.V.m. Art. 7 und 8 ATSG), zu den Ansprüchen auf Invalidenrente (Art. 28 IVG) und auf Umschulung (Art. 17 IVG) sowie zum Beweiswert ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3a).
3.
3.1. Die Vorinstanz stützte ihren Entscheid im Wesentlichen auf das polydisziplinäre Gutachten der ABI vom 11. April 2016, dem sie in Würdigung der medizinischen Aktenlage vollen Beweiswert zuerkannte. Der Beschwerdeführer bestreitet demgegenüber die Vollständigkeit und Schlüssigkeit der gutachterlichen Ausführungen. Insbesondere hätten die Gutachter von den behandelnden Ärzten gestellte Diagnosen und Beurteilungen nicht berücksichtigt und gewürdigt. Indem die Vorinstanz dem Gutachten dennoch Beweiskraft zugemessen und - in antizipierter Beweiswürdigung - auf die Einholung eines (neuen) polydisziplinären Gutachtens verzichtet habe, habe sie den Sachverhalt offensichtlich unrichtig festgestellt und sei damit in Willkür verfallen.
3.2. Der Beschwerdeführer war im Januar und Februar 2016 bei der ABI internistisch, psychiatrisch, rheumatologisch und gastroenterologisch untersucht und begutachtet worden. Die Sachverständigen diagnostizierten ein chronisches zervikospondylogenes sowie ein chronisches thorakolumbospondylogenes Schmerzsyndrom mit Auswirkung auf die Arbeitsfähigkeit. Die weiteren Diagnosen (insbesondere eine Schmerzverarbeitungsstörung mit algogener Verstimmung und Differenzialdiagnose [DD] Dysthymie) hätten keinen Einfluss auf die Arbeitsfähigkeit. Aus polydisziplinärer Sicht attestierten ihm die Experten eine volle Arbeitsunfähigkeit für körperlich schwere Tätigkeiten, eine Arbeits- und Leistungsfähigkeit von 50 % für die zuletzt ausgeführte Tätigkeit als Produktionsmitarbeiter in einem Walzwerk und eine 100%ige Arbeitsfähigkeit in einer körperlich leichten bis mittelschweren wechselbelastenden Tätigkeit. Aus dermatologischer Sicht bestünden qualitative Einschränkungen, indem Feuchtarbeiten und Arbeiten mit Kontakt zu sensibilisierenden und toxischen Stoffen vermieden werden sollten; zudem sollte er aus gastroenterologischer Sicht die Möglichkeit haben, seine Arbeit zu unterbrechen, um jederzeit eine Toilette aufsuchen zu können.
4.
4.1.
4.1.1. Der Beschwerdeführer bringt zunächst vor, dass sich die rheumatologische Gutachterin Dr. med. D._, Fachärztin für Rheumatologie, nicht mit der Diagnose der seronegativen Spondylarthropathie, DD: Morbus Reiter oder Morbus Bechterew, auseinandergesetzt habe, die von seinem Hausarzt Dr. med. C._ bereits mehrfach festgehalten worden sei. Soweit sich seine Argumentation nicht auf das - als Novum unbeachtliche - Schreiben des Dr. med. C._ vom 30. April 2018 stützt, ist ihm zu entgegnen, dass diese Diagnose von keinem anderen (behandelnden oder begutachtenden) Arzt bestätigt wurde. Insbesondere hatte bereits Dr. med. E._, Stv. Chefärztin Rheumatologie, Klinik F._, diese Diagnose geprüft und verneint. Im Sprechstundenbericht vom 23. April 2014 führte sie aus, bei negativem HLA B27, negativen Rheumafaktoren, negativen ANA, Anti-CCP und Anti-ds-DNA, aber minim erhöhten Entzündungszeichen finde sich im Ganzkörper-MRI kein Befund, der das Vorliegen einer HLA B27-negativen Spondyloarthritis unterstütze. Sodann hielt sie im Bericht vom 9. Januar 2017 fest, dass seit der Untersuchung vor drei Jahren keine wesentlichen neuen Aspekte eingetreten seien und schloss entzündliche Veränderungen erneut aus.
4.1.2. Sodann beanstandet der Beschwerdeführer, die Gutachter hätten die Bedeutung der erhöhten CRP-Werte (C-reaktives Protein) verkannt und daher zu Unrecht auf die Einholung eines Verlaufs-MRI verzichtet. Denn gemäss Dr. med. C._ spreche der seit längerem grenzwertig erhöhte CRP-Wert für die klinische Annahme einer rezidivierenden Spondylodiszitis. Die Vorinstanz verwies demgegenüber auf die Ausführungen im Austrittsbericht der Klinik G._, wonach laborchemisch das CRP zwischen Klinikeintritt und -austritt fast unverändert geblieben sei (9.5 bei Eintritt, 10.5 bei Austritt). Die Ärzte dieser Klinik seien somit ebenfalls nicht von einem entzündlich rheumatischen Geschehen ausgegangen und hätten keinen Anlass zu weiteren bildgebenden Untersuchungen gehabt. Mit Blick auf die eben zitierten Feststellungen der Dr. med. E._ vom 23. April 2014 und vom 9. Januar 2017 erweisen sich die vorinstanzlichen Schlussfolgerungen als zutreffend.
4.1.3. Weiter macht der Beschwerdeführer geltend, weder die Gutachter noch die Vorinstanz hätten berücksichtigt, dass er an einem multiple chemical sensitivity-Syndrom (MCS) leide. Dieses sei nicht nur vom Hausarzt, Dr. med. C._, sondern auch von den behandelnden Ärzten der Klinik G._ diagnostiziert worden. Vorab ist darauf hinzuweisen, dass die Ärzte der Klinik G._ im Austrittsbericht vom 29. Juli 2015 unter anderen auch diese Diagnose auflisteten, sich dazu aber nicht äusserten. Dr. med. C._ verwies im Zusammenhang mit der MCS-Diagnose lediglich auf eine Aufzählung unspezifischer Symptome, deren Ausprägung beim Beschwerdeführer er nicht beschrieb und die er mit "belegten", jedoch nicht näher bezeichneten Allergien begründete. Immerhin hielt er auch fest, dass eine Nahrungsmittelallergie "klassisch medizinisch" nicht nachweisbar sei. Die Untersuchung in der dermatologischen Klinik des Spitals H._ vom 20. November 2014 förderte keine Nahrungsmittelallergien zu Tage, doch wurde ein Verdacht auf Nahrungsmittelunverträglichkeiten geäussert, worauf auch die dermatologische Gutachterin Dr. med. I._, FMH Dermatologie, hinwies. Hinzu kommt, dass Dr. med. J._, Facharzt FMH für Allergologie und klinische Immunologie, den Beschwerdeführer im März und April 2012 negativ auf Penicillinpräparate sowie auf verschiedene weitere Allergene getestet hatte. Die dermatologische Gutachterin stellte nummuläre Ekzeme an den Händen und erythematöse Veränderungen am Hals im Sinn einer Berloque-Dermatitis fest, beides in milder Ausprägung. Eine Kontaktsensibilisierung konnte sie diesbezüglich (mangels entsprechender Testung) nicht bestätigen. Sie trug einer solchen Möglichkeit jedoch Rechnung, indem sie empfahl, Feuchtarbeiten und Arbeiten mit Kontakt zu sensibilisierenden und toxischen Stoffen zu vermeiden. Angesichts dieser Empfehlungen ist nicht ersichtlich, inwiefern ein allfälliges MCS die Arbeitsfähigkeit des Beschwerdeführers in einer angepassten Tätigkeit beeinträchtigen könnte. Schliesslich hatte das Bundesgericht bereits im Urteil 8C_784/2011 vom 15. Dezember 2011 eine Belastung mit Schwermetallen gestützt auf den Bericht über die arbeitsmedizinische Untersuchung durch Dr. med. K._, Facharzt FMH für Arbeitsmedizin, Innere Medizin und Kardiologie, Abteilung Arbeitsmedizin der Suva, vom 29. Januar 2004, ausgeschlossen (E. 3.3 des Urteils). Der Umstand, dass die Gutachter der ABI zur (ohnehin fraglichen) Diagnose MCS, die ihnen aufgrund der Akten bekannt war, keine Stellung nahmen, vermag den Beweiswert des Gutachtens somit nicht zu schmälern.
4.2. Der psychiatrische Teilgutachter der ABI, Dr. med. L._, Facharzt FMH für Psychiatrie und Psychotherapie, diagnostizierte einzig eine Schmerzverarbeitungsstörung (ICD-10 F54) mit algogener Verstimmung und DD Dysthymie (ICD-10 F34.1) ohne Auswirkung auf die Arbeitsfähigkeit. Der Beschwerdeführer wendet dagegen im Wesentlichen ein, dies widerspreche den Feststellungen und Einschätzungen des behandelnden Psychiaters, Dr. med. M._, Facharzt FMH für Psychiatrie und Psychologie, sowie von lic. phil. N._, Fachpsychologin für Psychotherapie FSP, der Klinik G._, die beide eine leichte depressive Episode (ICD-10 F32.0) sowie eine chronische Schmerzstörung mit somatischen und psychischen Faktoren diagnostiziert hätten. Entgegen der Darstellung des Beschwerdeführers nahm Dr. med. L._ zu den früheren ärztlichen Einschätzungen (insbesondere den Berichten des Dr. med. M._ vom 19. Januar und vom 2. Mai 2015) Stellung und begründete die Abweichungen. Er legte dar, dass in allen früheren Berichten und in der eigenen Untersuchung klinisch eine eher diffuse und generalisierte Schmerzstörung im Vordergrund stehe. Ob eine eigenständige depressive Störung vorliege, bleibe sehr fraglich. Vielmehr sei eine gewisse Reizbarkeit, Stressintoleranz und eine allenfalls leichte depressive Verstimmung reaktiv auf die chronischen Schmerzen zu erklären. Differenzialdiagnostisch könnte allenfalls eine Dysthymie mit eher leichteren depressiven Verstimmungen, einem verringerten Selbstvertrauen, Libidoverlust und ein partieller sozialer Rückzug beschrieben werden. Dass keine bedeutende depressive Störung vorliege, werde auch durch die Tatsache bestätigt, dass zurzeit keine antidepressive Behandlung stattfinde.
Dem Beschwerdeführer kann auch darin nicht gefolgt werden, dass Dr. med. L._ bei der Interpretation der psychischen Symptome die somatischen Diagnosen ausser Acht gelassen hätte. Denn dieser äusserte sich insbesondere auch zu den Wechselwirkungen zwischen somatischen und psychischen Beschwerden, indem er festhielt, dass von einem chronischen generalisierten und unspezifischen Schmerzsyndrom auszugehen sei, das in der Folge auch zu gewissen psychischen Irritationen führe.
4.3.
4.3.1. Dr. med. L._ hielt in seiner Beurteilung des Weiteren fest, dass der Beschwerdeführer seit der ersten IV-Anmeldung im Jahr 2004 über diffuse Schmerzen in fast allen Körperteilen klage, die sich kaum auf ein organisches Korrelat abstützen liessen. Anamnestisch berichte er von Ungeduld und Reizbarkeit, folglich sei zu vermuten, dass die chronischen Schmerzen zu einer algogenen Verstimmung mit Lustlosigkeit, Missmut und leichteren depressiven Verstimmungen führten. Auch könne kein schwer depressiver Zustand beobachtet werden. Es bestehe eher eine Klagsamkeit, eine Schlafstörung und Lustlosigkeit, die sich aus der algogenen Verstimmung erklärten. Da aus psychiatrischer Sicht keine konkrete Störung durch ein definiertes Krankheitsbild vorliege, könne diesbezüglich auch keine Einschränkung der Arbeitsfähigkeit attestiert werden. Entsprechend verneinte der psychiatrische Gutachter das Vorliegen objektiver Befunde. Die Feststellungen des Dr. med. M._ im Bericht vom 11. Januar 2017 legen keine andere Sichtweise nahe, zumal daraus hervorgeht, dass seit Mai 2015 keine wesentlichen Veränderungen in der Lebenssituation und im psychischen und physischen Befinden des Beschwerdeführers aufgetreten seien. Die Vorinstanz verneinte eine schwere Ausprägung der objektiven Befunde im Rahmen der Indikatorenprüfung daher zu Recht.
4.3.2. Da der Beschwerdeführer nur alle drei bis vier Wochen psychiatrische Konsultationstermine bei Dr. med. M._ wahrnimmt, ist auch der Schluss der Vorinstanz auf eine fehlende Behandlungsresistenz und damit auf einen fehlenden Leidensdruck nicht zu beanstanden. Daran ändern weder eine mögliche Medikamentenunverträglichkeit noch der Hinweis auf den Aufenthalt in der Klinik G._ etwas. Denn selbst wenn die Durchführung einer medikamentösen Therapie nicht möglich sein sollte, wären ihm zumindest eine Intensivierung der Therapie bei Dr. med. M._ oder ein stationärer Aufenthalt in einer psychiatrischen Klinik zumutbar. Für einen fehlenden Leidensdruck spricht auch die gutachterliche Feststellung, dass der Medikamentenspiegel für Paracetamol im nicht nachweisbaren Bereich lag, obwohl der Beschwerdeführer angegeben hatte, noch am Morgen des Untersuchungstags Dafalgan eingenommen zu haben. Eine Voreingenommenheit der Gutachter gegenüber dem Beschwerdeführer lässt sich aus ihren Aussagen zur Medikamentencompliance hingegen nicht erkennen. Im Übrigen war diese nicht ausschlaggebend für die Beurteilung der Arbeitsfähigkeit.
4.3.3. Soweit der Beschwerdeführer der Vorinstanz vorwirft, sie habe bei der Prüfung der Komorbiditäten die seronegative Spondylarthropathie sowie das MCS als ressourcenhemmende Faktoren nicht berücksichtigt, kann auf das bereits Gesagte verwiesen werden (E. 4.1.1 und 4.1.3). Dass er zudem an einer Kettentendinose (nach Dvorak) leiden soll, wird erstmals im Bericht des Dr. med. C._ vom 30. April 2018 erwähnt und ist daher als Novum nicht zu beachten (E. 1.3).
4.4. Zusammenfassend beruhen die vorinstanzlichen Annahmen zum Gesundheitszustand des Versicherten weder auf offensichtlich unrichtigen noch auf sonstwie rechtsfehlerhaften Tatsachenfeststellungen. Weil von zusätzlichen medizinischen Abklärungsmassnahmen keine neuen entscheidwesentlichen Aufschlüsse zu erwarten sind, konnte und kann auf weitergehende medizinische Erhebungen und Gutachten verzichtet werden (antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 S. 236 f. mit Hinweis). Somit sind dem Beschwerdeführer körperlich leichte oder mittelschwere angepasste Tätigkeiten zu 100 % zumutbar.
5.
5.1. Der Beschwerdeführer beantragt sodann eine vorbehaltlose Neuberechnung des Invaliditätsgrades, weil sich sein Gesundheitszustand massiv verschlechtert habe.
5.2. Bei einer Neuanmeldung zum Leistungsbezug finden die Grundsätze zur Rentenrevision analog Anwendung (Art. 17 Abs. 1 ATSG; Art. 87 Abs. 2 und 3 IVV [SR 831.201]; BGE 130 V 71 E. 3.2.3 S. 77), weshalb zunächst eine anspruchsrelevante Veränderung des Sachverhalts (seit der letzten rechtskräftigen Verfügung mit materieller Prüfung des Rentenanspruchs; vgl. BGE 133 V 108 E. 5 S. 110 f.) erforderlich ist. Erst wenn dies zu bejahen ist, ist in einem zweiten Schritt der (Renten-) Anspruch in tatsächlicher und rechtlicher Hinsicht umfassend ("allseitig") zu prüfen, wobei keine Bindung an frühere Invaliditätsschätzungen besteht (vgl. BGE 141 V 9 E. 2.3 S. 10 f.; Urteile 8C_454/2018 vom 16. November 2018 E. 6.5; 9C_247/2017 vom 7. August 2017 E. 2.1; 9C_894/2015 vom 25. April 2016 E. 5 und 6.4).
5.3. Im Entscheid vom 22. September 2011 - bestätigt im Urteil 8C_784/2011 vom 15. Dezember 2011 - ging die Vorinstanz von einer 100%igen Arbeitsfähigkeit in einer leichten bis mittelschweren angepassten Tätigkeit (einschliesslich der angestammten Tätigkeit) aus. Gemäss dem ABI-Gutachten ist zwar in der angestammten Tätigkeit nur noch eine 50%ige Arbeitsfähigkeit zumutbar und werden die angepassten Tätigkeiten in dermatologischer und gastroenterologischer Hinsicht etwas enger umschrieben. Ob damit eine gesundheitliche Verschlechterung eingetreten ist oder ob es sich um eine andere Beurteilung des gleichen Sachverhalts handelt (die von vornherein unbeachtlich wäre; vgl. BGE 112 V 371 E. 2b S. 372; Urteil 8C_220/2018 vom 14. November 2018 E. 3.3), kann allerdings mit der Vorinstanz offen gelassen werden. Denn es liegt jedenfalls keine wesentliche Veränderung des Gesundheitszustands vor, da die Arbeitsfähigkeit in einer leichten oder mittelschweren Tätigkeit weiterhin 100 % beträgt. Im Übrigen verneinten die Gutachter auch für die Vergangenheit eine länger dauernde Arbeitsunfähigkeit für körperlich leichte bis mittelschwere, wechselbelastende Tätigkeiten. Sodann ist selbst unter Einbezug der erwerblichen Aspekte, einschliesslich der für den Abzug vom Tabellenlohn massgeblichen Sachverhaltselemente, keine Veränderung ersichtlich, die zu einer Revision führen könnte. Dies gilt insbesondere auch für die mit den LSE 2012 und 2014 einher gegangenen Änderungen der statistischen Grundlagen (vgl. BGE 142 V 178 E. 2.5.8.1 S. 189 f.). Weil es damit an einer anspruchsrelevanten Veränderung des Sachverhalts fehlt, erübrigt sich praxisgemäss eine umfassende Prüfung des Rentenanspruchs. Mithin bleibt es beim Invaliditätsgrad von 14 %, so dass weiterhin kein Rentenanspruch gegeben ist.
6.
Bei einem Invaliditätsgrad von 14 % besteht zudem kein Anspruch auf eine Umschulung im Sinn von Art. 17 IVG, da die rechtsprechungsgemässe Erheblichkeitsschwelle einer Erwerbseinbusse von etwa 20 % nicht erreicht wird (BGE 139 V 339 E. 5.3 S. 403; 130 V 488 E. 4.2 S. 489 f.). Auch sind keine Anhaltspunkte ersichtlich, die ein Abweichen von diesem Richtwert zulassen würden (vgl. BGE 124 V 108 S. 111; Urteile 9C_262/2016 vom 30. August 2016 E. 4.2; 9C_704/2010 vom 31. Januar 2011 E. 3.1, in: SVR 2011 IV Nr. 51 S. 152). Die Beschwerde ist somit abzuweisen.
7.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. November 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart