Sachverhalt:
A.
A._, geboren 1965, war seit Oktober 1999 als Maschinenführer bei der B._ AG beschäftigt. Am 13. Mai 2009 verletzte er sich an der rechten Schulter, als er eine umgekippte Palette aufzustellen versuchte. Am 25. Oktober 2010 schlug er sich bei der Arbeit den Kopf an. Er kehrte in der Folge nicht mehr an seine Arbeitsstelle zurück und meldete sich im Juni 2011 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern klärte die erwerbliche Situation ab, zog die Akten der Schweizerischen Unfallversicherungsanstalt (Suva) bei und holte ein Gutachten der Medizinischen Abklärungsstelle MEDAS Bern vom 29. Oktober 2014 ein. Mit Verfügung vom 24. Februar 2015 lehnte sie den Anspruch auf eine Invalidenrente ab. Das Kantonsgericht Luzern wies die Sache mit Urteil vom 21. Juli 2015 entsprechend ihrem Antrag an die IV-Stelle zurück zu weiteren Abklärungen. Zwischenzeitlich waren auch psychische Beschwerden aufgetreten. A._ wurde stationär vom 19. März bis 19. Mai sowie vom 31. Juli bis 17. September 2015 durch die psychiatrische Einrichtung C._ behandelt. Die IV-Stelle holte (nach Gutheissung einer Beschwerde gegen die Anordnung einer Verlaufsbegutachtung durch die MEDAS Bern mit Urteil des Kantonsgerichts vom 11. Juli 2016) ein Gutachten der Medizinischen Abklärungsstelle MEDAS ABI (Ärztliches Begutachtungsinstitut), Basel, vom 29. Oktober 2018 ein. Gestützt darauf ging sie von einer 80%igen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit aus. Mit Verfügung vom 12. November 2019 lehnte sie den Anspruch auf eine Invalidenrente bei einem Invaliditätsgrad von 35 % ab.
B.
Die dagegen erhobene Beschwerde wies das Kantonsgericht Luzern mit Urteil vom 29. September 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Urteils sei die Sache an die Vorinstanz zurückzuweisen zur Einholung eines polydisziplinären, allenfalls eines psychiatrischen Gerichtsgutachtens. Eventualiter wird die Rückweisung an die IV-Stelle zu weiteren medizinischen Abklärungen anbegehrt.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Ablehnung eines Rentenanspruchs durch die IV-Stelle bestätigte.
3.
3.1. Das kantonale Gericht hat die Bestimmungen und Grundsätze zur Erwerbsunfähigkeit (<ref-law>), zur Invalidität (<ref-law>, <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>) sowie zur Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) zutreffend dargelegt. Es wird darauf verwiesen.
3.2.
3.2.1. Richtig wiedergegeben werden auch die allgemeinen Regeln über den Beweiswert eines ärztlichen Berichts oder Gutachtens. Danach ist rechtsprechungsgemäss entscheidend, ob diese für die streitigen Belange umfassend sind, auf allseitigen Untersuchungen beruhen, auch die geklagten Beschwerden berücksichtigen, in Kenntnis der Vorakten (Anamnese) abgegeben wurden, in der Beurteilung der medizinischen Zusammenhänge und in derjenigen der medizinischen Situation einleuchten und ob die Schlussfolgerungen des Experten begründet sind (<ref-ruling> E. 5.1; <ref-ruling> E. 3a mit Hinweis). Auf ein versicherungsexternes Gutachten ist praxisgemäss abzustellen, sofern nicht konkrete Indizien gegen dessen Zuverlässigkeit sprechen (<ref-ruling> E. 1.3.4; <ref-ruling> E. 4.4; <ref-ruling> E. 3b/bb).
3.2.2. Zu ergänzen ist bezüglich des Beweiswerts von Gutachten, dass eine allfällige Arbeitsunfähigkeit bei psychischen Leiden (<ref-ruling> E. 4.2.1; <ref-ruling>; <ref-ruling>) mittels eines strukturierten Beweisverfahrens zu beurteilen ist. Dessen Wesen besteht darin, das tatsächlich erreichbare Leistungsvermögen anhand eines Kataloges von (Standard-) Indikatoren, unterteilt in die Kategorien "funktioneller Schweregrad" (mit den Komplexen Gesundheitsschädigung, Persönlichkeit und sozialer Kontext) und "Konsistenz" (Gesichtspunkte des Verhaltens; BGE <ref-ruling> E. 4.1.3) einzuschätzen, dies unter Berücksichtigung sowohl leistungshindernder äusserer Belastungsfaktoren als auch von Kompensationspotentialen (Ressourcen; BGE <ref-ruling> E. 3.6; Urteil 9C_520/2019 vom 22. Oktober 2019 E. 7.1). Dabei haben sich sowohl die medizinischen Sachverständigen (im Idealfall gemäss der entsprechend formulierten Fragestellung) als auch die Organe der Rechtsanwendung an den normativen Vorgaben zu orientieren (BGE <ref-ruling> E. 5.2). Die Rechtsanwender prüfen die medizinischen Angaben frei insbesondere daraufhin, ob die Ärzte sich an die massgebenden normativen Rahmenbedingungen gehalten haben und ob und in welchem Umfang die ärztlichen Feststellungen anhand der rechtserheblichen Indikatoren auf Arbeitsunfähigkeit schliessen lassen (BGE <ref-ruling> E. 6). Zu beachten ist dabei insbesondere, ob im konkreten Fall bei der medizinischen Einschätzung ausschliesslich funktionelle Ausfälle berücksichtigt wurden und ob die Zumutbarkeitsbeurteilung auf einer objektivierten Grundlage erfolgte (<ref-law>; vgl. zum Ganzen <ref-ruling> E. 4.3 mit Hinweis auf BGE <ref-ruling> E. 6; ferner bereits BGE <ref-ruling> E. 5.2.2, 6 und 7 sowie <ref-ruling> E. 4.5.2, je mit Hinweisen; SVR 2020 IV Nr. 42 S. 148, 8C_423/2019 E. 3.2.2; SVR 2019 IV Nr. 91 S. 302, 8C_703/2018 E. 3.2.2.2.2; SVR 2018 IV Nr. 27 S. 86, 8C_260/2017 E. 4.2.4).
4.
4.1. Nach der Vorinstanz war das ABI-Gutachten mit Blick auf die allgemeinen Beweisanforderungen nicht zu beanstanden. Das kantonale Gericht befasste sich in diesem Rahmen einlässlich mit den vom Beschwerdeführer dagegen erhobenen Einwänden, namentlich hinsichtlich der seiner Ansicht nach zu kurzen Untersuchungsdauer sowie der Bezugnahme auf einen im Dezember 2014 erstatteten Observationsbericht. Aus orthopädischer Sicht bestehe (mit den Diagnosen chronischer Nacken-Schulter-Schmerzen, chronischer Knieschmerzen rechts sowie eines chronischen lumbosakrovertebralen Schmerzsyndroms) eine Einschränkung in qualitativer Hinsicht. Nach Prüfung der diesbezüglichen Vorbringen des Beschwerdeführers erachtete die Vorinstanz des Weiteren insbesondere auch das Teilgutachten des psychiatrischen Experten als beweistauglich. Dieser bescheinigte als einzige Diagnose mit Auswirkung auf die Arbeitsfähigkeit eine rezidivierende depressive Störung, aktuell maximal mittelgradige Episode, verwarf jedoch ein schweres depressives Geschehen ebenso wie eine posttraumatische Belastungsstörung oder ein dissoziatives Beschwerdebild.
Gestützt auf das psychiatrische Teilgutachten, aber auch anhand der interdisziplinären Beurteilung, fanden sich, so die Vorinstanz weiter, Zeichen für eine Aggravation der Beschwerden. Der psychiatrische Gutachter habe dazu unter anderem festgehalten, der Beschwerdeführer sei seit seinen Unfällen davon überzeugt, dass er nicht mehr arbeiten könne, und verdeutliche diese subjektive Krankheitsüberzeugung mit den Klagen über seine somatischen und psychischen Leiden. Die geklagten Konzentrations- und Gedächtnisstörungen liessen sich jedoch nicht durch eine psychiatrische Störung erklären. Das kantonale Gericht nahm gestützt darauf an, es liege ein Ausschlussgrund vor, zumal im Alltag keine Einschränkung festzustellen sei. Auch ungeachtet dessen könnte jedoch gemäss alternativer vorinstanzlicher Erwägung eine Einschränkung der Arbeitsfähigkeit zufolge der vom psychiatrischen Teilgutachter diagnostizierten depressiven Störung entgegen dessen Einschätzung (Leistungseinbusse um 20 % seit September 2014) nicht als ausgewiesen gelten.
In erwerblicher Hinsicht setzte das kantonale Gericht das ohne Gesundheitsschädigung hypothetisch erzielbare Einkommen (Valideneinkommen) anhand der auf das Jahr 2019 hochgerechneten Angaben des vormaligen Arbeitgebers (2011: Fr. 85'150.-) auf Fr. 89'365.- fest. Das Invalideneinkommen belief sich zu diesem Zeitpunkt, so die Vorinstanz weiter, gestützt auf die vom Bundesamt für Statistik (BFS) herausgegebene Lohnstrukturerhebung (LSE) auf Fr. 68'022.-. Den von der IV-Stelle gewährten leidensbedingten Abzug von 5 % bestätigte das kantonale Gericht. Damit ergab sich ein zumutbarer Verdienst von Fr. 64'621.-. Verglichen mit dem Valideneinkommen resultierte ein Invaliditätsgrad von 28 %.
4.2. Der Beschwerdeführer macht geltend, das psychiatrische Teilgutachten sei unzureichend. Der Experte sei bei seiner Diagnosestellung kaum auf die Einschätzungen der Ärzte, die ihn seit 2011 behandelten, eingegangen. Beschwerdeweise bemängelt wird des Weiteren, dass die spezifischen Beweiswertanforderungen bei psychiatrischen Berichten nicht erfüllt seien, weil das entsprechende ABI-Teilgutachten den diesbezüglich rechtsprechungsgemäss zu beachtenden Vorgaben (BGE <ref-ruling>; <ref-ruling> E. 4; <ref-ruling>) nicht genüge. Zugleich beanstandet der Beschwerdeführer die vorinstanzliche Befassung mit den Standardindikatoren, die im Ergebnis ausmündete, dass die vom psychiatrischen Gutachter bescheinigte Arbeitsunfähigkeit von 20 % nicht zu anerkennen und dem Beschwerdeführer "aus psychiatrischer Sicht eine Arbeitsfähigkeit von 100 % ohne qualitative Einschränkungen" zu bescheinigen sei.
5.
5.1. Es ist nicht erkennbar, inwiefern die Vorinstanz im Rahmen der Prüfung des Gutachtens auf die rechtsprechungsgemässen allgemeinen Voraussetzungen für die Annahme einer Beweistauglichkeit hin (oben E. 3.2.1) offensichtlich unrichtige Sachverhaltsfeststellungen getroffen oder die massgeblichen Beweiswürdigungsregeln verletzt haben sollte. Soweit der Beschwerdeführer diesbezüglich die bereits im kantonalen Verfahren vorgebrachten Rügen, namentlich etwa zur Befassung des psychiatrischen Teilgutachters mit den Vorakten, in weitgehend appellatorischer Weise erneuert, vermag er damit nicht durchzudringen.
5.2.
5.2.1. Gemäss psychiatrischem Teilgutachten standen ein depressives Leiden, aber auch eine chronische Schmerzstörung mit psychischen und somatischen Faktoren (ICD-10 F45.41) im Raum. Die letztere wurde im Gutachten unter den Diagnosen ohne Auswirkung auf die Arbeitsfähigkeit aufgeführt. Wie der Gutachter, trotz der Kombination mit dem aktuell mittelschweren depressiven Leiden, zu dieser Folgenabschätzung gelangte und weshalb insgesamt nicht von einem beachtlichen Schweregrad auszugehen wäre, ist für den Rechtsanwender nicht schlüssig nachzuvollziehen (vgl. BGE <ref-ruling> E. 4.3.1.3). Erwähnt wurde im Gutachten weiter, dass der Beschwerdeführer in den Jahren 2014 und 2015 insgesamt dreimal stationär behandelt worden sei und zudem seit vielen Jahren auch ambulant psychiatrisch betreut werde. Inwiefern sich diese Therapien, die vom Gutachter als adäquat bezeichnet wurden, auf die Qualität des depressiven Leidens ausgewirkt hätten oder inwiefern aus einer allfälligen Behandlungsresistenz Rückschlüsse auf dessen Schweregrad zu ziehen wären, lässt sich dem Gutachten nicht entnehmen (BGE <ref-ruling> E. 4.3.1.2). Der psychiatrische Gutachter hielt weiter fest, dass die vom Beschwerdeführer beklagten Konzentrations- und Gedächtnisstörungen nicht durch eine psychiatrische Störung erklärbar seien. Die früher gestellten Diagnosen einer Persönlichkeitsstörung sowie einer dissoziativen Störung verwarf er dabei, jedoch ohne dies weiter zu begründen (BGE <ref-ruling> E. 4.3.2). Nur spärliche Angaben finden sich zudem zum sozialen Kontext (BGE <ref-ruling> E. 4.3.3).
5.2.2. Ein psychiatrisches Gutachten muss dem Rechtsanwender eine Beurteilung des Nachweises einer funktionellen Leistungseinschränkung erlauben. Gefordert sind vorab Angaben zur Schwere des Leidens (BGE <ref-ruling> E. 4.3) und zu dessen Folgen für die Leistungsfähigkeit, die nach Massgabe der in BGE <ref-ruling> definierten Standardindikatoren abzuhandeln beziehungsweise dementsprechend auch formal zu strukturieren sind. Zwar war nach dem am 3. Juni 2015 ergangenen Urteil BGE <ref-ruling> zunächst übergangsrechtlich auch einem nach altem Verfahrensstandard eingeholten Gutachten nicht ohne Weiteres der Beweiswert abzusprechen (BGE <ref-ruling> E. 8). Hinsichtlich der für die Beweistauglichkeit vorausgesetzten formalen Gliederung sowie der Begründungsdichte gerade auch in Bezug auf die Plausibilität der Folgenabschätzung sind an die im Oktober 2018 erstattete Expertise nach psychiatrischer Untersuchung im Juli 2018 indessen höhere Anforderungen zu stellen. Das psychiatrische Teilgutachten des ABI ist mit Blick darauf mangels jeder expliziten Bezugnahme auf die massgeblichen Indikatoren unzulänglich und vermochte als zuverlässige Grundlage für die Beurteilung des Schweregrades des psychischen Leidens nicht zu genügen. Indem das kantonale Gericht daraus auf den Beweis einer uneingeschränkten Arbeitsfähigkeit schloss, verletzte es die bundesrechtlich bei psychiatrischen Gutachten zu beachtenden Beweiswürdigungsregeln. Nicht standzuhalten vermag das vorinstanzliche Urteil auch hinsichtlich der Frage des Ausschlussgrundes. Der psychiatrische Gutachter bescheinigte trotz der von ihm festgestellten Aggravation ausdrücklich den Kern eines (die Arbeitsfähigkeit um 20 % beeinträchtigenden) Leidens, was zudem interdisziplinär im Konsens bestätigt wurde. Indessen liess sich mit Blick auf die dargelegten Unzulänglichkeiten des psychiatrischen Gutachtens hinsichtlich der Einschätzung der Gesundheitsschädigung ebenfalls nicht zuverlässig beurteilen, inwieweit die Aggravation darüber hinausging (<ref-ruling> E. 2.2, insb. E. 2.2.2 a.E.). Mangels zuverlässiger Beurteilungsgrundlage bedarf es der Einholung eines Gerichtsgutachtens. Da beschwerdeweise an den anderen Teilen des ABI-Gutachtens keine spezifische Kritik geübt und auch keine Veränderung des somatischen Gesundheitszustands behauptet wird, ist mit Blick auf die gegebene Aktenlage vorderhand lediglich eine erneute psychiatrische Begutachtung anzuordnen. Allfällige Weiterungen hinsichtlich weiterer Fachrichtungen, sei es namentlich im Hinblick auf einen neuerlichen interdisziplinären Austausch, bleiben bei fachärztlich begründetem Bedarf vorbehalten. In diesem Sinne ist die Sache an die Vorinstanz zurückzuweisen.
6.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Rückweisung der Sache an das kantonale Gericht oder an den Versicherungsträger zur erneuten Abklärung (mit noch offenem Ausgang) gilt praxisgemäss für die Frage der Auferlegung der Gerichtskosten als volles Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (<ref-ruling> E. 6.1; Urteil 8C_715/2016 vom 6. März 2017 E. 6). Die Gerichtskosten werden daher der unterliegenden Beschwerdegegnerin auferlegt (<ref-law>). Des Weiteren hat diese dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Kantonsgerichts Luzern vom 29. September 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Juli 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo