Sachverhalt:
A.
A.a. Der 1964 geborene A._ arbeitete seit Mai 2000 zur Hauptsache als Bodenleger beim Einzelunternehmen seiner Ehefrau, der B._, das als Unterakkordant Arbeiten für die C._ AG ausführte. Am 14. November 2000 hatte der Versicherte einen Autounfall, woraufhin ihm die IV-Stelle Luzern mit Verfügung vom 16. Januar 2008 rückwirkend ab November 2001 eine Viertelsrente zusprach. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Luzern diese Verfügung auf und wies die Sache zur weiteren Abklärung an die Verwaltung zurück (Entscheid vom 26. August 2009). Gestützt auf das eingeholte Gutachten gewährte die IV-Stelle eine ganze Rente ab November 2001 (Verfügung vom 23. Januar 2013).
A.b. Der Motorfahrzeughaftpflichtversicherer liess den Versicherten zwischen März 2014 und Juni 2015 überwachen. In der Folge zog die IV-Stelle nach erneuter Begutachtung die zugesprochene Rente in prozessuale Revision und hob die Rente rückwirkend per 1. November 2006 auf (Verfügung vom 17. Januar 2017). Die eingereichte Beschwerde hiess das Kantonsgericht Luzern mit Entscheid vom 7. Februar 2018 teilweise gut und bejahte einen Anspruch auf eine Viertelsrente ab 1. November 2006. Dagegen erhoben die IV-Stelle und der Versicherte Beschwerde in öffentlich-rechtlichen Angelegenheiten. Mit Urteil vom 11. September 2018 wies das Bundesgericht die Beschwerde des A._ ab, soweit es darauf eintrat (9C_247/2018). Jene der IV-Stelle hiess es teilweise gut, hob den vorinstanzlichen Entscheid betreffend den Rentenanspruch sowie die Verfügung der IV-Stelle vom 17. Januar 2017 auf und wies die Sache zu neuer Verfügung im Sinne der Erwägungen an die Verwaltung zurück (9C_243/2018).
Die IV-Stelle stellte daraufhin der C._ AG Fragen zur Zusammenarbeit mit dem Versicherten, welche diese nicht beantworten konnte. Nach durchgeführtem Vorbescheidverfahren verfügte die Verwaltung die Rentenaufhebung per 1. November 2006 (Verfügung vom 21. März 2019).
B.
Die dagegen erhobene Beschwerde wies das Kantonsgericht Luzern mit Entscheid vom 10. Juli 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben. Die Beschwerdegegnerin sei zu verpflichten, ihm ab 1. November 2006 eine Viertelsrente zu gewähren. Betreffend die Höhe des Valideneinkommens sei Nichtigkeit des Entscheids der Vorinstanz vom 10. Juli 2020 sowie der Verfügung der IV-Stelle vom 21. März 2019 festzustellen. Eventualiter sei die Sache an die Vorinstanz, subeventualiter an die IV-Stelle zum Neuentscheid zurückzuweisen.
Erwägungen:
1.
In Bezug auf das Begehren, es sei Nichtigkeit bezüglich des von der Vorinstanz und IV-Stelle ermittelten Valideneinkommens festzustellen (Sachverhalt lit. C), ist zu bemerken, dass nach ständiger Rechtsprechung Feststellungsbegehren nur zulässig sind, wenn ein schutzwürdiges Interesse an einer Feststellung besteht und ein Leistungsentscheid nicht möglich ist (BGE 132 V 18 E. 2.1 S. 21). Diese Voraussetzungen sind hier nicht gegeben. Ein weitergehendes Feststellungsinteresse wird vom Beschwerdeführer nicht dargetan. Auf das Feststellungsbegehren ist daher nicht einzutreten.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
3.
Strittig ist in erster Linie, ob die Vorinstanz bei der Ermittlung des Valideneinkommens Bundesrecht verletzt hat. Die dafür massgeblichen Bestimmungen und relevante Rechtsprechung sind im kantonalen Entscheid zutreffend dargelegt (Art. 16 ATSG; vgl. BGE 139 V 28 E. 3.3.2 S. 30; 135 V 58 E. 3.1 S. 59). Darauf wird verwiesen.
4.
4.1. Es ist unbestritten, dass der Beschwerdeführer ohne Gesundheitsschaden überwiegend wahrscheinlich als Boden-/Unterbodenleger der Einzelunternehmung B._ arbeiten würde, welche für die C._ AG tätig wäre. Unbestritten ist weiter, dass die Beschäftigung des Beschwerdeführers im AHV-beitragsrechtlichen Sinne als unselbständige Erwerbstätigkeit der C._ AG zu qualifizieren ist.
4.2. Gemäss dem vorinstanzlichen Entscheid lägen keine Lohnangaben der C._ AG vor und verlässliche Anhaltspunkte für die Ermittlung des tatsächlich zuletzt verdienten Einkommens bei der C._ AG seien nicht erkennbar. Nachdem der Beschwerdeführer nicht als blosser Angestellter der B._ gelten könne, könne auch die dort vereinbarte Lohnsumme für den Validenverdienst nicht hinzugezogen werden. Deshalb sei für das hypothetische Valideneinkommen auf die Tabellenlöhne zurückzugreifen.
4.3.
4.3.1. Der Beschwerdeführer rügt, dass die Vorinstanz das Valideneinkommen in Abweichung zum kantonalen Entscheid vom 26. August 2009 festgelegt hat. Er vertritt die Auffassung, es liege eine abgeurteilte Sache vor.
4.3.2. Nach dem kantonalen Rückweisungsentscheid vom 26. August 2009 sprach die IV-Stelle dem Beschwerdeführer mit Verfügung vom 23. Januar 2013 ab November 2001 eine ganze Rente zu. Darauf kam die Verwaltung mittels prozessualer Revision zurück, da entdeckt wurde, dass sich der Gesundheitszustand des Beschwerdeführers ab 1. November 2006 verbessert hatte (Verfügung vom 17. Januar 2017). Diese Feststellung wurde gerichtlich bestätigt (Entscheid des Kantonsgerichts Luzern vom 7. Februar 2018, Urteil 9C_243/2018, 9C_247/2018 vom 11. September 2018 E. 4). Bei dieser Ausgangslage, wenn auf die Rentenzusprache zurückgekommen werden darf, kann der Rentenanspruch in all seinen Teilen neu geprüft werden (BGE 141 V 9 E. 2.3 S. 11; Urteile 8C_670/2019 vom 19. Februar 2020 E. 5.1 und 8C_365/2019 vom 25. September 2019 E. 4.2). Es liegt somit bezüglich des Valideneinkommens keine abgeurteilte Sache vor.
4.4.
4.4.1. Der Beschwerdeführer macht weiter geltend, ein die tatsächlichen Verhältnisse widerspiegelndes Valideneinkommen könne anhand konkreter Werte ermittelt werden. Das kantonale Gericht habe seine Aufklärungspflicht verletzt und zu hohe Anforderungen an den Beweis gestellt. Es sei aktenkundig, dass er ohne Unfallereignis weiterhin genügend Aufträge von der C._ AG erhalten hätte, um einen Lohn auf dem Niveau von Fr. 7000.- zu erwirtschaften. Es bestehe kein Grund, dem mit der B._ vereinbarten Lohn die Zuverlässigkeit abzusprechen.
4.4.2. Der Beschwerdeführer hatte mit der C._ AG keinen Arbeitsvertrag. Vielmehr führte die B._ für diese Firma Aufträge aus. Die Vorinstanz hielt daher zu Recht fest, dass keine Lohnangaben der C._ AG vorhanden sind. Zudem liegen auch keine anderen langfristigen Verträge vor, die dem Beschwerdeführer ein Einkommen in der Höhe von Fr. 7000.- sicherten. Die Zusammenarbeit zwischen der B._ und C._ AG war zudem bis zum Unfall des Beschwerdeführers vom 14. November 2000 erst von kurzer Dauer (ab Mai 2000), sodass das bisherige Auftragsvolumen nicht als gefestigte Grösse betrachtet werden kann, bildet es doch insbesondere saisonale und konjunkturelle Schwankungen nicht ab, die im Baugewerbe üblich sind. Nachdem auch weitere Abklärungen keine neuen Erkenntnisse brachten, liegen, wie im vorinstanzlichen Entscheid festgehalten, keine verlässlichen Anhaltspunkte vor, welches Einkommen der Beschwerdeführer aus der Zusammenarbeit mit der C._ AG hätte erzielen können. Das kantonale Gericht stellte zudem nicht offensichtlich unrichtig und damit für das Bundesgericht verbindlich fest, dass der Beschwerdeführer das unternehmerische Risiko bei der B._ trug. Entsprechend ist sein Verdienst nicht vom im Vertrag des Beschwerdeführers mit der B._ vereinbarten Lohn, sondern vom wirtschaftlichen Erfolg des Einzelunternehmens aus der Zusammenarbeit mit der C._ AG abhängig, weshalb die Vorinstanz zu Recht nicht auf den ab 1. Oktober 2000 neu auf Fr. 7000.- vereinbarten Lohn (zuvor Fr. 5000.-) der B._ abstellte.
4.5.
4.5.1. Der Beschwerdeführer bringt ferner vor, seit dem Entscheid des Verwaltungsgerichts des Kantons Luzern vom 26. August 2009 stehe fest, dass die IV-Stelle ihrer Abklärungspflicht hinsichtlich des Valideneinkommens nicht genügend nachgekommen sei. Dass weitere Unterlagen nun betreffend bzw. von der C._ AG nicht mehr erhältlich und auch nicht aktenkundig seien, sei der IV-Stelle anzulasten, woran seine Mitwirkungspflicht nichts ändere. Es wäre stossend, ihn die Folgen der Beweislosigkeit tragen zu lassen, weshalb eine Umkehr der Beweislast hinsichtlich des Valideneinkommens zu erfolgen habe.
4.5.2. Die Vorinstanz erwog im Entscheid vom 26. August 2009, dass weitere medizinische Erhebungen und solche zur (von der B._ an den Beschwerdeführer ausbezahlten) Spesenpauschale nötig seien. Selbst wenn die IV-Stelle diese Abklärungen vorgenommen hätte, wären keine Erkenntnisse über die Zusammenarbeit der B._ mit der C._ AG gewonnen worden. Der IV-Stelle kann deshalb keine Beweisvereitelung mit Blick auf die hier massgebenden Sachverhaltselemente vorgeworfen werden. Hinzu kommt, dass die behördliche Abklärungspflicht sich nur auf rechtserhebliche Tatsachen bezieht, von deren Vorliegen es abhängt, ob über den streitigen Anspruch so oder anders zu entscheiden ist (BGE 146 V 240 E. 8.1 S. 248). Nachdem aufgrund der neuen medizinischen Abklärungen auf eine volle Arbeitsunfähigkeit in jeglicher Tätigkeit zu schliessen (vgl. Gutachten der MEDAS Zentralschweiz vom 23. August 2012) und deshalb unabhängig von der genauen Höhe des Valideneinkommens auf eine ganze Rente zu erkennen war (Verfügung vom 23. Januar 2013), durfte die IV-Stelle damals auf weitere Abklärungen zum Valideneinkommen verzichten. Die Voraussetzungen für eine Umkehr der Beweislast sind deshalb nicht erfüllt (vgl. BGE 138 V 218 E. 8.1 S. 223; SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 12).
4.6.
4.6.1. In der Beschwerde wird auch der herangezogene Tabellenlohn (LSE 2006, Anforderungsniveau 1+2, Baugewerbe, Männer) gerügt, sei dieser doch für die in Frage stehende Branche (Bodenleger resp. Unterlagsbodenspezialist) und Lohnart (Leistungslohn eines Akkordanten) wenig aussagekräftig. Es sei allgemein bekannt, dass ein Akkordant in der Regel überdurchschnittliche Arbeitszeiten leiste und deshalb eine bessere Entlöhnung erreiche. Es sei gerechtfertigt, auf einen überdurchschnittlichen Lohn abzustellen.
4.6.2. Der Beschwerdeführer war der einzige Angestellte der B._, weshalb davon auszugehen ist, dass die im Arbeitgeberfragebogen vom 15. Februar 2002 genannte normale Arbeitszeit im Betrieb von 42 Stunden pro Woche die Arbeitssituation des Beschwerdeführers widerspiegelt. Bis zum Unfall wurden ihm keine Überstunden vergütet. Es gibt somit keine Anhaltspunkte, dass der Beschwerdeführer regelmässig eine überdurchschnittliche Arbeitszeit geleistet hätte. Dies macht er denn auch überhaupt nicht geltend. Es gibt daher keinen Grund, selbst falls (andere) Akkordanten häufig überdurchschnittliche Arbeitszeit leisten sollten, dies beim Valideneinkommen des Beschwerdeführers anzunehmen (vgl. SVR 2011 IV Nr. 55 S. 163, 8C_671/2010 E. 4.5.1 und E. 4.5.2). Zudem kann der Beschwerdeführer auch aus den Lohnangaben eines anderen Betriebes im Urteil U 400/00 vom 18. Januar 2001 E. 2c nichts zu seinen Gunsten ableiten. Vielmehr erscheint mit Blick auf die IK-Einträge das von der Vorinstanz ermittelte Valideneinkommen angemessen.
4.7. Wie die Vorinstanz dargelegt hat, wirkt sich der vom Beschwerdeführer geforderte Abzug vom Tabellenlohn seitens des Invalideneinkommens nicht auf den Rentenanspruch aus. Daher kann auf weitere Ausführungen dazu verzichtet werden.
5.
Die Beschwerde ist unbegründet. Entsprechend dem Ausgang des Verfahrens hat der Versicherte die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Januar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli