Sachverhalt:
A.
Der 1973 geborene A._ arbeitete als Bauarbeiter bei der Firma B._ AG, als er sich bei einem Unfall während der Arbeit am 15. Februar 2016 eine Kontusion der Lendenwirbelsäule und der linken Hüfte zuzog. Er meldete sich am 14. Juli 2016 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern (IV-Stelle) traf medizinische und erwerbliche Abklärungen und liess den Versicherten bei der estimed AG, MEDAS Zug, polydisziplinär begutachten (Expertise vom 1. August 2018). Mit Verfügungen vom 9. März und 9. April 2020 sprach die IV-Stelle A._ vom 1. Februar 2017 bis 30. Juni 2017 eine ganze und ab 1. Juli 2017 eine halbe Invalidenrente nebst Zusatzrenten zu.
B.
Das Kantonsgericht Luzern wies die dagegen erhobene Beschwerde mit Entscheid vom 23. September 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides sei ihm ab 1. Juli 2017 bei einem Invaliditätsgrad von 60 % eine Dreiviertelsrente auszurichten.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Hingegen hat eine freie Überprüfung des vorinstanzlichen Entscheides in tatsächlicher Hinsicht zu unterbleiben. Ebenso entfällt eine Prüfung der Ermessensbetätigung nach den Grundsätzen zur Angemessenheitskontrolle.
2.
2.1. Zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den Anspruch auf eine halbe Rente ab 1. Juli 2017 bestätigte.
2.2. Auch wenn im Rahmen des vorinstanzlichen Verfahrens das Rentenverhältnis als Ganzes den Streitgegenstand bildete (<ref-ruling>; vgl. ferner <ref-ruling> E. 2.2 S. 165 und Urteil 9C_34/2009 vom 24. Februar 2010 E. 3.2, in: SVR 2010 IV Nr. 61 S. 186), bleibt das Bundesgericht an die Begehren der Parteien gebunden (<ref-law>; Urteil 9C_50/2011 vom 25. Mai 2011 E. 2.2, in: SZS 2011 S. 511). Insofern ist im vorliegenden Fall nur noch die Herabsetzung der Rente zu prüfen (und damit das der Invaliditätsbemessung ab 1. Juli 2017 zugrunde liegende Invalideneinkommen), nicht jedoch deren Zusprache (Urteil 8C_419/2018 vom 11. Dezember 2018 E. 4.1).
3.
3.1. Die Vorinstanz hat die massgebenden Rechtsgrundlagen zutreffend wiedergegeben, namentlich die Bestimmungen zu den Begriffen der Invalidität (<ref-law>, Abs. 4 Abs. 1 IVG) und der Erwerbsunfähigkeit (<ref-law>) sowie zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG). Dasselbe gilt hinsichtlich der Aufgabe von Arzt und Ärztin bei der Bemessung der Arbeitsfähigkeit sowie zur Beweiswürdigung, namentlich bezüglich ärztlicher Berichte und Gutachten (<ref-ruling> E. 4 S. 261). Darauf wird verwiesen.
3.2. Beizufügen ist, dass die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben wird (<ref-law>; <ref-law>), wenn sich der Invaliditätsgrad eines Rentenbezügers erheblich ändert. Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes oder der erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes revidierbar (<ref-ruling> E. 3 S. 132). Nach der Rechtsprechung sind diese Revisionsbestimmungen bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar (<ref-ruling> E. 6.1 mit Hinweisen), weil noch vor Erlass der ersten Rentenverfügung eine anspruchsbeeinflussende Änderung eingetreten ist mit der Folge, dass dann gleichzeitig die Änderung mitberücksichtigt wird. Wird rückwirkend eine abgestufte oder befristete Rente zugesprochen, sind einerseits der Zeitpunkt des Rentenbeginns und anderseits der in Anwendung der Dreimonatsfrist von <ref-law> festzusetzende Zeitpunkt der Anspruchsänderung die massgebenden Vergleichszeitpunkte (Urteil 8C_350/2013 vom 5. Juli 2013 E. 2.2 mit Hinweisen). Die Verbesserung der Arbeitsfähigkeit aufgrund einer Angewöhnung oder Anpassung an die Behinderung kann auch ohne wesentliche Änderung des Gesundheitszustandes eine Rentenrevision rechtfertigen. Hingegen ist die lediglich unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts im revisionsrechtlichen Kontext unbeachtlich (<ref-ruling> E. 2.3 S. 10 f. mit Hinweisen).
3.3. Die Festsetzung der Vergleichseinkommen ist eine Tatfrage, soweit sie auf konkreter Beweiswürdigung beruht (<ref-ruling> E. 3.3 S. 399; Urteil 9C_652/2013 vom 25. März 2014 E. 3.1). Demgegenüber stellt sie eine Rechtsfrage dar, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Dies betrifft etwa die Frage, ob Tabellenlöhne anwendbar sind (<ref-ruling> E. 3.3 S. 399; Urteil 8C_868/2013 vom 27. Juni 2014 E. 5.1 mit weiteren Hinweisen).
4.
4.1. Die Parteien sind sich einig, dass dem von der IV-Stelle eingeholten MEDAS-Gutachten der estimed AG vom 1. August 2018 grundsätzlich voller Beweiswert zukommt. Demnach besteht in der angestammten Tätigkeit als Bauarbeiter eine volle Arbeitsunfähigkeit. Demgegenüber ist dem Beschwerdeführer eine angepasste Tätigkeit, ohne schweres Tragen (maximal 5 bis 10 kg), ohne Bücken, ohne Drehung in der Lendenwirbelsäule und ohne längeres Sitzen, Stehen oder Arbeiten in Zwangshaltungen ab dem 23. März 2017 grundsätzlich zumutbar. Damit lag ab diesem Zeitpunkt ein Revisionsgrund vor. Unbestritten ist schliesslich auch das Valideneinkommen von Fr. 72'626.36. Uneinigkeit herrscht hingegen darüber, in welchem Umfang eine solche Verweistätigkeit zumutbar ist.
4.2. Der Beschwerdeführer rügt eine willkürliche Würdigung des medizinischen Gutachtens, namentlich der Zumutbarkeitsbeurteilung im neurologischen Teilgutachten und damit eine offensichtlich unrichtige Feststellung des Sachverhaltes durch das kantonale Gericht. Der Gutachter habe die maximale tägliche Arbeitszeit mit 4 Stunden beziffert, was einer wöchentlichen Arbeit von 20 Stunden entspreche. Indem die Beschwerdegegnerin und das kantonale Gericht in Anwendung von sogenannten Tabellenlöhnen gemäss den vom Bundesamt für Statistik (BFS) herausgegebenen Lohnstrukturerhebungen (LSE) (<ref-ruling> E. 2.2 S. 297) den auf einer 40 Stunden-Woche basierenden LSE-Wert auf eine durchschnittlichen Arbeitszeit von 41,7 Stunden hochgerechnet und diesen danach halbiert hätten, seien sie in Abweichung des Gutachtens von einer zumutbaren wöchentlichen Arbeitszeit von 20.85 Stunden ausgegangen.
4.3. Das kantonale Gericht hat sich eingehend mit dieser schon vorinstanzlich vorgebrachten Rüge auseinandergesetzt. Es stellte fest, der neurologische Gutachter habe zwar eine maximale Präsenz von 4 Stunden am Tag in einem 50 %-Pensum festgehalten. Indessen sei für die Beurteilung nicht das einzelne Teilgutachten, sondern die Konsensbeurteilung des gesamten Gutachtergremiums massgebend. Darin sei eine maximale Stundenpräsenz pro Tag nicht mehr zu entnehmen. In der Gesamtbeurteilung der estimed AG sei eine Arbeitsunfähigkeit von 50 % in einer angepassten Tätigkeit attestiert worden. Auch der neurologische Gutachter hat sich wiederholt dahingehend geäussert, dem Beschwerdeführer sei ein 50 %-Pensum zumutbar. Erst auf konkrete Frage hin bezifferte er dies mit "4 Stunden täglich". Die Schlussfolgerung der Vorinstanz, wonach gestützt auf die Konsensbeurteilung und der Tatsache, dass der Neurologe ebenfalls immer von einer 50%igen Arbeitsfähigkeit ausging, ist demnach in jeder Hinsicht überzeugend und rechtskonform. Eine Rechtsverletzung oder gar willkürliche Würdigung kann darin nicht erblickt werden. Das Bundesgericht ist damit an die vorinstanzliche Sachverhaltsfeststellung gebunden (vgl. E. 1 hievor).
5.
Mit Blick auf das Gesagte verletzte die Vorinstanz kein Bundesrecht, indem sie das Invalideneinkommen anhand der Tabellenlöhne - angepasst auf eine durchschnittliche wöchentliche Arbeitszeit von 41,7 Stunden im Jahre 2017 - und einer Arbeitsfähigkeit von 50 % ermittelte. Im Übrigen werden die Bemessung des Invalideneinkommens und die Berechnung des Invaliditätsgrades nicht bestritten. Die Beschwerde ist unbegründet.
6.
Dem Ausgang des Verfahrens entsprechend hat der unterliegende Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Dezember 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer