Sachverhalt:
A.
Der am 6. Februar 1949 geborene A._ meldete sich am 2. Februar 2001 bei der Invalidenversicherung zum Rentenbezug an. Nach jahrelangen Abklärungen (unter Beizug der Akten des Unfallversicherers) und durchgeführtem Vorbescheidverfahren sprach die IV-Stelle Basel-Landschaft dem Versicherten mit Verfügung vom 27. November 2018 rückwirkend ab 1. März 2002 eine ganze Rente (Invaliditätsgrad: 100 %) und ab 1. April 2004 eine Viertelsrente (Invaliditätsgrad: 47 %) zu.
B.
Die hiergegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 6. Juni 2019 ab.
C.
A._ lässt mit (verbesserter) Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des angefochtenen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Beschwerdegegnerin, subeventualiter an die Vorinstanz zurückzuweisen. Sodann sei der Beschwerde die aufschiebende Wirkung zu erteilen.
In ihrer Vernehmlassung vom 18. Februar 2020 beantragt die Beschwerdegegnerin die Abweisung der Beschwerde. Mit Stellungnahme vom 9. März 2020 lässt der Beschwerdeführer an seinen Anträgen gemäss Beschwerdeschrift festhalten.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
Streitig und damit zu prüfen ist der Rentenanspruch des Beschwerdeführers. Gerügt wird unter anderem die Verwertbarkeit der Restarbeitsfähigkeit.
3.
3.1. Bei Personen, deren Rente revisionsweise herabgesetzt oder aufgehoben werden soll, sind nach mindestens fünfzehn Jahren Bezugsdauer oder wenn sie das 55. Altersjahr zurückgelegt haben, praxisgemäss in der Regel vorgängig Massnahmen zur Eingliederung durchzuführen, bis sie in der Lage sind, das medizinisch-theoretisch (wieder) ausgewiesene Leistungspotenzial mittels Eigenanstrengung auszuschöpfen und erwerblich zu verwerten. Ausnahmen von der diesfalls grundsätzlich ("vermutungsweise") anzunehmenden Unzumutbarkeit einer Selbsteingliederung liegen namentlich dann vor, wenn die langjährige Absenz vom Arbeitsmarkt auf invaliditätsfremde Gründe zurückzuführen ist, wenn die versicherte Person besonders agil, gewandt und im gesellschaftlichen Leben integriert ist oder wenn sie über besonders breite Ausbildungen und Berufserfahrungen verfügt. Verlangt sind immer konkrete Anhaltspunkte, die den Schluss zulassen, die versicherte Person könne sich trotz ihres fortgeschrittenen Alters und/oder der langen Rentenbezugsdauer mit entsprechender Absenz vom Arbeitsmarkt ohne Hilfestellungen wieder in das Erwerbsleben integrieren. Die IV-Stelle trägt die Beweislast dafür, dass entgegen der Regel die versicherte Person in der Lage ist, das medizinisch-theoretisch (wieder) ausgewiesene Leistungspotenzial auf dem Weg der Selbsteingliederung erwerblich zu verwerten (<ref-ruling> E. 5.1 S. 211 f. mit Hinweisen).
Diese Rechtsprechung findet auch dann Anwendung, wenn zeitgleich mit der Rentenzusprache über deren Befristung und/oder Abstufung befunden wird (<ref-ruling> E. 5.4 S. 214).
3.2. Die Beschwerdegegnerin, bestätigt durch den vorinstanzlichen Entscheid vom 6. Juni 2019, hat dem Beschwerdeführer rückwirkend ab 1. März 2002 eine ganze und ab 1. April 2004 eine Viertelsrente zugesprochen. Es handelt sich somit um die Zusprache einer abgestuften Invalidenrente. Im Zeitpunkt des Verfügungserlasses am 27. November 2018 war der Beschwerdeführer 69 und im Zeitpunkt der verfügten Rentenabstufung per 1. April 2004 55 Jahre alt. Die medizinische Zumutbarkeit stand sodann frühestens mit Erstattung des ABI-Gutachtens vom 21. November 2011 fest. Damals war der Beschwerdeführer 62 Jahre alt. Die dargelegte Rechtsprechung (E. 3.1) kommt somit ohne weiteres zur Anwendung (vgl. <ref-ruling> E. 5.4 S. 214).
Neben der Zulässigkeit aus medizinischer Sicht ist die Rentenabstufung somit im Falle des Beschwerdeführers an die weitere Voraussetzung geknüpft, dass die Zumutbarkeit der Selbsteingliederung gegeben ist. Die Beschwerdegegnerin trägt die Beweislast dafür, dass es dem Beschwerdeführer zumutbar war, ein ab 2004 allfällig wieder ausgewiesenes höheres Leistungspotenzial (Resterwerbsfähigkeit von 53 %, 100 %-47 % [Invaliditätsgrad ab 2004]) auf dem Weg der Selbsteingliederung erwerblich zu verwerten. Diese Frage kann vorliegend nur ex post beurteilt werden. Eine schlüssige Antwort darauf lässt die Aktenlage für keinen der drei Zeitpunkte Verfügungserlass (27. November 2018), Rentenabstufung (1. April 2004) und Feststehen der medizinischen Zumutbarkeit (frühestens 21. November 2011) zu. Da von retrospektiven Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten sind, ist in antizipierter Beweiswürdigung (<ref-ruling> E. 6.5 S. 368 f., 136 I 229 E. 5.3 S. 236) auf Beweislosigkeit zu schliessen. Diese geht zu Lasten der Beschwerdegegnerin. Es bleibt somit auch ab dem 1. April 2004 bei einer ganzen Invalidenrente. Die Beschwerde ist begründet.
4.
Mit dem Urteil in der Sache wird das Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos. Keiner Weiterungen bedarf bei diesem Ergebnis sodann die gerügte Verletzung des rechtlichen Gehörs.
5.
Dem Ausgang des Verfahrens entsprechend hat die unterliegende Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem anwaltlich vertretenen Beschwerdeführer eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Kantonsgerichts Basel-Landschaft vom 6. Juni 2019 und die Verfügung der IV-Stelle Basel-Landschaft vom 27. November 2018 werden aufgehoben. Die Beschwerdegegnerin hat dem Beschwerdeführer rückwirkend ab dem 1. März 2002 eine ganze Invalidenrente auszurichten.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Kantonsgericht Basel-Landschaft zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Kantonsgericht Basel-Landschaft und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. April 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist