Sachverhalt:
A.
Die IV-Stelle Luzern tätigte auf die im Mai 2003 eingegangene Anmeldung des 1964 geborenen, zuletzt als Chauffeur beschäftigten A._ verschiedene Erhebungen in beruflich-erwerblicher und medizinischer Hinsicht. Sie lehnte alsdann sein Gesuch um Leistungen der Invalidenversicherung ab (Verfügung vom 19. Dezember 2005 und Einspracheentscheid vom 24. Juli 2008). Auf Beschwerde hin wies das damalige Verwaltungsgericht des Kantons Luzern die Sache an die Verwaltung zurück, damit diese eine neue psychiatrische Abklärung veranlasse und neu verfüge (Entscheid vom 25. Februar 2010).
Nach mehreren Verwaltungs- und Gerichtsverfahren in dieser Sache erstattete das BEGAZ Begutachtungszentrum (nachfolgend: BEGAZ), Binningen, am 8. Juni 2015 eine interdisziplinäre Expertise. Gestützt darauf sprach die IV-Stelle A._ nach Rücksprache mit dem Regionalen Ärztlichen Dienst (RAD) und Durchführung des Vorbescheidverfahrens für die Zeit vom 1. Juni 2002 bis 31. Juli 2014 eine Viertelsrente und ab 1. August 2014 eine halbe Rente zu (Verfügung vom 18. Januar 2017).
B.
Auf dagegen erhobene Beschwerde, mit welcher A._ u.a. einen Bericht des Dr. med. B._, Facharzt für Innere Medizin und Angiologie, vom 17. November 2016 eingereicht hatte, entschied das Kantonsgericht Luzern nach angedrohter reformatio in peius am 4. April 2018, die angefochtene Verfügung werde insoweit abgeändert, als dass dem Versicherten vom 1. Juni 2006 bis 30. Juni 2014 eine halbe Rente und ab 1. Juli 2014 eine Viertelsrente zugesprochen werde.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, ihm sei vom 1. Juni 2002 bis 31. Mai 2006 eine Viertelsrente, vom 1. Juni 2006 bis 30. Juni 2016 (recte: 2014) eine halbe Rente und ab 1. Juli 2014 mindestens eine halbe Rente zu gewähren.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Die gestützt auf medizinische Akten gerichtlich festgestellte Arbeitsfähigkeit ist eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsfragen stellen demgegenüber die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten dar (<ref-ruling> E. 2 S. 25; <ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteile 9C_711/2015 vom 21. März 2016 E. 1.1 und I 865/06 vom 12. Oktober 2007 E. 4, je mit Hinweisen).
2.
2.1. Strittig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie ab 1. Juli 2014 nunmehr einen Anspruch auf eine Viertelsrente feststellte.
2.2. Das kantonale Gericht legte die gesetzlichen Bestimmungen und die von der Rechtsprechung dazu entwickelten Grundsätze zutreffend dar. Es betrifft dies namentlich diejenigen zur Invalidität (<ref-law> und <ref-law>), insbesondere auch im Zusammenhang mit psychischen Erkrankungen, bei denen die Festsetzung der Arbeitsfähigkeit im Rahmen eines strukturierten Beweisverfahrens anhand der sogenannten Standardindikatoren zu erfolgen hat (<ref-ruling>, 418; <ref-ruling>), sowie zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 1, Art. 29 Abs. 1 IVG) und zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232). Darauf wird verwiesen.
3.
3.1. Die Vorinstanz erwog, gemäss der gutachterlichen Einschätzung des BEGAZ vom 8. Juni 2015 kumulierten sich die Arbeitsunfähigkeiten der einzelnen medizinischen Disziplinen nicht. Die Gutachter hätten bei der von ihnen ab April 2014 attestierten 40%igen Verminderung des Leistungsvermögens sämtliche Gesundheitsschäden einbezogen. Insbesondere begründeten die psychischen Erkrankungen mit Blick auf die diagnoserelevanten Befunde, die seit 2014 eingestellte psychiatrische Therapie, die Persönlichkeitsstruktur und den sozialen Kontext des Beschwerdeführers keine höhere Arbeitsunfähigkeit. Die von Dr. med. B._ im Bericht vom 17. November 2016 diagnostizierte periphere Verschlusskrankheit ändere an der gutachterlich bescheinigten Arbeitsfähigkeit von 60 % nichts, habe diese doch gemäss der Stellungnahme des RAD-Arztes vom 12. Dezember 2017 lediglich weitere qualitative Einschränkungen zur Folge. Das Invalideneinkommen ermittelte das kantonale Gericht anhand des Tabellenwertes der vom Bundesamt für Statistik periodisch durchgeführten Lohnstrukturerhebung (LSE) 2014 "Total Privater Sektor", beinhalte dieser Tabellenlohn doch eine Vielzahl von Tätigkeiten, die dem Beschwerdeführer zumutbar sind. Ergänzend führte es aus, dass selbst unter Berücksichtigung eines 10%igen Abzuges vom so festgelegten Invalideneinkommen immer noch lediglich ein Anspruch auf eine Viertelsrente resultiere.
3.2. Der Beschwerdeführer bringt dagegen im Wesentlichen vor, die psychischen Leiden seien nicht berücksichtigt worden. Er kritisiert zudem die vorgenommene Indikatorenprüfung in mehrfacher Hinsicht und ist der Ansicht, die psychischen Beeinträchtigungen hätten sich auf die aus somatischer Sicht bestehende Arbeitsunfähigkeit erhöhend auswirken müssen. Ferner macht er geltend, die Verschlechterung, wie sie mit Bericht von Dr. med. B._ vom 17. November 2016 ausgewiesen sei, habe keine ausreichende Berücksichtigung gefunden. Es hätte von den Gutachtern ein neues Zumutbarkeitsprofil erstellt werden müssen. Aufgrund dieser erneuten Verschlechterung dürfe schliesslich das Invalideneinkommen nicht mehr anhand des Totalwertes der LSE-Tabelle bestimmt werden. Zumindest müsse aber ein Abzug von mindestens 10 % gewährt werden.
4.
4.1. Wie der Expertise des BEGAZ vom 8. Juni 2015 zu entnehmen ist, schätzten die Gutachter zunächst die Arbeitsfähigkeit betreffend die einzelnen Fachdisziplinen ein und beurteilten in einem zweiten Schritt die Leistungsfähigkeit des Beschwerdeführers aus interdisziplinärer Sicht. Die Vorinstanz sah in Bezug auf das Gutachten sämtliche erforderlichen Kriterien als erfüllt an (<ref-ruling> E. 5.1 S. 232) und erachtete das Abklärungsergebnis als beweiskräftig. Der Beschwerdeführer zeigt nicht auf, inwiefern diese Sachverhaltsfeststellung willkürlich sein sollte.
4.2. Das kantonale Gericht führte zudem aus, dass auch die Indikatorenprüfung nicht auf eine höhere Arbeitsunfähigkeit aufgrund der psychischen Krankheitsbilder hinweise.
4.2.1. Entgegen der Auffassung des Beschwerdeführers ist nicht zu beanstanden, dass die Vorinstanz angesichts des erfolgten Abbruchs der psychiatrischen Behandlung vor geraumer Zeit einen niedrigen Leidensdruck als ausgewiesen beurteilte und damit auch die Ausprägung der diagnostischen Befunde sowie Symptome als nicht schwer qualifizierte. Der Beschwerdeführer bringt nichts vor, was diese Sachverhaltsfeststellung als bundesrechtswidrig erscheinen lassen würde. Insbesondere kann ihm nicht gefolgt werden, nach rund 15-jähriger psychiatrischer Therapie sei deren Sistierung nachvollziehbar, hielt doch der psychiatrische BEGAZ-Gutachter eine Wiederaufnahme der Behandlung als indiziert.
4.2.2. Auch ist nicht bundesrechtswidrig, dass die Vorinstanz in ihrer Gesamtwürdigung den fehlenden Versuch einer beruflichen Wiedereingliederung durch den Beschwerdeführer miteinbezog. Dies kann entgegen dessen Betrachtungsweise auch nicht der Beschwerdegegnerin zum Vorwurf gemacht werden. Die IV-Stelle erkannte am 12. Juli 2004 einen Anspruch auf Arbeitsvermittlung, welche in der Folge jedoch wegen subjektiver Eingliederungsunfähigkeit des Beschwerdeführers abgebrochen werden musste (Verfügung vom 15. März 2005). Ausweislich der Akten ersuchte der Versicherte anschliessend nicht mehr um berufliche Wiedereingliederungsmassnahmen.
4.2.3. Der Beschwerdeführer rügt den angefochtenen Entscheid zudem in Bezug auf die Ausführungen zum sozialen Kontext. Das kantonale Gericht erkannte einen gewissen sozialen Rückzug. Es kam indessen aufgrund der intakten familiären Verhältnisse des Beschwerdeführers (Ehefrau, Kinder) zum Schluss, er erhalte die notwendige Unterstützung durch sein soziales Umfeld, was als ressourcenfördernd zu werten sei. Diese Sichtweise leuchtet ein.
4.3. Im Bericht vom 17. November 2016 diagnostizierte Dr. med. B._ eine periphere arterielle Verschlusskrankheit Stadium II A rechts vom Oberschenkeltyp und Stadium I links, die im Rahmen der Begutachtung im BEGAZ noch nicht berücksichtigt worden ist. Zu deren Einfluss auf die Arbeitsfähigkeit nahm aber der RAD-Arzt am 12. Dezember 2017 Stellung und legte dar, diese führe zu weiteren qualitativen Einschränkungen, indem der Beschwerdeführer nur noch für leichte und zumindest teilweise sitzende Tätigkeiten mit kurzen Gehstrecken einsatzfähig sei. An der quantitativen Einschätzung der Arbeitsfähigkeit von maximal 60 % ändere sich jedoch nichts. Die Vorinstanz würdigte diese Einstufung - auch in Anbetracht, dass aus den Akten nichts Gegenteiliges hervorgeht - als schlüssig und nachvollziehbar. Der Beschwerdeführer zeigt nicht auf, inwiefern der RAD-Arzt die Auswirkungen des genannten Gesundheitsschadens unzutreffend beurteilte. Wie die Vorinstanz zudem richtig darlegte, liegen auch keine anderen ärztlichen Einschätzungen vor, die daran Zweifel zu begründen vermöchten. Soweit der Beschwerdeführer generell die Auffassung vertritt, die Verschlechterung hätte gutachterlich abgeklärt werden müssen, kann ihm nicht zugestimmt werden. Der RAD konnte sich zur betroffenen punktuellen Verschlechterung angesichts des ansonsten umfassend durch das BEGAZ untersuchten medizinischen Sachverhalts durchaus abschliessend äussern (vgl. <ref-law>).
4.4. Zusammenfassend ist festzuhalten, dass der vorinstanzliche Schluss zum Einfluss der psychischen Erkrankungen auf die Arbeitsfähigkeit des Beschwerdeführers kein Bundesrecht verletzt und der Sachverhalt auch bezüglich der Verschlechterung, wie sie im Bericht von Dr. med. B._ vom 17. November 2016 erwähnt wurde, hinreichend abgeklärt wurde.
5.
5.1. Die Vorinstanz kam hinsichtlich der erwerblichen Auswirkungen der festgestellten Arbeitsunfähigkeit zum Schluss, der Totalwert des LSE-Tabellenlohns enthalte eine Vielzahl dem Beschwerdeführer zumutbarer Stellen, weshalb dieser zur Ermittlung des Invalideneinkommens heranzuziehen sei. Das wird vom Beschwerdeführer nicht substanziiert bestritten. Soweit er sich dennoch gegen die Anwendung dieses Lohnes ausspricht, vermag dies nicht zu überzeugen; es ist insbesondere nicht ersichtlich, inwiefern der angefochtene Entscheid bundesrechtswidrig sein sollte.
5.2. In der Beschwerde wird schliesslich ein Abzug vom Invalideneinkommen von mindestens 10 % gefordert. Weder begründet der Versicherte seinen Antrag näher noch geht er auf die vorinstanzlichen Erwägungen ein. Er ist somit der ihm obliegenden Begründungspflicht nicht nachgekommen (Art. 42 Abs. 1 und 2 BGG), sodass darauf nicht weiter einzugehen ist.
6.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Juli 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli