Sachverhalt:
A.
Der 1956 geborene A._, selbständiger Transportunternehmer, meldete sich im Juni 2002 wegen Arthrosen in den Knie- und Schultergelenken bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm eine halbe Rente vom 1. März 2002 bis zum 31. Dezember 2003 sowie eine Dreiviertelsrente (Invaliditätsgrad 63 %) ab dem 1. Januar 2004 zu (Einspracheentscheid vom 22. März 2004). Diesen Rentenanspruch hat sie anlässlich zweier Revisionsverfahren jeweils überprüft und bestätigt (Mitteilungen vom 29. August 2007 und vom 15. November 2012).
Im Rahmen einer im März 2015 eingeleiteten erneuten Rentenüberprüfung veranlasste die IV-Stelle verschiedene, unter anderem erwerbliche Abklärungen. Gestützt darauf sowie nach Durchführung des Vorbescheidverfahrens setzte sie die bisher ausgerichtete Dreiviertelsrente ab dem 1. Januar 2014 auf eine Viertelsrente herab (Invaliditätsgrad 49 %) und hob diese ab dem 1. Dezember 2014 auf (Invaliditätsgrad 25 %; Verfügung vom 23. März 2016). Zur Begründung führte sie aus, A._ habe ab 2012 effektiv wesentlich mehr verdient, als ihm im Einspracheentscheid vom 22. März 2004 gestützt auf die LSE als Invalideneinkommen angerechnet worden sei. Aufgrund einer Meldepflichtverletzung seien die ab dem 1. Januar 2014 zu Unrecht bezogenen Leistungen zurückzuerstatten, worüber separat verfügt werde.
B.
Die von A._ dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich teilweise gut und sprach ihm ab dem 1. April 2015 wiederum eine Viertelsrente zu. Im Übrigen wies es die Beschwerde ab (Entscheid vom 9. August 2017).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt eine Dreiviertelsrente ab 1. April 2015. Eventualiter sei die Angelegenheit zu weiteren Abklärungen und zur Neubeurteilung des Rentenanspruchs ab 1. April 2015 an die Vorinstanz oder die Verwaltung zurückzuweisen.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Die Beschwerde hat unter anderem die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form - unter Bezugnahme auf und in Auseinandersetzung mit den entscheidenden vorinstanzlichen Erwägungen (<ref-ruling> E. 1.4 S. 176; <ref-ruling> E. 2.1 S. 245 f.) - darzulegen ist, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 1 und 2 BGG).
2.
Die Vorinstanz schützte die Rentenherabsetzung per 1. Januar 2014 (Invaliditätsgrad 47.2 %) und die Rentenaufhebung per 1. Dezember 2014 (Invaliditätsgrad 36.6 %), wobei sie das Invalideneinkommen anhand des effektiv erzielten Verdienstes ermittelte. Weiter stellte sie fest, dieses tatsächliche Einkommen habe sich ab 2014 wesentlich verringert. Es sei deshalb der Rentenanspruch per 1. Januar 2015 einer weiteren Revision zu unterziehen. Weil sich jedoch das effektive Einkommen ab diesem Zeitpunkt nicht zuverlässig bestimmen lasse, sei zur Ermittlung des Invalideneinkommens auf Tabellenlöhne der LSE abzustellen. Das kantonale Gericht bezifferte dieses anhand der Tabelle TA1 der LSE 2012, Wirtschaftszweig "Landverkehr und Lagerei", Kompetenzniveau 2, Männer (indexiert und auf die betriebsübliche Arbeitszeit angepasst) mit Fr. 74'249.-. Verglichen mit dem auf das Jahr 2014 indexierten Valideneinkommen von Fr. 140'597.- errechnete es einen Invaliditätsgrad von 47 % und sprach dem Beschwerdeführer ab dem 1. April 2015 eine Viertelsrente zu.
3.
3.1. Der Beschwerdeführer bestreitet die rückwirkende Rentenreduktion und -aufhebung sowie die Meldepflichtverletzung nicht. In Bezug auf den Rentenanspruch ab 1. April 2015 räumt er zudem ein, es sei grundsätzlich nicht zu beanstanden, dass die Vorinstanz aufgrund der erheblichen Verringerung des Einkommens ab 2014 abermals eine Revision vorgenommen und zur Ermittlung des Invalideneinkommens erneut auf die LSE abgestellt habe. Fehl geht der Einwand, das kantonale Gericht hätte dabei nicht auf andere Tabellenwerte abstellen dürfen, als dies die Verwaltung seinerzeit im Einspracheentscheid vom 22. März 2004 getan habe. Der Beschwerdeführer verkennt, dass der Rentenanspruch bei Vorliegen eines Revisionsgrunds in rechtlicher und tatsächlicher Hinsicht umfassend und ohne Bindung an frühere Beurteilungen zu ermitteln ist (vgl. <ref-ruling> E. 2.3 S. 11). Inwiefern die Vorinstanz im Rahmen dieser freien Prüfung Bundesrecht verletzt haben soll, ist weder ersichtlich noch dargetan. Der Beschwerdeführer rügt zwar eine willkürliche Beweiswürdigung, weil auf das Kompetenzniveau 2 abgestellt worden sei. Indem er sich mit den diesbezüglich massgebenden Feststellungen in E. 4.9 des angefochtenen Entscheids nicht auseinandersetzt, kommt er indessen seiner Begründungspflicht nicht nach (vgl. E. 1 hievor), weshalb sich diesbezügliche Weiterungen erübrigen.
3.2. Unbehelflich ist der Hinweis des Beschwerdeführers auf <ref-ruling> E. 2.5.8.1 S. 189, wonach gestützt auf die LSE bis 2010 rechtskräftig zugesprochene Invalidenrenten nicht allein zufolge Anwendung der Tabellenlohnwerte gemäss LSE 2012 in Revision gezogen werden dürfen. Zum einen liegt ein Revisionsgrund in Form der erheblichen Verringerung des Einkommens ab 2014 vor (vgl. E. 3.1 hievor), zum anderen wurde das Invalideneinkommen bei der Rentenaufhebung per 1. Dezember 2014 nicht anhand von Tabellenlohnwerten, sondern anhand effektiver Einkommen ermittelt (zu den massgebenden Vergleichszeitpunkten bei einer Revision vgl. <ref-ruling> E. 5 S. 110 ff.).
3.3. Der Beschwerdeführer rügt weiter, es sei ihm zu Unrecht kein leidensbedingter Abzug gewährt worden. Insoweit er diesen Einwand sinngemäss damit begründet, die Vorinstanz sei an den Einspracheentscheid vom 22. März 2004 gebunden, kann auf das Gesagte verwiesen werden (vgl. E. 3.1 hievor). Hinzu kommt, dass im vorliegenden Fall die Gewährung eines leidensbedingten Abzugs für eine Tätigkeit im Kompetenzniveau 2 gemäss LSE 2012 (und nicht mehr im Anforderungsniveau 4 gemäss LSE 2000) zu beurteilen ist. Deshalb kann der Beschwerdeführer aus dem Einwand, die Verrichtung von Schwerarbeiten sei ihm heute ebenso unmöglich wie bei der erstmaligen Rentenzusprache, ohnehin nichts zu seinen Gunsten ableiten. Seine übrigen Vorbringen beschränken sich auf unzulässige appellatorische Kritik, indem er behauptet, entgegen der Vorinstanz vermöge er das ihm angerechnete Invalideneinkommen von Fr. 74'249.- auf dem ausgeglichenen Arbeitsmarkt nicht zu realisieren. Zur Begründung verweist er lediglich auf sein Alter sowie seine fehlende Berufsausbildung im Wirtschaftszweig "Landverkehr und Lagerei". Während Letzteres nicht beim leidensbedingten Abzug, sondern bei der Bestimmung des Kompetenzniveaus des herangezogenen Tabellenlohns zu berücksichtigen ist (vgl. E. 3.1 hievor), vermag das fortgeschrittene Alter im für den Beschwerdeführer massgebenden Kontext keinen Abzug zu begründen, dies umso weniger, als er entgegen seiner Darstellung im massgebenden Zeitpunkt nicht über 61 Jahre, sondern erst knapp 59 Jahre alt war.
3.4. Im Übrigen wird der Einkommensvergleich nicht bestritten. Demnach hat es bei der vorinstanzlichen Erkenntnis sein Bewenden, wonach der Beschwerdeführer ab 1. April 2015 Anspruch auf eine Viertelsrente hat.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Juni 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Williner