Sachverhalt:
A.
Der 1958 geborene A._, gelernter Maurer und zuletzt als Hochbaupolier tätig, erlitt am 30. November 1993 einen Auffahrunfall und am 18. Juli 1999 einen Fahrradunfall. Er meldete sich am 30. August 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügungen vom 10. September 2001 ab Oktober 1999 eine Viertelsrente und ab Januar 2000 eine ganze Invalidenrente zu.
Die Schweizerische Unfallversicherungsanstalt (Suva) gewährte A._ für die Folgen des Unfalls vom 30. November 1993 eine Invalidenrente bei einem Invaliditätsgrad von 20 % und nach dem Unfall vom 18. Juli 1999 - gestützt auf einen Vergleich - ab Mai 2003 eine Invalidenrente entsprechend einer Erwerbseinbusse von 75 %. Der Rentenanspruch wurde zuletzt am 29. Februar 2012 bestätigt.
Am 4. September 2003, 19. November 2007 und 7. Mai 2013 bestätigte die IV-Stelle ihrerseits einen unveränderten Rentenanspruch. Nach Kenntnisnahme von den Versicherten belastenden anonymen Hinweisen liess die IV-Stelle A._ observieren (vgl. Ermittlungsbericht vom 14. Januar 2014). Alsdann veranlasste sie eine polydisziplinäre Begutachtung durch das Medizinische Gutachtenszentrum Region St. Gallen (MGSG; Expertise vom 24. März 2015). Mit Vorbescheid vom 7. Mai 2015 stellte die Verwaltung A._ die Aufhebung der Rente in Aussicht. Nachdem dieser dagegen unter Beilage neuer medizinischer Berichte hatte Einwände erheben lassen, holte die IV-Stelle beim MGSG eine Stellungnahme ein. Mit neuem Vorbescheid vom 30. Juni 2016 kündigte sie dem Versicherten nunmehr die Herabsetzung der bisherigen ganzen auf eine Viertelsrente an. A._ erhob erneut Einwände und reichte ein von ihm veranlasstes Gutachten des arbeitsmedizinischen Zentrums B._ vom 14. Juli 2017) ein. Mit Verfügung vom 30. März 2017 teilte die IV-Stelle dem Versicherten mit, dass gegenwärtig keine beruflichen Eingliederungsmassnahmen möglich seien und das Dossier im gegenseitigen Einverständnis geschlossen werde. Am 5. Februar 2018 verfügte sie schliesslich die in Aussicht gestellte Herabsetzung auf eine Viertelsrente (Invaliditätsgrad von 47 %).
B.
Die hiergegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Juni 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die Verfügung der IV-Stelle vom 5. Februar 2018 und der angefochtene Entscheid seien aufzuheben und es sei die IV-Stelle zu verpflichten, ihm ab 1. April 2018 mindestens eine Dreiviertelsrente auszurichten. Zudem seien die Kosten des Privatgutachtens des arbeitsmedizinischen Zentrums B._ in der Höhe von Fr. 9'828.- der IV-Stelle aufzuerlegen. Eventualiter sei die Sache an die Vorinstanz oder die IV-Stelle zur Einholung eines neuen Gutachtens zurückzuweisen.
Das Bundesgericht hat die vorinstanzlichen Akten eingeholt. Es wird kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (vgl. <ref-law>) klar und detailliert aufzuzeigen (<ref-ruling> E. 4.2 S. 53 mit Hinweisen; Urteil 9C_752/2018 vom 12. April 2019 E. 1.2).
1.3. Die Feststellungen zum Gesundheitszustand einer versicherten Person und der daraus resultierenden Arbeits (un) fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft, sind tatsächlicher Natur und vom Bundesgericht daher nur beschränkt überprüfbar (E. 1.1 hiervor). Gleiches gilt für die konkrete Beweiswürdigung. Dagegen betreffen die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln Rechtsfragen, die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht frei prüft (statt vieler: Urteil 9C_457/2014 vom 16. Juni 2015 E. 1.2, nicht publ. in: <ref-ruling>, aber in: SVR 2016 BVG Nr. 11 S. 47).
2.
2.1. Das kantonale Gericht hat die rechtlichen Grundlagen über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law>; <ref-law>), die Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) und die Voraussetzungen des Rentenanspruchs (<ref-law>) richtig dargelegt. Gleiches gilt in Bezug auf die Voraussetzungen der Rentenrevision (<ref-law>; <ref-ruling> E. 2.3 S. 10 f.; <ref-ruling> E. 3 S. 132 f.; <ref-ruling> E. 4b S. 200) und die Ausführungen zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis). Darauf wird verwiesen.
2.2. Zu ergänzen ist, dass praxisgemäss auf ein nach <ref-law> eingeholtes Gutachten abzustellen ist, wenn nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 4.4 S. 470). Ein Parteigutachten besitzt demgegenüber zwar nicht den gleichen Rang wie ein vom Gericht oder vom Versicherungsträger nach dem vorgegebenen Verfahrensrecht eingeholtes Gutachten. Es verpflichtet indessen das Gericht, den von der Rechtsprechung aufgestellten Richtlinien für die Beweiswürdigung folgend, zu prüfen, ob es in rechtserheblichen Fragen die Auffassung und Schlussfolgerungen des vom Gericht oder vom Versicherungsträger förmlich bestellten Gutachters derart zu erschüttern vermag, dass davon abzuweichen ist (vgl. BGE <ref-ruling> E. 3c S. 354; Urteil 8C_725/2017 vom 4. Mai 2018 E. 3.4).
3.
3.1. Streitig und zu prüfen ist, ob die von der Vorinstanz bestätigte Herabsetzung der bisherigen ganzen Rente auf eine Viertelsrente vor Bundesrecht standhält.
3.2. Die Vorinstanz mass dem nach <ref-law> eingeholten MGSG-Gutachten vom 24. März 2015 (nachfolgend: Administrativgutachten) vollen Beweiswert bei. Danach besteht beim Beschwerdeführer in diagnostischer Hinsicht (mit Auswirkung auf die Arbeitsfähigkeit) ein Status nach Frozen Shoulder rechts bei Zustand nach mehreren Operationen sowie ein posttraumatisches Kopfschmerzsyndrom im Sinne einer Migräne mit und ohne visuelle Auraphänomene mit eigenanamnestisch prolongierten Verläufen (bis zu 48 Stunden anhaltend) und Exazerbationen auf der Basis muskulärer Verspannungen im Schultergürtel und HWS-Bereich. Ohne Auswirkung auf die Arbeitsfähigkeit sind unter anderem ein Cervicovertebralsyndrom bei Status nach HWS-Distorsion 1993 sowie 1999 bei minimaler Osteochondrose C5/6 und Spondylarthrose C4/5, ein Lumbovertebralsyndrom bei leichter Spondylarthrose L3 bis S1, ein Status nach prothetischer Versorgung des rechten Kniegelenks sowie ein Verdacht auf koronare Herzkrankheit mit Angina pectoris. Die Gutachter attestierten für die angestammte Tätigkeit als Maurer/Polier eine Arbeitsunfähigkeit von 65 %. Körperlich leichte Tätigkeiten in temperierten Räumen, ohne Arbeiten über der Horizontalen und ohne stereotype rechtsseitige Arm- und Handbewegungen seien hingegen bei voller Stundenpräsenz zu 100 % zumutbar. Gestützt auf diese Einschätzung ermittelte die Vorinstanz - unter Berücksichtigung eines Tabellenlohnabzugs von 10 % - einen Invaliditätsgrad von gerundet 46 %.
3.3. Demgegenüber bestreitet der Beschwerdeführer die Beweiskraft des Administrativgutachtens. Er macht geltend, es sei stattdessen das in seinem Auftrag ergangene Gutachten des arbeitsmedizinischen Zentrums B._ vom 14. Juli 2017 zu berücksichtigen, was zu einem Invaliditätsgrad von mindestens 60 % führe. Selbst wenn aber dem Administrativgutachten gefolgt würde, so ergäbe sich zumindest ein Anspruch auf eine halbe Rente, da jedenfalls ein höheres Valideneinkommen sowie ein leidensbedingter Abzug von 15 % zu berücksichtigen wären.
4.
Das Vorliegen eines Revisionsgrundes im Sinne von <ref-law> wird vom Beschwerdeführer nicht bestritten. Vielmehr geht auch er von einem Revisionsgrund aus, wenn er gestützt auf das Gutachten des arbeitsmedizinischen Zentrums B._ vom 14. Juli 2017, worin explizit von einer gesundheitlichen Verbesserung die Rede ist, die Zusprechung einer mindestens Dreiviertelsrente verlangt. Da kein offensichtlicher Rechtsmangel ersichtlich ist, kann auf Weiterungen verzichtet werden (vgl. E. 1.1 hiervor). Damit ist nicht zu beanstanden, dass die Vorinstanz den Rentenanspruch des Versicherten in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") ohne Bindung an frühere Beurteilungen prüfte (<ref-ruling> E. 2.3 S. 10 f. mit Hinweisen). Auch die grundsätzliche Verwertbarkeit des Observationsmaterials stellt der Beschwerdeführer letztinstanzlich zu Recht nicht mehr in Frage. Weitere Ausführungen in diesem Zusammenhang erübrigen sich ebenfalls.
5.
5.1. Der Versicherte bemängelt in Bezug auf das Adminitrativgutachten vom 24. März 2015, dass den Gutachtern die Suva-Akten betreffend den im Jahr 1993 erlittenen Auffahrunfall nicht vorgelegen hätten. Er vermag indessen nicht aufzuzeigen, inwiefern diese Akten für die Schlüssigkeit des Gutachtens von Relevanz sein sollen. Wie die Vorinstanz zutreffend feststellte, wurde der genannte Unfall in der Expertise mehrfach erwähnt und demnach auch berücksichtigt. Zudem hatten die Gutachter Kenntnis von der Expertise des arbeitsmedizinischen Zentrums B._ vom 12. Dezember 2002. Darin sind der Unfall im Jahr 1993 und die in der Folge beklagten Beschwerden (cervikovertebrales Schmerzsyndrom) sowie die durchgeführten Behandlungen ausführlich dargelegt. Die Sachverständigen des MGSG konnten sich demnach ein umfassendes Bild machen. Entsprechend durfte auch die Vorinstanz vom Beizug der betreffenden Suva-Akten absehen, ohne damit gegen den Untersuchungsgrundsatz zu verstossen (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236 f. mit Hinweisen). Davon abgesehen führte nicht der Unfall im Jahr 1993, sondern der Fahrradunfall im Jahr 1999 und die dabei erlittene Schulterverletzung zur Rentenzusprache der Invalidenversicherung im Jahr 2001. Dass den Gutachtern die in diesem Zusammenhang ergangenen Akten nicht zur Verfügung gestanden hätten, macht der Beschwerdeführer zu Recht nicht geltend. Ebenso wenig bringt er vor - und solches ist auch nicht ersichtlich -, dass die Experten seine anlässlich der polydisziplinären Untersuchungen geklagten Beschwerden nicht hinreichend berücksichtigt hätten.
5.2. Weiter behauptet der Beschwerdeführer, das MGSG-Gutachten enthalte offensichtlich falsche Aussagen. So werde von einer erstmaligen Rentenzusprache im Jahr 2002 gesprochen und in Bezug auf den Unfall im Jahr 1993 seien nur lumbale Beschwerden erwähnt. Er legt indessen nicht dar und es ist - bei unbestrittenem Revisionsgrund - auch nicht ersichtlich, inwiefern die falsche Angabe des Jahres der Rentenzusprache die Schlüssigkeit und Zuverlässigkeit der Expertise in Frage zu stellen vermag. Ausserdem trifft es nicht zu, dass im Gutachten in Bezug auf den Unfall im Jahr 1993 lediglich lumbale Beschwerden erwähnt sind, wird doch unter den Diagnosen (ohne Auswirkung auf die Arbeitsfähigkeit) ein Cervicovertebralsyndrom bei Status nach HWS-Distorsion 1993 aufgeführt (vgl. E. 3.2 hiervor).
5.3.
5.3.1. Sodann bringt der Beschwerdeführer vor, das Administrativgutachten sei nicht nachvollziehbar, wenn darin die Einschätzung der Arbeitsfähigkeit mit den Ergebnissen der Observation begründet werde. Es sei unhaltbar, aus dem beobachteten Verhalten Rückschlüsse auf die Leistungsfähigkeit zu ziehen, zumal es sich lediglich um Momentaufnahmen gehandelt habe und er nicht in eine Arbeitsorganisation eingebunden gewesen sei.
5.3.2. Zunächst ist festzuhalten, dass die Einschätzung der Arbeitsfähigkeit durch die Experten des MGSG nicht allein auf Grundlage der Observationsergebnisse erfolgte. Vielmehr klärten die Experten den Gesundheitszustand des Versicherten polydisziplinär ab. Dabei veranlassten sie namentlich aktuelle bildgebende und neurographische Untersuchungen sowie eine Evaluation der funktionellen Leistungsfähigkeit (EFL). Für eine umfassende Abklärung und Beurteilung war es auch geboten, die Ergebnisse der Überwachung zu berücksichtigen, auch wenn es sich dabei um Momentaufnahmen handelt. Die Gutachter hielten in diesem Zusammenhang fest, die beklagten Beschwerden in Form von starken Schmerzexazerbationen im Bereich der rechten oberen Extremität, die unter körperlicher Belastung binnen kurzer Zeit nicht nur rechtsseitige Lumbalgien mit Ausstrahlungen ins rechte Bein, sondern auch Migräne-Kopfschmerzen exazerbieren liessen, stünden in deutlichem Widerspruch zu den Observierungsaufnahmen. Der Versicherte sei über längere Zeitabschnitte (mehr als 30-minütige Sequenzen) gefilmt und dabei gesehen worden, wie er auf seinem Grundstück mit Unterstützung von Kollegen Bauarbeiten ausgeübt und schwere Gegenstände (Fernseher) transportiert habe. Die gefilmten Tätigkeiten, wie das mehrfache beidhändige Entladen von Verbundsteinen von der Ladefläche eines Bauwagens in eine Schubkarre, die der Versicherte anschliessend gefüllt und teils über eine Bordsteinkante gehoben und auf sein unebenes Grundstück gefahren habe, würden keinerlei motorische Defizite oder gar Schmerzexazerbationen im Bereich der rechten oberen wie unteren Extremität vermuten lassen. Alle sich stereotyp wiederholenden, kraftaufwändigen Manöver seien in flüssiger motorischer Abfolge geschehen, bei teils hohem Arbeitstempo ohne Anzeichen von Schonverhalten, die auf eine schmerzbedingte Bewegungs- oder Belastungseinschränkung schliessen lassen würden. Die beobachteten Tätigkeiten würden zeigen, dass die bisher angenommene vollständige Arbeitsunfähigkeit als Maurer sowie eine Arbeitsfähigkeit von 15 bis 18 Stunden pro Monat in einer adaptierten Tätigkeit gemäss Beurteilung der Schulthess Klinik unkritisch festgelegt worden seien und die Arbeitsfähigkeit höher liege. Diese gutachterlichen Ausführungen überzeugen. Auch wenn der Beschwerdeführer nicht in eine Arbeitsorganisation eingebunden war und sein Tempo selber bestimmen konnte, lassen die ausgeführten Tätigkeiten gewisse Rückschlüsse in Bezug auf seine Ressourcen zu. Jedenfalls ist nicht zu beanstanden, dass die Administrativgutachter das beobachtete Verhalten zusammen mit ihren übrigen Abklärungen und unter Berücksichtigung der wesentlichen Vorakten würdigten und in ihre Gesamtbeurteilung einbezogen.
5.4. Ferner leuchtet ein, dass die im MGSG im Rahmen der EFL erfolgte Beurteilung der Zumutbarkeit medizinisch-theoretische Überlegungen beinhaltet, zumal der Sachverständige eine Selbstlimitierung des Beschwerdeführers und Inkonsistenzen feststellte. Im Übrigen wurde die Leistungsbereitschaft des Versicherten auch anlässlich der im Jahr 2017 im arbeitsmedizinischen Zentrum B._ durchgeführten EFL als fraglich und die Konsistenz bei den Tests als schlecht beurteilt. Die diesbezüglichen Vorbringen des Beschwerdeführers sind somit ebenfalls nicht stichhaltig.
6.
6.1. In Bezug auf das vom Beschwerdeführer veranlasste Gutachten des arbeitsmedizinischen Zentrums B._ vom 14. Juli 2017 hielt die Vorinstanz fest, die darin enthaltene Argumentation überzeuge nicht, da sie auf wertenden Akzentverschiebungen basiere, die teils als beschönigend und verharmlosend zu beurteilen seien und die auf eine offensichtlich fehlende objektivierende Distanz der beauftragten Gutachter schliessen lassen würden. So sei etwa die festgestellte fragliche Leistungsbereitschaft und schlechte Konsistenz zu "teilweise auch etwas inkonsistente Verhalten" umgewandelt worden. Ausserdem seien die in den Observationsvideos belegten Aktivitäten des Beschwerdeführers, wie das Schaufeln, das Tragen und Heben verschiedenster, teils auch schwerer Werkzeuge, oder das Abladen von Verbundsteinen, zu "leichten Alltagsaktivitäten" erklärt worden.
6.2. Das kantonale Gerichte legte somit nachvollziehbar dar, weshalb nicht auf die Privatexpertise abgestellt werden kann und diese somit nicht geeignet ist, die Auffassung und Schlussfolgerungen der im Verfahren nach <ref-law> förmlich bestellten Administrativgutachter derart zu erschüttern, dass davon abzuweichen wäre (vgl. E. 2.2 hiervor). Inwiefern diese vorinstanzliche Beweiswürdigung geradezu willkürlich (vgl. E. 1.2 hiervor) sein soll, legt der Beschwerdeführer nicht rechtsgenüglich dar. Wie die Vorinstanz im Übrigen zutreffend feststellte, stimmt das im Gutachten des arbeitsmedizinischen Zentrums B._ festgehaltene Belastungsprofil für eine leidensangepasste Tätigkeit mit demjenigen gemäss MGSG-Expertise überein. Im Gegensatz zu den Sachverständigen des MGSG geht der Gutachter des arbeitsmedizinischen Zentrums B._ indessen aufgrund eines anhaltenden Schmerzzustandes mit erheblichem Leidensdruck von einem erhöhten Pausenbedarf und einer zusätzlichen Leistungsminderung aus. Allein aus der unterschiedlichen Einschätzung der Arbeits- und Leistungsfähigkeit ergeben sich aber keine konkreten Indizien gegen die Zuverlässigkeit des Administrativgutachtens (vgl. Urteil 9C_454/2019 vom 12. September 2019 E. 3.3.4).
6.3. Nach dem Gesagten beruhen die vorinstanzliche Beweiswürdigung und Sachverhaltsfeststellung nicht auf einer Rechtsverletzung. Sie sind auch nicht offensichtlich unrichtig (unhaltbar, willkürlich: <ref-ruling> E. 8.1 S. 153; Urteil 9C_607/2012 vom 17. April 2013 E. 5.2), weshalb sie für das Bundesgericht verbindlich bleiben (E. 1.1). Demnach hat es bei der vom kantonalen Gericht gestützt auf das Administrativgutachten vom 24. März 2015 festgestellten 100%igen Arbeitsfähigkeit für leidensangepasste Tätigkeiten sein Bewenden.
7.
7.1. Bei der Invaliditätsbemessung berechnete die Vorinstanz ausgehend von den Einträgen der Jahre 1996 bis 1998 im Individuellen Konto des Beschwerdeführers ein Valideneinkommen von Fr. 109'788.- per 2014, während der Beschwerdeführer ein solches von Fr. 116'601.- geltend macht. Wie es sich damit verhält, kann offen bleiben, da die Differenz für den Umfang des Rentenanspruchs nicht entscheidend ist (vgl. E. 7.3 hernach).
7.2. Das Invalideneinkommen ermittelte die Vorinstanz gestützt auf einen Tabellenlohn (TA1, Männer, Total, Kompetenzniveau 1) der schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) des Jahres 2014 mit Fr. 66'453.-, wovon sie - entsprechend der Verfügung der IV-Stelle vom 5. Februar 2018 - einen Abzug von 10 % gewährte, was ein Invalideneinkommen von Fr. 59'808.- ergibt (66'453x0,9). Der Beschwerdeführer bestreitet dabei einzig die Höhe des Abzugs vom Tabellenlohn.
7.2.1. Das kantonale Gericht führte aus, der von der IV-Stelle gewährte Abzug von 10 % trage den sich aus dem Belastungsprofil ergebenden Einschränkungen und den als entsprechend vermindert anzunehmenden Verdienstaussichten angemessen Rechnung. Entgegen der Ansicht des Beschwerdeführers würden weder seine Abwesenheit vom Arbeitsmarkt noch sein Alter einen höheren Abzug rechtfertigen.
7.2.2. Der Beschwerdeführer wendet dagegen ein, es bestünden mannigfache Einschränkungen. Die Arbeit müsse leicht sein und es dürfe nicht über der Horizontalen gearbeitet werden. Zudem müssten die Räume temperiert sein, was eine Arbeit in nicht richtig geheizten Lagerhallen ausschliesse. Ebenfalls nicht möglich seien Migräne auslösende Faktoren, welche den Schultergürtel oder die HWS durch stereotype Bewegungen, einschliesslich Überkopfarbeiten und Gewichtsbelastungen, betreffen würden. Nur Arbeiten ohne Anstrengungen seien gemäss MGSG-Gutachten möglich. Diese Einschränkungen würden weit über die grosse Bandbreite von Tätigkeiten gemäss Kompetenzniveau 1 hinausgehen. Hinzu komme, dass er im Zeitpunkt der Rentenherabsetzung 60 Jahre alt gewesen sei. Er habe sich seit 20 Jahren nicht mehr auf dem Arbeitsmarkt bewähren müssen. Vor diesem Hintergrund müsse die Kombination Alter und lange Absenz vom Arbeitsmarkt im Rahmen einer Gesamtbeurteilung berücksichtigt werden. Die Vorinstanz habe somit ihr Ermessen unterschritten. Der Abzug sei insgesamt auf 15 % festzusetzen.
7.2.3. Die Frage nach der Höhe des Abzuges im Sinne von <ref-ruling> ist nach der bundesgerichtlichen Rechtsprechung eine Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 5.1 S. 72 f. mit Hinweis auf <ref-ruling> E. 3.3 S. 399; SVR 2015 IV Nr. 22 S. 65, Urteil 8C_693/2014 E. 2.2). Eine solche rechtsfehlerhafte Ermessensausübung ist vorliegend nicht ersichtlich. Dem Alter kommt im Zusammenhang mit dem Leidensabzug nur beschränkte Bedeutung zu. So fällt der Umstand, dass die Stellensuche altersbedingt erschwert sein mag, als invaliditätsfremder Faktor regelmässig ausser Betracht (Urteile 9C_407/2019 vom 28. August 2019 E. 4.4.3; 8C_699/2017 vom 26. April 2018 E. 3.2; je mit Hinweis[en]). Ausserdem werden Hilfsarbeiten (wie sie hier im Fokus stehen) nach der Rechtsprechung grundsätzlich altersunabhängig nachgefragt (Urteile 9C_130/2019 vom 5. September 2019 E. 3.2; 9C_673/2018 vom 4. Juli 2019 E. 3.3). Soweit der Beschwerdeführer in der Kombination von Lebensalter und langjähriger Absenz vom Arbeitsmarkt einen Umstand erblickt, der einen Abzug vom Tabellenlohn rechtfertige, ist ihm entgegenzuhalten, dass er ab 2008 wieder einer bezahlten Arbeit nachging, auch wenn er sie lediglich in einem geringen Pensum von maximal 20 Stunden pro Monat ausübte und sie nach der Begutachtung im MGSG im Jahr 2015 ganz aufgegeben hat. Den gesundheitlichen Einschränkungen wurde sodann, wie die Vorinstanz richtig erkannte, mit dem gewährten Abzug von 10 % und mit Blick auf das Kompetenzniveau 1 hinreichend Rechnung getragen. Angesichts des im Administrativgutachten definierten Zumutbarkeitsprofils (vgl. E. 3.2 hiervor) ist jedenfalls von einem genügend breiten Spektrum an zumutbaren Verweisungstätigkeiten auszugehen.
7.3. Ausgehend von einem Valideneinkommen von maximal Fr. 116'601.- (vgl. E. 7.1 hiervor) und einem Invalideneinkommen von Fr. 59'808.- resultiert eine Erwerbseinbusse von Fr. 56'793.- und damit ein Invaliditätsgrad von gerundet maximal 49 %. Die von der Vorinstanz bestätigte Rentenherabsetzung auf eine Viertelsrente ist demnach nicht zu beanstanden.
7.4. Der Vollständigkeit halber sei darauf hingewiesen, dass auch ein Einkommensvergleich per 2018 (Zeitpunkt der Anpassung des Rentenanspruchs), wie er vorliegend korrekterweise vorzunehmen gewesen wäre (vgl. SVR 2017 IV Nr. 4 S. 7, 9C_770/2015 E. 4.2.2; Urteil 9C_818/2018 vom 5. April 2019 E. 4.2.1), zu keinem anderen Ergebnis führen würde. Denn ausgehend von den gleichen Bemessungsgrundlagen ergibt sich ein Valideneinkommen von Fr. 118'702.- (116'601/2220x2260) und ein Invalideneinkommen von Fr. 60'687.- (LSE 2016, Total, Männer, Kompetenzniveau 1, indexiert [T 39] auf das Jahr 2018 [5'340x12/40x41,7/2239x2260x0,9], was ebenfalls zu einem Invaliditätsgrad von gerundet 49 % führen würde.
8.
Schliesslich beantragt der Beschwerdeführer, die Kosten des von ihm eingeholten Privatgutachtens von Fr. 9'828.- seien der IV-Stelle zu überbinden.
Die Kosten eines von einer versicherten Person veranlassten Gutachtens sind vom Versicherungsträger dann zu übernehmen, wenn sich der medizinische Sachverhalt erst aufgrund des neu beigebrachten Untersuchungsergebnisses schlüssig feststellen lässt und dem Sozialversicherer insoweit eine Verletzung der ihm im Rahmen des Untersuchungsgrundsatzes obliegenden Pflicht zur rechtsgenüglichen Sachverhaltsabklärung vorzuwerfen ist (vgl. RKUV 2004 Nr. U 503 S. 186 ff., U 282/00 sowie SVR 2016 UV Nr. 24 S. 75, 8C_354/2015 E. 6.2 i.f. und Urteil 8C_62/2016 vom 7. Juli 2016 E. 6 mit Hinweis). Dies ist vorliegend nach dem Gesagten nicht der Fall, weshalb die Voraussetzungen einer Kostenübernahme durch die Beschwerdegegnerin nicht erfüllt sind. Der vorinstanzliche Entscheid ist daher auch diesbezüglich nicht zu beanstanden.
9.
Zusammenfassend hat es beim angefochtenen Entscheid sein Bewenden. Die Beschwerde ist unbegründet und abzuweisen.
10.
Ausgangsgemäss wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. September 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Wüest