Sachverhalt:
A.
A.a. Mit Verfügung vom 23. Mai 2003 sprach die IV-Stelle des Kantons Graubünden A._, geb. 1963, bei einem Invaliditätsgrad von 77 % eine ganze Rente der Invalidenversicherung ab 13. November 2002 zu. Im Rahmen einer ersten Revision bestätigte sie diesen Rentenanspruch gemäss Mitteilung vom 5. Dezember 2006. Per 1. Januar 2012 leitete sie ein erneutes Revisionsverfahren ein. Nach medizinischen Abklärungen und erfolglosen beruflichen Massnahmen hob die IV-Stelle die Rente mit Verfügung vom 14. Dezember 2015 rückwirkend per 31. Juli 2014 auf, und mit Verfügung vom 22. Dezember 2015 forderte sie die zu Unrecht ausgerichteten Leistungen in der Höhe von Fr. 4'036.- zurück. Das Verwaltungsgericht des Kantons Graubünden hob diese Verfügungen auf Beschwerde hin mit Entscheid vom 16. August 2016 auf und wies die Sache zur weiteren Abklärung des Sachverhalts und neuem Entscheid über den Leistungsanspruch an die IV-Stelle zurück.
A.b. Am 25. Juli 2017 verfügte die IV-Stelle nach weiteren Abklärungen und Durchführung des Vorbescheidverfahrens, dass die bisherige ganze Rente ab dem ersten Tag des zweiten Monats nach Zustellung der Verfügung vom 14. Dezember 2015 - somit per 1. Februar 2016 -bei einem Invaliditätsgrad von 41 % auf eine Viertelsrente herabgesetzt werde.
B.
Die dagegen gerichtete Beschwerde wies das Verwaltungsgericht mit Entscheid vom 21. August 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragt, es sei ihm in Aufhebung des angefochtenen Entscheids rückwirkend per 1. Februar 2016 eine halbe Rente zuzusprechen. Eventualiter sei die Sache zu neuem Entscheid an das Verwaltungsgericht zurückzuweisen.
Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2.
2.1. Zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, als sie (in Bestätigung der Verfügung vom 25. Juli 2017) die bisherige ganze Rente per 1. Februar 2016 auf eine Viertelsrente statt auf eine halbe Rente herabsetzte. Streitig ist dabei einzig die Festlegung des Invalideneinkommens (einschliesslich eines allfälligen Leidensabzugs) und der aus dem Vergleich mit dem Valideneinkommen resultierende Invaliditätsgrad. Nicht umstritten sind dagegen das Vorliegen eines Revisionsgrunds, die Leistungseinschränkung des Beschwerdeführers wegen chronischer Atemwegserkrankung von 20 % in einer adaptierten Tätigkeit sowie das Valideneinkommen von Fr. 91'911.70.
2.2. Die Vorinstanz legte die massgebenden Bestimmungen und Grundsätze zutreffend dar. Dies betrifft insbesondere die Ausführungen zum Invaliditätsbegriff (<ref-law> i.V.m. <ref-law>), zum Anspruch auf eine nach dem Grad der Invalidität abgestuften Rente (<ref-law>), zur Bestimmung des Invaliditätsgrads nach der allgemeinen Methode des Einkommensvergleichs bei erwerbstätigen Versicherten (<ref-law>; <ref-ruling> E. 3.4.2 S. 349), zum Beizug der Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE; <ref-ruling> E. 2.5.7 S. 188) sowie zum leidensbedingten Tabellenlohnabzug (<ref-ruling> E. 5 S. 78 ff.). Darauf wird verwiesen.
3.
3.1. Nicht streitig ist, dass vorliegend für die Bemessung des Invalideneinkommens die LSE-Tabellenlöhne zu verwenden sind. Das kantonale Gericht erwog hierzu (anders als die Beschwerdegegnerin), dass nicht auf den Mittelwert aller Wirtschaftszweige (Total, Kompetenzniveau 1, Männer) der Lohntabelle TA1 der LSE 2014, sondern auf den Durchschnittswert im Sektor 3/Dienstleistungen (Kompetenzniveau 1, Männer) abzustellen sei (vgl. auch Urteile 8C_457/2017 vom 11. Oktober 2017 E. 6.2; 9C_237/2007 vom 24. August 2007 E. 5.1, nicht publ. in: <ref-ruling>; I 289/01 vom 19. Oktober 2001 E. 3c). Angesichts der gesundheitlichen Einschränkungen würden für den Beschwerdeführer Tätigkeiten im Sektor 2/Produktion nicht in Frage kommen; mithin stehe ihm nicht der ganze Bereich des Arbeitsmarkts gemäss Tabelle TA1 offen. Allerdings rechtfertige es sich nicht, auf die Rubrik 77-82 ("Sonstige wirtschaftliche Dienstleistungen") abzustellen, weil dem Beschwerdeführer gemäss Beurteilung des Dr. med. B._, Facharzt für Pneumologie, im RAD-Bericht vom 23. Januar 2013 aus lungenärztlicher Sicht ganztags leichte bis mittelschwere körperliche Tätigkeiten in Wechselhaltung ohne Expositionen gegenüber höheren Konzentrationen von atemwegreizenden Stäuben, Dämpfen und Räuchen zumutbar seien. Auch eine Exposition gegenüber Kälte, Nässe und Zugluft sei ungünstig. Am besten würden sich künftige Tätigkeiten in geschlossenen Räumlichkeiten mit ausreichender Temperierung vollziehen. Für die frühere Tätigkeit als Autospengler mit Kontakt zu Isozyanat-haltigen Arbeitsstoffen und Schweissrauchen bestehe gemäss Nichteignungsverfügung des Unfallversicherers volle Arbeitsunfähigkeit. Die Leistungseinbusse durch die asthmatische Grunderkrankung werde auf etwa 20 % geschätzt. Schicht-, Akkord- und Nachtdienste unter erhöhtem Zeitdruck seien für diesen Versicherten ungünstig. Im Ergebnis liess die Vorinstanz offen, ob auf den gesamten Sektor 3/Dienstleistungen abzustellen sei oder eine weitere Konkretisierung der Arbeitseinschränkungen zu erfolgen habe. Denn bei der Anwendung der LSE LSE 2014 TA1, Rubrik 77-82, Kompetenzniveau 1, Männer, würde ein Invaliditätsgrad von gerundet 49 % resultieren, während der Wert des Sektors 3/Dienstleistungen einen Invaliditätsgrad von gerundet 45 % ergebe. Damit bestehe in beiden Fällen lediglich Anspruch auf eine Viertelsrente, zumal ein leidensbedingter Abzug nicht in Frage komme (s. sogleich).
3.2. Einen Leidensabzug von 5 % verneinte die Vorinstanz zum einen wiederum unter Hinweis auf die Ausführungen des Dr. med. B._. Laut diesem sei die 80%ige Arbeitsfähigkeit des Beschwerdeführers ganztags mit reduzierter Leistungsfähigkeit verwertbar. In einer solchen Konstellation falle ein Abzug aufgrund eines verminderten Beschäftigungsgrads ausser Betracht (Urteil 8C_884/2017 vom 24. Mai 2018 E. 4.4; 9C_763/2015 vom 9. Mai 2016 E. 4.2). Nach der Praxis des Bundesgerichts sei bezüglich der Kostennachteile für den Arbeitgeber aufgrund der reduzierten Leistungsfähigkeit eines Arbeitnehmers davon auszugehen, dass die Vorteile der ganztägigen Präsenz des Arbeitnehmers in adaptierten Tätigkeit den möglichen Effekt der Kostennachteile überwiegen würden (Urteile 8C_211/2018 vom 8. Mai 2018 E. 4.4; 8C_419/2012 vom 21. September 2012 E. 3.2). Zum andern seien die gesundheitsbedingten Einschränkungen des Beschwerdeführers bereits im Ausmass einer um 20 % verminderten Leistungsfähigkeit berücksichtigt worden. Auch sei davon auszugehen, dass der Beschwerdeführer im Umfang seiner Restarbeitsfähigkeit eine adaptierte Tätigkeit ausüben könnte, ohne dass ein potentieller Arbeitgeber weitere nennenswerte gesundheitlich bedingte Einschränkungen des Leistungsvermögens zu gewärtigen hätte. Aus den medizinischen Akten ergebe sich nichts, was dies in Frage stellen könnte. Die fachärztlich bestätigte Tatsache, dass dem Beschwerdeführer lediglich noch leichte bis mittelschwere Tätigkeiten zumutbar seien, rechtfertige für sich allein noch keinen Leidensabzug, zumal der Tabellenlohn gemäss LSE-Tabelle TA1, Kompetenzniveau 1, bereits eine Vielzahl von leichten und mittelschweren Tätigkeiten umfasse (8C_97/2014 vom 16. Juli 2014 E. 4.2). Weiter seien sowohl die mangelnde Berufserfahrung wie auch die geltend gemachten sprachlichen Schwierigkeiten vorliegend nicht abzugsrelevant. Der Beschwerdeführer wohne und lebe seit 1987 in der Schweiz und sei seit 1997 Schweizer Bürger. Im Übrigen würden Hilfstätigkeiten, wie sie im Kompetenzniveau 1 enthalten sind, weder gute Kenntnisse der deutschen Sprache (Urteil 8C_238/2014 vom 1. Juni 2015 E. 6.3.2) noch berufliche Erfahrungen erfordern. Weitere Kriterien, die einen zusätzlichen Abzug vom evaluierten Invalideneinkommen rechtfertigen würden, seien weder ersichtlich noch vorgebracht worden.
4.
Der Beschwerdeführer vermag mit seinen Vorbringen nicht aufzuzeigen, inwiefern die vorinstanzlichen Feststellungen und Schlussfolgerungen offensichtlich unrichtig oder bundesrechtswidrig wären.
4.1. Nicht zu beanstanden ist zunächst, dass die Vorinstanz praxisgemäss die für die gesamte Schweiz gültigen Tabellenwerte (TA1 der LSE 2014) beizog und nicht nach Regionen differenzierte (vgl. Urteile 8C_648/2017 vom 4. April 2018; 8C_744/2011 vom 23. April 2012 E. 5.2, in: SVR 2012 UV Nr. 26 S. 93; U 75/03 vom 12. Oktober 2016 E. 8 in: SVR 2007 UV Nr. 17 S. 56). Entgegen dem Beschwerdeführer drängt sich aufgrund des im Vergleich zu den gesamtschweizerischen Werten tieferen regionalen Lohnniveaus vorliegend auch kein Abzug vom Tabellenlohn auf. Denn dieser Abzug bezweckt grundsätzlich nicht, regionale Lohnunterschiede auszugleichen. Vielmehr soll er (behinderungsbedingten und invaliditätsfremden) Merkmalen Rechnung tragen, die in der Person des Versicherten selbst liegen (wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad), die sich auf die Lohnhöhe auswirken können (<ref-ruling> E. 3b/aa S. 323) und die, je nach Ausprägung, dazu führen können, dass die versicherte Person die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5b/aa i.f. S. 80).
4.2. Der Beschwerdeführer beantragt sodann, es sei nicht die Rubrik 77-82 (LSE 2014, TA1), sondern der tiefere Wert der Rubrik 77, 79-82 (ohne 78) zu verwenden. Allerdings legt er nicht dar, weshalb er grundsätzlich nicht in der Lage sein soll, Tätigkeiten der Rubrik 78 "Vermittlung u. Überlassung v. Arbeitskräften" auszuüben. Der pauschale Verweis auf seine Einschränkungen (insbesondere auf die zwingend zu vermeidenden Expositionen) reicht dafür jedenfalls nicht aus.
4.3. Dass die Vorinstanz einen Abzug wegen eines verminderten Beschäftigungsgrads verneinte, ficht der Beschwerdeführer im Grundsatz nicht mehr an. Es kann ihm aber auch nicht gefolgt werden, wenn er geltend macht, dass darüber hinaus weitere Umstände zu einem Leidensabzug hätten führen müssen. Soweit er in diesem Zusammenhang auf Sprachschwierigkeiten sowie mangelnde Berufserfahrung ausserhalb der Tätigkeit als Autospengler hinweist, kann auf die vorinstanzlichen Ausführungen verwiesen werden (vgl. auch Urteil 9C_549/2017 vom 13. Februar 2018 E. 3.5). Auch das Alter des Beschwerdeführers von 54 Jahren im Verfügungszeitpunkt vermag vorliegend keinen Abzug zu rechtfertigen. Denn der Faktor Alter wirkt sich nicht zwingend lohnsenkend aus, weil Hilfsarbeiten auf dem hypothetisch ausgeglichenen Arbeitsmarkt (<ref-law>) altersunabhängig nachgefragt werden (vgl. Urteile 8C_227/2018 vom 14. Juni 2018 E. 4.2.3.4 9C_200/2017 vom 14. November 2017 E. 4.5). Nichts zugunsten des Beschwerdeführers ergibt sich ferner aus dem Umstand, dass die Beschwerdegegnerin vor der ersten rentenaufhebenden Verfügung in einem internen Dokument einen 5%igen Abzug vom Tabellenlohn erwogen hatte, weil diese Überlegung weder in die rentenaufhebende Verfügung vom 14. Dezember 2015 noch in die Verfügung vom 25. Juli 2017 Eingang fand. Weiter rechtfertigt der Umstand, dass die grundsätzlich vollzeitlich arbeitsfähige versicherte Person krankheitsbedingt lediglich reduziert leistungsfähig ist, praxisgemäss keinen Abzug, der über die Berücksichtigung der eingeschränkten Leistungsfähigkeit und damit des Rendements hinausgeht (Urteile 8C_793/2017 vom 8. Mai 2018 E. 7.3; 8C_20/2012 vom 4. April 2012 E. 3.2 und 3.3). Vorliegend trug die Vorinstanz der um 20 % reduzierten, aber vollzeitig verwertbaren Arbeitsfähigkeit des Beschwerdeführers Rechnung. Schliesslich berücksichtigte die Vorinstanz auch die vom Beschwerdeführer (hier erneut angeführten) körperlichen Limitierungen bereits beim Anforderungs- und Belastungsprofil, weshalb sie sie zu Recht nicht nochmals - als abzugsrelevant - heranzog (Urteile 9C_233/2018 vom 11. April 2019 E. 3.2; 8C_327/2018 vom 31. August 2018 E. 4.4.1; 8C_97/2014 vom 16. Juli 2014 E. 4.2; je mit Hinweisen). Im Ergebnis ist die Verweigerung eines Abzugs vom Tabellenlohn nicht bundesrechtswidrig.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, 3. Kammer als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Mai 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart