Sachverhalt:
A.
Der 1964 geborene A._ meldete sich erstmals am 10. Juli 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Glarus gewährte ihm berufliche Massnahmen, welche mit Verfügung vom 9. Februar 2009 erfolgreich abgeschlossen werden konnten. Am 24. Januar 2012 meldete sich A._ erneut bei der Invalidenversicherung an. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle dem Versicherten mit Verfügung vom 9. November 2016 ab 1. Juni 2014 bis 31. August 2014 eine halbe (Invaliditätsgrad: 57 %) sowie ab 1. September 2014 bis 31. Dezember 2015 eine ganze Invalidenrente (Invaliditätsgrad: 100 %) zu. Ab 1. Januar 2016 verneinte sie einen Rentenanspruch (Invaliditätsgrad: 35 %).
B.
Die von A._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 10. April 2018 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt unter Aufhebung des angefochtenen Entscheids die Rückweisung an die Vorinstanz im Sinne der Erwägungen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
2.1. Das kantonale Gericht erkannte, für die sich stellende Frage der Berentung über den 1. Januar 2016 hinaus seien der Abklärungsbericht des Regionalen Ärztlichen Dienstes (RAD) vom 16. Oktober 2015 sowie die ausführlichen Testresultate der Evaluation der funktionellen Leistungsfähigkeit (EFL) vom 11. November 2015 heranzuziehen. Der Psychiater des RAD habe in seiner Disziplin beim Beschwerdeführer keine funktionellen Leistungseinbussen feststellen können. Aus rheumatologischer Sicht sei dem Versicherten die frühere Tätigkeit (als Sozialarbeiter) im Umfang von 50 % zumutbar. Eine adaptierte (leichte und wechselbelastende) Arbeit könne der Beschwerdeführer spätestens zum Zeitpunkt der RAD-Abklärung wieder im Umfang von 75 % ausüben.
2.2. Der Versicherte rügt, der blosse Hinweis, dass sich sein Gesundheitszustand verbessert habe, sei keine Rechtfertigung zur Aufhebung der Invalidenrente auf den 1. Januar 2016 hin. Die fragliche Veränderung habe nicht zu einer überproportionalen Verbesserung des funktionellen Leistungsvermögen geführt.
Mit diesen Behauptungen, die sich nicht konkret auf die Feststellungen der Vorinstanz (E. 2.1 hiervor) beziehen, vermag der Beschwerdeführer nicht darzutun, dass diese Feststellungen offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein sollten (vgl. E. 1 hiervor). Damit bleiben diese für das Bundesgericht verbindlich.
3.
3.1. Angesichts der weiteren Rügen des Beschwerdeführers bleibt einzig streitig und zu prüfen, ob das kantonale Gericht bei der Festsetzung des Invalideneinkommens bundesrechtskonform keinen Abzug vom Tabellenlohn in Anschlag brachte. Die diesbezüglichen Rechtsgrundlagen legte die Vorinstanz zutreffend dar. Darauf wird verwiesen.
3.2. Die Frage, ob ein Abzug vom Tabellenlohn vorzunehmen sei oder nicht, stellt eine vom Bundesgericht frei zu prüfende Rechtsfrage dar (<ref-ruling> E. 3.3 S. 399).
3.3. Das kantonale Gericht stellte fest, der Beschwerdeführer würde ohne Gesundheitsschaden weiterhin in der zuletzt ausgeübten Tätigkeit als Arbeitsagoge tätig sein. Es ermittelte gestützt darauf das Valideneinkommen (vgl. <ref-ruling> E. 3.1 S. 59), welches vom Beschwerdeführer nicht bestritten wird. Für die Bestimmung des Invalideneinkommens zog das kantonale Gericht die Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE; <ref-ruling> E. 2.3 S. 593 f.) heran. Hierbei ist einzig der ausgeglichene Arbeitsmarkt (<ref-law>) massgebend. Dabei handelt es sich um einen theoretischen und abstrakten Begriff. Er berücksichtigt die konkrete Arbeitsmarktlage nicht, umfasst in wirtschaftlich schwierigen Zeiten auch tatsächlich nicht vorhandene Stellenangebote und sieht von den fehlenden oder verringerten Chancen Teilinvalider, eine zumutbare und geeignete Arbeitsstelle zu finden, ab (<ref-ruling> E. 4.2.1 S. 70 f. mit Hinweis). Mit seiner Rüge, er sei auf dem konkreten Arbeitsmarkt im Hinblick auf die Verwertbarkeit der theoretisch noch vorhanden Resterwerbsfähigkeit in mehrfacher Hinsicht beeinträchtigt, da die Tätigkeit des Agogen auf dem ihm zur Verfügung stehenden Arbeitsmarkt wenig bis gar nicht nachgefragt werde, kann der Versicherte nach dem Gesagten nichts zu seinen Gunsten ableiten.
3.4. Soweit der Beschwerdeführer vorbringt, sämtliche Arbeitsbemühungen seien bis anhin gescheitert, so ist darauf hinzuweisen, dass gescheiterte Arbeitsbemühungen keinen Tabellenlohnabzug rechtfertigen (<ref-ruling> E. 5b/aa S. 79 f.).
3.5. Im Weiteren vermögen auch das Alter des Versicherten (geb. am 1. März 1964; vgl. Urteile 9C_535/2017 vom 14. Dezember 2017 E. 4.6, nicht publ. in: <ref-ruling>; 8C_403/2017 vom 25. August 2017 E. 4.4.1; 9C_658/2015 vom 9. Mai 2016 E. 5.2.2 mit Hinweis) sowie die durch den erhöhten Pausenbedarf bedingte reduzierte Leistungsfähigkeit, welche gemäss verbindlichen vorinstanzlichen Feststellungen bereits im Rahmen der Arbeitsfähigkeitsschätzung berücksichtigt wurde, weshalb der Pausenbedarf nicht nochmals - als abzugsrelevant - herangezogen werden darf (Urteil 9C_366/2015 vom 22. September 2015 E. 4.3.1 mit Hinweisen, in: SZS 2015 S. 561) keinen leidensbedingten Abzug vom Tabellenlohn zu begründen.
3.6. Nach dem Gesagten bestehen keine Anhaltspunkte, dass der Beschwerdeführer wegen einem oder mehreren der relevanten Merkmale (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/ Aufenthaltskategorie und Beschäftigungsgrad; <ref-ruling> E. 4.2.3 S. 481; <ref-ruling> E. 5b/aa-bb S. 79 f.) seine gesundheitlich bedingte Restarbeitsfähigkeit auf dem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten könnte. Es ist daher nicht bundesrechtswidrig, wenn die Vorinstanz keinen Abzug vom Tabellenlohn gewährte.
4.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, 3. Kammer als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. August 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Huber