Sachverhalt:
A.
Der 1967 geborene A._, zuletzt vollzeitlich erwerbstätiger Servicefachangestellter, meldete sich am 11. Dezember 2018 unter Hinweis auf Parkinson bei der Eidgenössischen Invalidenversicherung (IV) zum Leistungsbezug an. Die IV-Stelle des Kantons Graubünden tätigte daraufhin Abklärungen und gewährte Frühinterventionsmassnahmen in Form von Anpassungen des Arbeitsplatzes. Nach dem Abschluss der Eingliederungsmassnahmen bei erfolgreicher Eingliederung am bisherigen Arbeitsplatz im Pensum von 50 % machte der Versicherte eine Verschlechterung seines Gesundheitszustandes geltend. Es folgten weitere Abklärungen. Am 1. November 2019 teilte die IV-Stelle den Abschluss der Eingliederungsmassnahmen mit. In der Folge wurde der Versicherte durch Dr. med. B._, Fachärztin für Neurologie, des Regionalen Ärztlichen Dienstes (RAD) untersucht (Bericht vom 6. Januar 2020). Am 29. Januar 2020 nahm Dr. med. C._, Facharzt für Chirurgie, des RAD abschliessend zum medizinischen Sachverhalt Stellung. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle dem Versicherten mit Verfügungen vom 11. und 25. August 2020 rückwirkend ab 1. August 2019 eine Viertelsrente zu (Invaliditätsgrad: 42 %).
B.
Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 22. Dezember 2020 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, es sei ihm unter teilweiser Aufhebung des angefochtenen Urteils respektive der Verwaltungsverfügungen vom 11. und 25. August 2020 ab dem 1. August 2019 eine ganze, eventualiter eine halbe, Invalidenrente zuzusprechen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es dem Beschwerdeführer ab 1. August 2019 lediglich eine Viertelsrente zugesprochen hat.
2.2.
2.2.1. Die für die Beurteilung der Streitsache massgeblichen rechtlichen Grundlagen wurden im angefochtenen Entscheid zutreffend dargelegt. Es betrifft dies insbesondere die Erwägungen zur Beweiskraft medizinischer Berichte und zur diesbezüglichen Beweiswürdigung (<ref-ruling> E. 2.2.2; <ref-ruling> E. 4.4 f.; <ref-ruling> E. 5.1; <ref-ruling> E. 3a und 3b; <ref-ruling> E. 1c), zur Verwertbarkeit der Restarbeitsfähigkeit (<ref-ruling> E. 4b; vgl. auch das Urteil 8C_416/2020 vom 2. Dezember 2020 E. 4 mit Hinweisen) sowie zur Gewährung eines Abzugs vom Tabellenlohn (<ref-ruling> E. 5.2; <ref-ruling> E. 5a und 5b). Darauf wird verwiesen.
2.2.2. Zudem zu beachten gilt es, dass es sich bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit um Tatfragen handelt (<ref-ruling> E. 3.2). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an die Beweiskraft ärztlicher Berichte und Gutachten Rechtsfragen (Urteile 9C_899/2017 vom 9. Mai 2018 E. 2.1 mit Hinweisen).
Weiter ist eine vom Bundesgericht frei überprüfbare Rechtsfrage, ob der versicherten Person die Verwertung der Restarbeitsfähigkeit auf einem ausgeglichenen Arbeitsmarkt nach allgemeiner Lebenserfahrung noch zumutbar ist (<ref-ruling> E. 2.4; nicht publ. E. 4.1 des Urteils <ref-ruling>, veröffentlicht in SVR 2019 IV Nr. 73 S. 233). Gleiches gilt für die Frage, ob ein leidensbedingter Abzug vom Tabellenlohn vorzunehmen ist. Dagegen ist die Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzugs eine Ermessensfrage und somit letztinstanzlich nur bei Ermessensüberschreitung, -missbrauch oder -unterschreitung korrigierbar (<ref-ruling> E. 5.1; Urteil 9C_421/2017 vom 19. September 2017 E. 2.1.2).
3.
3.1. Das kantonale Gericht hat dem Untersuchungsbericht von Dr. med. B._ vom 6. Januar 2020 Beweiskraft zuerkannt, dies insbesondere auch betreffend die festgestellte Arbeitsfähigkeit von 50 % in leidensangepasster Tätigkeit. Es hat darauf geschlossen, dass die RAD-Fachärztin sämtlichen Einschränkungen Rechnung getragen habe und das durch die Dres. med. B._ und C._ erstellte Zumutbarkeitsprofil einer optimal leidensangepassten Tätigkeit schlüssig sei. Unter Bejahung der Verwertbarkeit der Restarbeitsfähigkeit und Gewährung eines 10%igen Abzugs vom Tabellenlohn hat die Vorinstanz einen zu einer Viertelsrente berechtigenden Invaliditätsgrad von 41 % ermittelt.
3.2. Der Beschwerdeführer bestreitet, dass alle seine Einschränkungen Eingang in das Zumutbarkeitsprofil gefunden haben sollen. Er bringt in erster Linie vor, unter Berücksichtigung sämtlicher Einschränkungen könne nicht mehr von einer verwertbaren Restarbeitsfähigkeit gesprochen werden. Eventualiter sei ihm mit Blick darauf ein Abzug vom Tabellenlohn von insgesamt 25 % zu gewähren.
4.
4.1. Die Vorinstanz hat (gestützt auf den Bericht von Dr. med. B._ vom 6. Januar 2020) folgende Einschränkungen festgestellt: Es bestehe ein axial- und rechtsbetonter Rigor und beim Gehen ein rechtsbetontes vermindertes Mitschwingen der Arme. Nach längerer Gehstrecke respektive zwei Etagen Treppensteigen entwickle sich rechts ein zunehmender Rigor, so dass ein Gangbild ähnlich der Wernicke-Mannschen-Gangstörung entstehe. Bezüglich der neuropsychologischen Funktionen bestünden Hinweise auf eine Störung der Sprache (Aphasie), des Rechnens (Dys-/Akalkulie), des Schreibens (Dys-/Agraphie), der Handlungsplanung und -ausführung (Apraxie), des räumlichen Vorstellungsvermögens und der Orientierung. Die Muskelsteifigkeit und Unbeweglichkeit limitierten die Gehfähigkeit des Beschwerdeführers auf 30 Minuten ohne Pause. Manuelle Arbeiten könnten nach Einsetzen der optimalen Wirkung der Medikamente über zwei Stunden ohne Pause ausgeführt werden. Dabei dürften keine hohen Ansprüche an ständige feinmotorische Arbeiten und an die Daueraufmerksamkeit gestellt werden. Nach einer ausreichend langen Pause mit Abwarten der Wirkung der nächsten Medikamentendosis könne weitere zwei Stunden gearbeitet werden. Ausserdem müssten sanitäre Anlagen wegen der Beteiligung des autonomen Nervensystems stets verfügbar sein (angefochtenes Urteil E. 5.2. S. 12 f.).
Diese werden vom Beschwerdeführer ausdrücklich anerkannt und sind damit für das Bundesgericht verbindlich (vgl. E. 1 und 2.2.2 hiervor). Soweit sich der Beschwerdeführer dennoch darüber hinaus auf weitere Einschränkungen beruft, sind seine Vorbringen nicht nur in sich widersprüchlich, sondern auch rein appellatorischer Natur (vgl. <ref-ruling> E. 4.2 mit Hinweisen). Darauf ist nicht weiter einzugehen.
4.2. Die Vorinstanz stützte ihre Beurteilung sodann auf das nachfolgende (aus den Beurteilungen der Dres. med. B._ und C._, hervorgehende) Zumutbarkeitsprofil einer leidensangepassten Tätigkeit: körperlich leichte, wechselbelastende Tätigkeiten ohne langanhaltende feinmotorische Aktivitäten, ohne hohe Ansprüche an die Daueraufmerksamkeit respektive an das Kurzzeitgedächtnis und ohne repetitive Bewegungen sowie mit guter Erreichbarkeit der sanitären Anlagen und der Möglichkeit einer längeren Erholungspause (angefochtenes Urteil E. 7.4. S. 21).
4.2.1. Entgegen der Ansicht des Beschwerdeführers wurde den Beschwerden an den oberen Extremitäten im Profil dadurch Rechnung getragen, dass keine langanhaltenden feinmotorischen Aktivitäten mehr zumutbar sind. Die eingeschränkte Gehfähigkeit und der Rigor wurden mit der Wechselbelastung berücksichtigt. Die verminderte Konzentrationsfähigkeit dadurch, dass keine hohen Ansprüche an die Daueraufmerksamkeit gestellt werden sollen, und auch die Notwendigkeit von längeren Pausen wurde im Profil aufgenommen. Insoweit ist das Profil mit Blick auf die vorinstanzlich festgestellten Einschränkungen (E. 4.1 hiervor) vollständig.
4.2.2. Zwar ist fraglich, ob den vom kantonalen Gericht festgestellten Hinweisen auf eine Störung der Sprache, des Rechnens, des Schreibens, der Handlungsplanung und -ausführung sowie des räumlichen Vorstellungsvermögens und der Orientierung im Profil genügend Rechnung getragen wurde. Dies kann jedoch - wie aufzuzeigen ist (vgl. E. 4.3 f. hiernach) - offen gelassen werden.
4.2.3. Der Hinweis auf weitere Einschränkungen, die ins Zumutbarkeitsprofil hätten einfliessen sollen, zielt schliesslich ins Leere (vgl. E. 4.1 hiervor).
4.3. Wie der Beschwerdeführer selbst vorbringt, hat die Vorinstanz auch die in Erwägung 4.2.2 hiervor aufgeführten Einschränkungen im Rahmen der Beurteilung der Verwertbarkeit der Restarbeitsfähigkeit gewürdigt. Zusammen mit dem Zumutbarkeitsprofil hat das kantonale Gericht somit sämtlichen festgestellten Defiziten bei der Beurteilung der Verwertbarkeit der Restarbeitsfähigkeit Rechnung getragen. Inwiefern in diesem Zusammenhang Bundesrecht verletzt worden sein soll, wird nicht gerügt (vgl. E. 1 und 2.2.2 hiervor). Soweit sich der Beschwerdeführer unter Einbezug weiterer Einschränkungen (insbesondere einer faktischen Einarmigkeit) auf die Unverwertbarkeit seiner Restarbeitsfähigkeit beruft, ist sein Vorbringen unbehelflich (vgl. E. 4.1 hiervor). Auf Weiterungen ist bei im Übrigen rein appellatorischer Kritik (vgl. <ref-ruling> E. 4.2 mit Hinweisen) zu verzichten.
4.4. Ob die Vorinstanz mit dem Tabellenabzug von 10 % ihr Ermessen unterschritten hat oder nicht (vgl. E. 2.2.2 hiervor), kann schliesslich offen gelassen werden. Jedenfalls könnte bei Gewährung des im angefochtenen Urteil angesprochenen 20%igen Abzugs, bei welchem gemäss kantonalem Gericht stets noch eine Viertelsrente resultieren würde, mit Blick auf die vorinstanzlich festgestellten Einschränkungen (E. 4.1 hiervor) in einer Gesamtwürdigung (vgl. <ref-ruling> E. 5.2) keine Rede von einer Ermessensunterschreitung sein. Weiterungen erübrigen sich.
4.5. Zusammenfassend lassen die Einwendungen des Beschwerdeführers weder die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig, als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach <ref-law> erscheinen, noch zeigen sie sonst wie eine Bundesrechtsverletzung auf. Die Beschwerde ist unbegründet.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, 3. Kammer als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. September 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist