Sachverhalt:
A.
A.a. Der 1974 geborene A._, gelernter Zimmermann, meldete sich im Februar 2000 infolge eines Verkehrsunfalles mit Distorsionstrauma der Halswirbelsäule (HWS) bei der Invalidenversicherung zum Leistungsbezug an. Eine Umschulung zum Koch schloss er im Sommer 2003 erfolgreich ab. Mit Verfügung vom 7. Oktober 2003 verneinte die IV-Stelle des Kantons Appenzell Ausserrhoden einen Rentenanspruch. Auf Einsprache hin gewährte sie A._ berufliche Massnahmen zur Weiterbildung als Gastronomiekoch bzw. Koch der Spital-, Heim- und Gemeinschaftsgastronomie. Entsprechende Arbeitsversuche im Vollzeit- resp. 70 %-Pensum scheiterten. Nach Abklärungen seitens der Verwaltung - insbesondere Einholung eines Gutachtens (samt Evaluation der funktionellen Leistungsfähigkeit [nachfolgend: EFL]) vom 17. März 2006 bei der B._ AG einer neuropsychologischen Abklärung der Dr. phil. C._ vom 30. August 2006 sowie einer psychiatrischen Expertise des Dr. med. D._ vom 22. November 2006 - liess A._ ein neurologisches Gutachten des Dr. med. E._ vom 25. April 2007 einreichen. Die IV-Stelle sprach ihm schliesslich mit Einspracheentscheid vom 10. Oktober 2007 ab 1. April 2000 eine halbe Invalidenrente und ab 1. Januar 2004 (mit Einführung der 4. IV-Revision) eine Dreiviertelsrente zu (Invaliditätsgrad: 65 %), welche sie in der Folge bestätigte.
A.b. Im Herbst 2017 leitete die Verwaltung erneut ein Revisionsverfahren ein und veranlasste beim Swiss Medical Assessment- and Business Center (nachfolgend: SMAB), Bern, eine polydisziplinäre Expertise vom 20. Februar 2018. Nachdem ein Belastbarkeits- und Aufbautraining durchgeführt worden war, hob die IV-Stelle die bisherige Invalidenrente mit Verfügung vom 5. Dezember 2019 wiedererwägungsweise per Ende des auf die Zustellung folgenden Monats auf.
B.
Die dagegen erhobene Beschwerde des A._ wies das Obergericht Appenzell Ausserrhoden mit Urteil vom 18. Mai 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Urteils sei ihm weiterhin eine Dreiviertelsrente auszurichten; eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit diese die erforderlichen Sachverhaltsfeststellungen treffe und hernach neu entscheide.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Nach Art. 53 Abs. 2 ATSG kann die Verwaltung jederzeit auf formell rechtskräftige Verfügungen zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Die Wiedererwägung dient der Korrektur einer anfänglich unrichtigen Rechtsanwendung einschliesslich unrichtiger Feststellung im Sinne der Würdigung des Sachverhalts. Darunter fallen insbesondere eine Leistungszusprache ohne oder in unrichtiger Anwendung der massgeblichen Bestimmungen und eine unvollständige Sachverhaltsabklärung aufgrund einer klaren Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG; SVR 2020 IV Nr. 39 S. 137, 8C_235/2019 E. 2.2). Eine auf keiner nachvollziehbaren ärztlichen Einschätzung der massgeblichen Arbeitsfähigkeit beruhende Invaliditätsbemessung ist nicht rechtskonform und die entsprechende Verfügung zweifellos unrichtig im wiedererwägungsrechtlichen Sinne (Urteile 8C_280/2017 vom 28. Juli 2017 E. 2.3 und 9C_201/2016 vom 18. Juli 2016 E. 4.3 mit Hinweisen). Zweifellose Unrichtigkeit meint dabei, dass kein vernünftiger Zweifel an der (von Beginn weg bestehenden) Unrichtigkeit der Verfügung möglich, also einzig dieser Schluss denkbar ist (<ref-ruling> E. 3.3). Soweit ermessensgeprägte Teile der Anspruchsprüfung vor dem Hintergrund der Sach- und Rechtslage einschliesslich der Rechtspraxis im Zeitpunkt der rechtskräftigen Leistungszusprechung (<ref-ruling> E. 3) in vertretbarer Weise beurteilt worden sind, scheidet die Annahme zweifelloser Unrichtigkeit indes aus (<ref-ruling> E. 5.2; SVR 2014 IV Nr. 39 S. 137, 9C_121/2014 E. 3.2.1).
2.2. Liegt in diesem Sinne ein Rückkommenstitel vor, so gilt es grundsätzlich, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen. Dabei ist auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad im Zeitpunkt der Verfügung über die Herabsetzung oder Aufhebung einer Rente zu ermitteln (vgl. Art. 85 Abs. 2 in Verbindung mit Art. 88bis Abs. 2 IVV; <ref-ruling> E. 4.4.1; <ref-ruling> E. 2.3).
2.3. Die Feststellungen, welche der Beurteilung der zweifellosen Unrichtigkeit zugrunde liegen, sind tatsächlicher Natur und folglich nur eingeschränkt überprüfbar. Dagegen ist die Auslegung (Konkretisierung) dieses unbestimmten Rechtsbegriffs als Wiedererwägungsvoraussetzung eine frei prüfbare Rechtsfrage (Art. 95 lit. a BGG; Urteil 8C_784/2020 vom 18. Februar 2021 E. 2.2 in fine mit Hinweis).
3.
Die Vorinstanz hat die am 10. Oktober 2007 erfolgte (und per 1. Januar 2004 angepasste) Rentenzusprache für zweifellos unrichtig gehalten und deren Wiedererwägung im Sinne von Art. 53 Abs. 2 ATSG folglich als zulässig erachtet. Sodann hat sie der polydisziplinären SMAB-Expertise vom 20. Februar 2018 Beweiskraft beigemessen, wonach der Beschwerdeführer für die zuletzt ausgeübte Tätigkeit als Koch wie auch für jede andere leidensangepasste Tätigkeit zu 100 % arbeitsfähig ist. Betreffend den vor diesem Hintergrund vorzunehmenden Einkommensvergleich (Art. 16 ATSG) hat das kantonale Gericht auf die Berechnung der Beschwerdegegnerin verwiesen und erwogen, daraus ergebe sich ein klar rentenausschliessender Invaliditätsgrad (von 10 %). Gestützt darauf hat die Vorinstanz die am 5. Dezember 2019 verfügte Renteneinstellung bestätigt.
4.
4.1. Der Beschwerdeführer stellt im Wesentlichen die zweifellose Unrichtigkeit der im Jahr 2007 erfolgten Zusprache einer halben Invalidenrente respektive (ab 1. Januar 2004) einer Dreiviertelsrente in Abrede.
4.1.1. Das kantonale Gericht hat diesbezüglich verbindlich (E. 1 hievor) festgestellt, die Gutachter der B._ AG hätten dem Beschwerdeführer schon im März 2006 ausdrücklich eine volle Arbeitsfähigkeit als Koch bzw. in jeder anderen adaptierten Arbeit mit gewissen, in der EFL erhobenen Limiten attestiert (Defizite bei Arbeiten über Kopfhöhe, vorgeneigtem Stehen, Rotation im Sitzen und Stehen sowie beim Treppen- und Leiternsteigen). Die Neuropsychologin Dr. phil. C._ habe Ende August 2006 von einer aus rein neuropsychologischer Sicht um rund 20 % eingeschränkten Arbeitsfähigkeit als Koch berichtet, wobei weitere Einschränkungen in psychischer und physischer Hinsicht bei der definitiven Festlegung der Arbeitsfähigkeit mitberücksichtigt werden müssten. Auch der psychiatrische Gutachter Dr. med. D._ sei in seiner Expertise vom 22. November 2006 von einer 80%igen Arbeitsfähigkeit in jeder körperlich adaptierten Tätigkeit ausgegangen, wobei die von Dr. phil. C._ erhobenen neuropsychologischen Ausfälle, welche seiner Ansicht nach eher psychogener Natur seien, bereits Berücksichtigung gefunden hätten. Schliesslich habe Dr. med. F._ vom Regionalen Ärztlichen Dienst (nachfolgend: RAD) diese Akten gewürdigt (Stellungnahme vom 14. Dezember 2006) und gleichfalls auf eine 80%ige Arbeitsfähigkeit des Beschwerdeführers als Koch geschlossen.
4.1.2. Ferner hat die Vorinstanz in sachverhaltlicher Hinsicht willkürfrei dargelegt, nachdem der Beschwerdeführer im Februar 2007 bei einer Besprechung mit der Beschwerdegegnerin erklärt habe, er könne an der aktuellen Stelle als Koch lediglich zu 50 % arbeiten, habe der Arbeitgeber auf Nachfrage hin ausgeführt, dieses Pensum gehe sehr gut; mehr sei aber kritisch und gehe nicht, obschon eine Erhöhung des Pensums im Betrieb theoretisch möglich wäre. Im April 2007 habe die Beschwerdegegnerin zudem einen Verlaufsbericht beim Hausarzt des Beschwerdeführers, Dr. med. G._ eingeholt, welcher ebenfalls von einer 50%igen Arbeitsfähigkeit ausgegangen sei. Im RAD-Bericht vom 17. April 2007 sei Dr. med. F._ unter Berücksichtigung dieser zusätzlichen Unterlagen und nach Rücksprache mit dem Berufsberater zu folgendem Schluss gelangt: "Obwohl medizin.-theoretisch eine 80%ige AF vorliegt, sind sich alle, die mit der Eingliederung der vP direkt beschäftigt sind, einig, dass aktuell 'nur' eine 50 % AF wirtschaftlich umsetzbar ist. Versuche mit höherer Beschäftigung sind gescheitert. M.E. ist die 50%ige AF zu akzeptieren - die Einschränkung ist auch durch das psych. Leiden mitbedingt (psych. Überlagerung, Narzissmus) ". Der Beschwerdeführer habe ausserdem ein Gutachten des Neurologen Dr. med. E._ vom 25. April 2007 einreichen lassen, in welchem dieser ausgeführt habe, bei seinem Patienten seien wiederholt neurologische, neuropsychologische und neuroradiologische Befunde dokumentiert, welche das Beschwerdebild erklärten; die langfristige Lösung sei "anhand der bisherigen Entwicklung, die Beibehaltung von 50 % Arbeitsfähigkeit, welche sich als den Beschwerden angepasst erwies. Eine weitere Besserung ist nicht zu erwarten".
4.2.
4.2.1. Das kantonale Gericht hat der Rechtsprechung betreffend die Beweiskraft medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a mit Hinweis) Rechnung getragen. Zudem hat es auf die spezifische Aufgabe behandelnder Ärzte (vgl. BGE <ref-ruling> E. 3b/cc) verwiesen und darauf, dass den von Versicherungsträgern im Verfahren nach Art. 44 ATSG eingeholten, den Anforderungen der Rechtsprechung entsprechenden Gutachten externer Spezialärzte (Administrativgutachten) voller Beweiswert zuerkannt werden darf, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4; <ref-ruling> E. 4.4). Vor diesem Hintergrund verfangen die Einwände des Beschwerdeführers nicht. Entgegen seiner Darstellung ist insbesondere den aktenkundigen Aussagen des RAD-Arztes Dr. med. F._ keine (schlüssige) medizinische Begründung dafür zu entnehmen, dass einer lediglich 50%igen Arbeitsfähigkeit der Vorzug gegeben werden müsste. Inwieweit eine solche insbesondere anhand der erhobenen psychischen Beeinträchtigungen gerechtfertigt sein soll, ist aufgrund der damaligen Aktenlage nicht zu ersehen. Dies gilt umso mehr, als der psychiatrische Gutachter Dr. med. D._ eine 20 % übersteigende Arbeitsunfähigkeit explizit verneinte, liege beim Beschwerdeführer doch keine tiefgreifende (re) psychische Störung vor (Diagnosen: psychogene Überlagerung [ICD-10 F54] eines chronischen cervikocephalen Schmerzsyndroms; Persönlichkeitsstruktur mit narzisstisch-unreifen Zügen [ICD-10 F60.8]). Insoweit entbehrt, wie die Vorinstanz zu Recht erwogen hat, die Aussage des RAD-Arztes, eine 50%ige Arbeitsfähigkeit sei (auch) deshalb "zu akzeptieren", weil sie durch das psychische Leiden mitbedingt sei (vgl. Stellungnahme vom 17. April 2007), jeglicher Grundlage.
4.2.2. Hinzu kommt, dass Dr. med. F._ - wie auch der Hausarzt Dr. med. G._ (vgl. Bericht vom 1. April 2007) - die bloss 50%ige Arbeitsfähigkeit allein auf die im Arbeitsalltag umsetzbare Arbeitsleistung des Beschwerdeführers in der (optimal) angepassten Tätigkeit als Koch respektive die bei der versuchten Erhöhung des Pensums angegebenen Schmerzen abstützte. Basis für die Zusprache einer Invalidenrente bildet aber stets die Beantwortung der Frage, welche medizinisch-theoretische Arbeitsfähigkeit der versicherten Person noch zumutbar ist. Subjektive Schmerzangaben genügten indes bereits im Zeitpunkt der ursprünglichen Rentenzusprache nicht für die Begründung einer (teilweisen) Arbeitsunfähigkeit. Vielmehr müssen korrelierende, fachärztlich schlüssig feststellbare Befunde vorliegen, damit auf eine Arbeitsunfähigkeit geschlossen werden darf (vgl. dazu schon: <ref-ruling> E. 2.2.3 f.; <ref-ruling> E. 5.3.2; Urteil I 623/06 vom 28. Februar 2007 E. 4.2 in fine). Diesen Grundsätzen trug Dr. med. F._, auf dessen Einschätzung sich die Verwaltung offenkundig im Wesentlichen abstützte, bei seiner Neubeurteilung vom April 2007 eindeutig nicht Rechnung, hielt er doch selber unmissverständlich fest, die medizinisch-theoretische Arbeitsfähigkeit des Beschwerdeführers betrage (in angepasster Tätigkeit) 80 %. Auch die abweichende neurologische Beurteilung des Dr. med. E._ lässt, anders als in der Beschwerde geltend gemacht, die verfügte Rentenzusprache nicht als vertretbar erscheinen. Denn ein Privatgutachten hat aus beweisrechtlicher Sicht zum Vornherein nicht denselben Rang wie die vom Versicherungsträger (oder vom Gericht) nach dem vorgegebenen Verfahrensrecht eingeholten - hier vorliegenden und in der Einschätzung der Arbeitsfähigkeit zudem übereinstimmenden - Expertisen (vgl. BGE <ref-ruling> E. 3c; Urteile 9C_6/2020 vom 19. Mai 2020 E. 3.2.2 und 8C_725/2017 vom 4. Mai 2018 E. 3.4). Abgesehen davon erhob Dr. med. E._ die im Wesentlichen gleichen Befunde, wie sie schon dem Gutachten der B._ AG vom 17. März 2006 zugrunde lagen. Sodann beschränkten sich seine Ausführungen vornehmlich darauf, die fachärztlichen (rheumatologischen, psychiatrischen und neuropsychologischen) Einschätzungen aus neurologischer Sicht zu kritisieren. Inwieweit diese Ausführungen hätten geeignet sein sollen, die klar ausgewiesene 80%ige Arbeitsfähigkeit ernsthaft zu erschüttern, ist nicht erkennbar.
4.3. Demzufolge liegt keine Rechtsverletzung vor, wenn das kantonale Gericht den Einspracheentscheid vom 10. Oktober 2007 als zweifellos unrichtig qualifiziert hat. Entgegen der Ansicht des Beschwerdeführers kann der Rentenanspruch im wiedererwägungsrechtlichen Kontext durchaus umfassend ("allseitig") und ohne Bindung an frühere Beurteilungen neu geprüft werden (BGE <ref-ruling> E. 2.3 mit Hinweisen). Ein anderer "Rechtstitel", auf dessen Fehlen sich der Beschwerdeführer beruft, ist nicht erforderlich. Sodann hat die Vorinstanz zu Recht auf Feststellungen zur Frage verzichtet, ob sich der Gesundheitszustand zwischen dem 10. Oktober 2007 und dem 5. Dezember 2019 relevant verbesserte, mithin (auch) eine Rentenrevision nach Art. 17 Abs. 1 ATSG möglich wäre.
5.
5.1. Hinsichtlich der pro futuro festzulegenden Arbeitsfähigkeit (vgl. E. 2.2 hievor) hat das kantonale Gericht festgestellt, die SMAB-Sachverständigen hätten in ihrer interdisziplinären Gesamtbeurteilung keine Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit des Beschwerdeführers erhoben. Sowohl in der zuletzt ausgeübten Tätigkeit als Koch wie auch für jede andere adaptierte Tätigkeit (körperlich leicht bis mittelschwer mit Heben und Tragen von Lasten bis 15 kg; ohne Zwangshaltungen über Kopf) bestehe eine volle Arbeitsfähigkeit.
5.2. Dass diese Feststellungen offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, ist weder ersichtlich noch in der Beschwerde (substanziiert) dargelegt. Sie bleiben für das Bundesgericht verbindlich (E. 1 hievor). Die vorinstanzlichen Erwägungen zur Beweiskraft der SMAB-Expertise vom 20. Februar 2018 und hinsichtlich des von der Beschwerdegegnerin vorgenommenen Einkommensvergleichs sind unbestritten geblieben und geben keinen Anlass zu näherer Überprüfung. Damit hält die von der Vorinstanz bestätigte Rentenaufhebung vor Bundesrecht stand. Die Beschwerde ist unbegründet.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 Satz 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Oktober 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Grünenfelder