Sachverhalt:
A.
A.a. Der 1962 geborene A._, zuletzt von September 2003 bis Juli 2006 als Betriebsmechaniker bei der B._ AG tätig gewesen, meldete sich im April 2006 wegen den Folgen eines Ende 2004 erlittenen Autounfalls bei der Invalidenversicherung zum Leistungsbezug an. Anfang 2009 ersuchte er zudem um eine Hilflosenentschädigung. Die IV-Stelle des Kantons Zug (nachfolgend: IV-Stelle) veranlasste verschiedene Abklärungen. Sie zog zudem die Akten der Schweizerischen Unfallversicherungsanstalt (Suva) bei, die A._ am 9. Februar 2009 eine Invalidenrente (Erwerbsunfähigkeit: 100 %) sowie eine Integritätsentschädigung (Integritätseinbusse: 9,5 %) gewährte. Mit Verfügungen vom 30. Juni und 14. Juli 2009 sprach die IV-Stelle dem Versicherten ab März 2008 eine Entschädigung wegen leichter Hilflosigkeit sowie ab Dezember 2005 eine ganze Invalidenrente einschliesslich zweier Kinderrenten zu (Invaliditätsgrad: 100 %).
A.b. Im Rahmen eines Ende 2011 eingeleiteten Revisionsverfahrens tätigte die IV-Stelle weitere Abklärungen; namentlich veranlasste sie eine polydisziplinäre Begutachtung bei der Swiss Medical Assessment- and Business-Center AG (SMAB; Expertise vom 25. Juni 2013). Zudem liess sie A._ wegen des Verdachts eines ungerechtfertigten Leistungsbezugs zwischen Oktober 2012 und April 2013 an insgesamt 11 Tagen observieren (Ermittlungsbericht der C._ AG vom 13. Mai 2013). Das Überwachungsmaterial sendete die Verwaltung den SMAB-Gutachtern zur Stellungnahme zu (gutachterliche Ergänzungen vom 11. März und 14. April 2014). Weil der Regionale Ärztliche Dienst (RAD) Zweifel am psychiatrischen Teilgutachten der SMAB-Expertise geäussert hatte, ordnete die IV-Stelle mit Zwischenverfügung vom 11. Juli 2014 eine weitere Begutachtung an. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug am 22. Januar 2015 ab. Gestützt auf das in der Folge von Dr. med. D._, FMH Psychiatrie und Psychotherapie, und lic. phil. E._ erstattete - am 17. Dezember 2015 und am 4. Januar 2016 je ergänzte - interdisziplinäre Gutachten vom 12. November 2015 hob die IV-Stelle die Rente auf den 31. Januar 2017 hin auf (Verfügung vom 2. Dezember 2016; Invaliditätsgrad: 38 %).
B.
B.a. Mit Urteil vom 20. Dezember 2018 wies das Verwaltungsgericht des Kantons Zug die gegen die Verfügung vom 2. Dezember 2016 erhobene Beschwerde des A._ ab. Das daraufhin von diesem angerufene Bundesgericht hiess seine Beschwerde teilweise gut, hob das Urteil des Verwaltungsgerichts auf und wies die Sache zu neuer Entscheidung im Sinne der Erwägungen an dieses zurück. Im Übrigen wies es die Beschwerde ab (Urteil 9C_113/2019 vom 29. August 2019).
B.b. Das Verwaltungsgericht des Kantons Zug holte in der Folge bei Dr. med. F._, FMH Psychiatrie und Psychotherapie, das versicherungspsychiatrische Gutachten vom 16. April 2020 ein. Mit Urteil vom 6. April 2021 wies es die Beschwerde erneut ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei das Urteil vom 6. April 2021 aufzuheben und ihm weiterhin eine "volle Rente", eventualiter eine solche "nach Gesetz" auszurichten. Eventualiter sei eine Verletzung des rechtlichen Gehörs festzustellen und die Angelegenheit an die Vorinstanz zurückzuweisen, damit er zur Wiedererwägung Stellung nehmen könne. Subeventualiter sei ein polydisziplinäres gerichtliches Obergutachten einzuholen. Gleichzeitig stellt A._ ein Ausstandsbegehren gegen die am Urteil 9C_113/2019 vom 29. August 2019 beteiligt gewesenen Gerichtspersonen.
Erwägungen:
1.
Der Beschwerdeführer ersucht für das vorliegende Verfahren um Ausstand aller am Urteil 9C_113/2019 vom 29. August 2019 beteiligt gewesenen Gerichtspersonen (Bundesrichter Parrino, Bundesrichterin Moser-Szeless sowie Gerichtsschreiber Williner), sofern diese zwischenzeitlich nicht ohnehin schon in den Ruhestand getreten seien (Bundesrichter Meyer).
1.1. Gemäss Art. 34 BGG treten Gerichtspersonen in den Ausstand, wenn sie in der Sache ein persönliches Interesse haben (lit. a), in einer anderen Stellung in der gleichen Sache tätig waren (lit. b), mit einer Partei, ihrem Vertreter oder einer Person, die in der gleichen Sache als Mitglied der Vorinstanz tätig war, durch Heirat, eingetragene Partnerschaft oder dauernde Lebensgemeinschaft liiert, verwandt oder verschwägert sind (lit. c und d), oder wenn sie aus anderen Gründen, insbesondere wegen besonderer Freundschaft oder persönlicher Feindschaft mit einer Partei oder ihrem Vertreter beziehungsweise ihrer Vertreterin, befangen sein könnten (lit. e). Ausstandsbegehren, die allein mit der Tatsache begründet werden, dass Gerichtsmitglieder in früheren, für die gesuchstellende Partei negativ ausgefallenen Verfahren mitgewirkt haben, sind gemäss Art. 34 Abs. 2 BGG unzulässig.
1.2. Der Beschwerdeführer begründet sein Ausstandsbegehren damit, dass das Bundesgericht im Urteil 9C_113/2019 bereits eine Beurteilung in der Sache abgegeben habe, obwohl es diese zwecks Einholung eines gerichtlichen Obergutachtens an die Vorinstanz zurückgewiesen habe. Das abschliessende und zentrale Beweismittel habe gar noch nicht vorliegen können. Konkret stört sich der Beschwerdeführer an der E. 5.5 des Urteils 9C_113/2019, worin das Bundesgericht im Hinblick auf die offensichtliche Unangemessenheit einer vollständigen Erwerbsunfähigkeit in Anbetracht der ärztlicherseits beschriebenen Residualbeschwerden, Inkonsistenzen und Aggravation auf die Möglichkeit einer vergleichsweisen Prozesserledigung (Art. 50 ATSG) hingewiesen habe.
1.3. Es kann offen bleiben, ob diese Vorbringen einen Ausstandsgrund zu begründen vermögen. Denn Bundesrichter Parrino und Gerichtsschreiber Williner haben erklärt, sich freiwillig in den Ausstand zu begeben, da nicht völlig auszuschliessen sei, dass der Anschein entstehen könnte, es sei ein Ausstandsgrund gegeben. Sie wurden daher durch einen nicht vom Ausstandsgesuch betroffenen Richter sowie eine davon nicht betroffene Gerichtsschreiberin ersetzt. Da im vorliegenden Fall folglich in anderer Besetzung geurteilt wird, ist das Ausstandsbegehren gegenstandslos.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG).
2.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 mit Hinweisen).
2.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (BGE 132 V 393 E. 3.2).
3.
Streitgegenstand bildet die vorinstanzlich bestätigte Aufhebung der ganzen Rente durch die IV-Stelle gestützt auf Art. 17 Abs. 1 ATSG beziehungsweise die Frage, ob der Beschwerdeführer über den 31. Januar 2017 hinaus weiterhin Anspruch auf eine ganze Rente hat.
3.1. Das kantonale Gericht legte die massgebenden Rechtsgrundlagen zutreffend dar. Es betrifft dies u.a. die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (Art. 4 Abs. 1 IVG i.V.m. Art. 8 Abs. 1 ATSG) und Erwerbsunfähigkeit (Art. 7 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG), zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (BGE 137 V 210 E. 6.2.2; 134 V 231 E. 5.1; 125 V 351 E. 3 mit Hinweisen) sowie zur Rentenrevision (Art. 17 Abs. 1 ATSG) und zu den für die vergleichende revisionsweise Überprüfung relevanten Zeitpunkten (BGE 134 V 131 E. 3; 133 V 108 E. 5.4). Darauf wird verwiesen.
3.2. Die Vorinstanz mass der Gerichtsexpertise vom 16. April 2020 Beweiswert zu. Gestützt darauf schloss sie auf eine relevante gesundheitliche Verbesserung bzw. auf eine deutlich bessere Angewöhnung oder Anpassung an die Behinderung seit der ursprünglichen Rentenzusprache. Sie begründete diesen Schluss insbesondere damit, dass es beim Beschwerdeführer als Folge des hirnorganischen Psychosyndroms emotionale Schwankungen und depressive Inhalte verschiedener Schwere und Dauer gegeben habe; dies alles im Rahmen einer nun erfolgreich behandelten rezidivierenden depressiven Störung. Dr. med. F._ habe diesen Depressionsverlauf nicht rekonstruieren können. Im Unterschied zu früheren Abklärungen habe er keine klinisch manifeste Depression mehr feststellen können. Er habe deshalb einen Status nach depressiven Episoden diagnostiziert. Dieser Umstand sei als Revisionsgrund zu qualifizieren. Dem Gutachten des Dr. med. F._ sei somit eindeutig und unmissverständlich zu entnehmen, dass sich der Gesundheitszustand des Beschwerdeführers im Zeitraum zwischen der erstmaligen Rentenzusprache am 14. Juli 2009 und der Verfügung vom 2. Dezember 2016 verbessert habe. Im Rahmen einer Eventualbegründung kam das kantonale Gericht zum Schluss, die Verfügung vom 2. Dezember 2016 wäre auch mit der substituierten Begründung der zweifellosen Unrichtigkeit der ursprünglichen Rentenverfügung vom 14. Juli 2009 zu schützen.
4.
Der Beschwerdeführer bestreitet den Beweiswert der Gerichtsexpertise vom 16. April 2020 nicht. Er rügt indessen eine bundesrechtswidrige Beweiswürdigung, weil die Vorinstanz gestützt darauf eine Verbesserung des Gesundheitszustands bzw. eine Angewöhnung oder Anpassung an die Behinderung angenommen habe. Sie weiche damit in einem zentralen Punkt vom Gutachten ab.
4.1. Dr. med. F._ diagnostizierte im Gutachten vom 16. April 2020 (mit Auswirkungen auf die Arbeitsfähigkeit) ein leichtes hirnorganisches Psychosyndrom nach Schädelhirntrauma mit möglicher leichter (bis mittelschwerer) neuropsychologischer Funktionsbeeinträchtigung nach Autounfall Ende 2004 (ICD-10 F07.2). Darüber hinaus stellte er (ohne Auswirkungen auf die Arbeitsfähigkeit) folgende Diagnosen: Eine Aggravation/Simulation von Beschwerden (ICD-10 Z76.5), eine vorbestehende narzisstische Persönlichkeitsakzentuierung (ICD-10 Z73.1), eine Lese- und Rechtschreibschwäche (DD Störung; ICD-10 F81.0) und einen Status nach depressiven Episoden. Gefragt nach der Entwicklung des Gesundheitszustands im Zeitraum zwischen dem Unfall Ende 2004 und der Verfügung vom 2. Dezember 2016 führte der Gutachter aus, eine rezidivierende depressive Störung verschiedener Schwere habe sich - initial als Anpassungsstörung - zu einem nicht genauer bestimmbaren Zeitpunkt im Jahre 2005 oder 2006 entwickelt. Abweichend von früheren Abklärungen konnte er im Untersuchungszeitpunkt keine klinisch manifeste Depression mehr feststellen. Die Vorinstanz wies diesbezüglich wohl korrekt darauf hin, Dr. med. F._ sei ausser Stande gewesen, den Depressionsverlauf retrospektiv zu rekonstruieren. Immerhin hatte dieser aber berichtet, die rezidivierende Depression habe beim Beschwerdeführer zu keiner anhaltenden Beeinträchtigung geführt. Er war denn insgesamt auch zum Ergebnis gelangt, aus psychiatrischer Sicht sei seit ungefähr Mitte 2006 von einem stabilen Gesundheitszustand auszugehen. Im Lichte des Gesagten verbietet sich der vorinstanzliche Schluss, der Gerichtsexpertise lasse sich eindeutig und unmissverständlich eine (relevante) Verbesserung des Gesundheitszustands im massgebenden Zeitraum entnehmen. Es finden sich darin auch keine Hinweise für eine deutliche Angewöhnung oder eine Anpassung an die Beschwerden, die das kantonale Gericht ohne nähere Begründung als Alternative zu einer gesundheitlichen Verbesserung in Erwägung zog. Der im angefochtenen Urteil gestützt auf die Gerichtsexpertise gezogene gegenteilige Schluss verletzt somit Bundesrecht.
Mit dem Beschwerdeführer ist gestützt auf die unbestritten beweiskräftige Gerichtsexpertise vom 16. April 2020 von einem stabilen Gesundheitszustand seit etwa Mitte 2006 auszugehen. Auf die von diesem subeventualiter beantragte Einholung eines gerichtlichen Obergutachtens ist deshalb zu verzichten.
4.2. Wie der Beschwerdeführer unter Hinweis auf die Rechtsprechung richtig einwendet, kann unter Umständen auch ein früher nicht gezeigtes Verhalten eine im Sinne von Art. 17 Abs. 1 ATSG relevante Tatsachenänderung darstellen, wenn sich dieses auf den Invaliditätsgrad und damit auf den Umfang des Rentenanspruchs auswirken kann. Dies trifft etwa zu bei Versicherten mit einem Beschwerdebild, auf das die Rechtsprechung gemäss BGE 141 V 281 anwendbar ist, wenn ein Ausschlussgrund vorliegt, d.h. die Leistungseinschränkung auf Aggravation oder einer ähnlichen Konstellation beruht, die eindeutig über die blosse (unbewusste) Tendenz zur Schmerzausweitung und -verdeutlichung hinausgeht (Urteil 9C_602/2016 vom 14. Dezember 2016 E. 5.2.2 mit Hinweis auf BGE 141 V 281 E. 2.2.1 und Urteil 9C_899/2014 vom 29. Juni 2015 E. 4.2, in: SVR 2015 IV Nr. 38 S. 121). Diesbezüglich hat die Vorinstanz keine Feststellungen getroffen. Diese lassen sich durch das Bundesgericht ergänzen.
4.2.1. Das Bundesgericht hatte schon im Urteil 9C_113/2019 vom 29. August 2019 erwogen, namentlich aus der am 11. März 2014 ergänzten SMAB-Expertise vom 25. Juni 2011 (recte: 2013) sowie aus dem Gutachten des Dr. med. D._ und des lic. phil. E._ vom 12. November 2015 würden sich deutliche Hinweise auf Inkonsistenzen und eine Aggravation ergeben (dortige E. 5.3). In der Zwischenzeit diagnostizierte auch Dr. med. F._ im Gerichtsgutachten vom 16. April 2020 eine Aggravation im Sinne einer verstärkten Darstellung von Beschwerden sowie eine Simulation im Sinne eines Vortäuschens von Beschwerden. Konkret führte er aus, der Beschwerdeführer verharre in seiner Krankenrolle, zeige eine appellativ anmutende Selbstlimitierung mit hohem Leidensdruck und Schonverhalten. Dies sei nicht zu sehen, wenn er sich unbeobachtet fühle. Er zeige ein aggravierendes Verhalten und stelle seine Beschwerden verschlimmernd dar mit dem Ziel, eine anhaltende Krankschreibung zu erreichen und dadurch in den Genuss von Versicherungsleistungen zu kommen. Mit Blick auf diese gutachterlichen Aussagen sowie die übrigen seit Jahren bestehenden Hinweise auf Inkonsistenzen und eine Aggravation ist von einer revisionsrechtlich relevanten Tatsachenänderung im Sinne eines früher nicht gezeigten Verhaltens auszugehen. Dieses geht eindeutig über die blosse (unbewusste) Tendenz zur Schmerzausweitung und -verdeutlichung hinaus. Insoweit liegt trotz fehlender gesundheitlicher Veränderung im massgebenden Zeitraum ein Revisionsgrund nach Art. 17 Abs. 1 ATSG vor (vgl. BGE 141 V 9 E. 2.3 zur umfassenden Prüfung des Rentenanspruchs). Gleichzeitig ist ein Ausschlussgrund im Sinne von BGE 141 V 281 E. 2.2.1 zu bejahen.
4.2.2. Was der Beschwerdeführer dagegen vorbringt, verfängt nicht. Namentlich zielt die Rüge ins Leere, der vorliegende Sachverhalt decke sich mit demjenigen, der dem Urteil 9C_621/2018 vom 27. November 2018 zugrunde gelegen habe. So hatte damals lediglich eine zeitlich schmale Beobachtungsbasis für die Beurteilung des Vorliegens eines Ausschlussgrundes bestanden. Der mit der medizinischen Begutachtung betraute Experte hatte zudem nicht ausgeschlossen, dass die Versicherte ihre Beschwerden schon vor der Rentenzusprache vorgetäuscht hatte. Demgegenüber leitete die IV-Stelle im vorliegenden Fall bereits Ende 2011 ein Revisionsverfahren ein. Seither wurde der Beschwerdeführer dreimal begutachtet und an 11 Tagen observiert. Die involvierten Gutachter stellten - spätestens nach Sichtung der Observationsergebnisse - übereinstimmend eine Aggravation/Simulation fest bzw. bezeichneten eine solche als wahrscheinlich. Deren Annahme gründet somit auf einer personell wie zeitlich breiten Beobachtungsbasis. Anders als im Urteil 9C_621/2018 fehlen hier zudem jegliche Hinweise auf eine allenfalls bereits im Rahmen der ursprünglichen Rentenzusprache bestandene bewusste oder zumindest bewusstseinsnahe Darbietung von nicht oder nicht im präsentierten Ausmass vorhandenen Einschränkungen. Zwar wurde bereits im Schlussbericht des Zentrums für berufliche Abklärung für Menschen mit Hirnschädigung vom 23. Februar 2007 auf ein tiefes Leistungsniveau beim Beschwerdeführer hingewiesen und festgehalten, vieles sei diffus und eine Beurteilung komplex. Dennoch ging der Berufsberater der IV-Stelle gestützt auf die Aktenlage insgesamt von einer positiven Einstellung und einer hohen Einsatzbereitschaft des Beschwerdeführers aus (Stellungnahme vom 15. April 2009). Erst im Rahmen einer 2013 von den SMAB-Gutachtern durchgeführten Symptomvalidierung zeigten sich grenzwertige bis leicht auffällige Ergebnisse. Während die Neuropsychologin diese Ergebnisse vorerst noch als psychische Überlagerung der Befunde interpretierte, bezeichnete sie eine Aggravationstendenz nach Kenntnisnahme der Observationsergebnisse als wahrscheinlich. Mit Blick auf diesen Verlauf verfängt der Einwand des Beschwerdeführers nicht, die von den heutigen Gutachtern sowie der Vorinstanz als Inkonsistenzen bezeichneten Umstände hätten bereits im Zeitpunkt der Rentenzusprache vorgelegen.
5.
Erstmals vor Bundesgericht rügt der Beschwerdeführer, es sei beim Einkommensvergleich zu Unrecht kein leidensbedingter Abzug gewährt worden. Dabei macht er unter Hinweis auf ein Rechtsgutachten geltend, es sei standardmässig immer dann schon ein leidensbedingter Abzug von 15 % zu gewähren, wenn das Invalideneinkommen anhand von Tabellenlöhnen ermittelt werde. Auch dieser Einwand sticht nicht: Der Beschwerdeführer ist gemäss den unbestritten gebliebenen vorinstanzlichen Feststellungen in angepasster Tätigkeit zu 80 bis 100 % arbeitsfähig (eingeschränkte Leistungsfähigkeit bei voller Präsenz). Wird der Mittelwert von 90 % berücksichtigt (vgl. Urteil 9C_226/2009 vom 19. August 2009 E. 3.2 mit Hinweisen), so resultierte selbst dann kein rentenbegründender Invaliditätsgrad, wenn ein leidensbedingter Abzug von 15 % gewährt würde. Soweit der Beschwerdeführer unter pauschalem Verweis auf das im Gerichtsgutachten umschriebene Tätigkeitsprofil einen noch höheren Abzug verlangt, lässt er ausser Acht, dass bereits in der Beurteilung der medizinischen Arbeitsfähigkeit enthaltene gesundheitliche Einschränkungen nicht zusätzlich in die Bemessung des leidensbedingten Abzugs einfliessen und so zu einer doppelten Anrechnung desselben Gesichtspunkts führen dürfen (BGE 146 V 16 E. 4.1 mit Hinweis). Andere Gründe, die einen leidensbedingten Abzug rechtfertigten, werden nicht geltend gemacht. Der vorinstanzliche Einkommensvergleich wird auch anderweitig nicht beanstandet und gibt keinen Anlass zu Weiterungen.
6.
Zusammenfassend verletzt die Bestätigung der Rentenaufhebung durch die Vorinstanz auf den 31. Januar 2017 hin im Ergebnis kein Bundesrecht. Mit Blick auf den vorhandenen Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG erübrigen sich Weiterungen zu der einzig im Rahmen der vorinstanzlichen Eventualbegründung relevanten Frage nach dem Vorliegen eines Wiedererwägungsgrunds. Ebenso kann offen bleiben, ob das kantonale Gericht das rechtliche Gehör des Beschwerdeführers verletzt hat, weil es diesem keine Möglichkeit eingeräumt hatte, sich zu dieser Eventualbegründung zu äussern.
7.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. November 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Maillard
Die Gerichtsschreiberin: Huber