Sachverhalt:
A.
A.a. Der 1962 geborene A._, zuletzt bis Juli 2006 als Betriebsmechaniker bei der B._ AG tätig, meldete sich im April 2006 wegen den Folgen eines 2004 in Kuba erlittenen Autounfalls bei der Invalidenversicherung zum Leistungsbezug an; anfangs 2009 ersuchte er um Hilflosenentschädigung. Die IV-Stelle des Kantons Zug (nachfolgend: IV-Stelle) veranlasste verschiedene Abklärungen. Sie zog zudem die Akten der Schweizerischen Unfallversicherung bei, welche dem Versicherten am 9. Februar 2009 eine Invalidenrente (Erwerbsunfähigkeit 100 %) und eine Integritätsentschädigung (Integritätseinbusse 9.5 %) gewährte. Mit Verfügungen vom 30. Juni und vom 14. Juli 2009 sprach die IV-Stelle A._ ab März 2008 eine Entschädigung wegen leichter Hilflosigkeit sowie ab Dezember 2005 eine ganze Invalidenrente einschliesslich zweier Kinderrenten zu (Invaliditätsgrad 100 %).
A.b. Im Rahmen eines 2011 eingeleiteten Revisionsverfahrens tätigte die IV-Stelle weitere Abklärungen; namentlich veranlasste sie eine polydisziplinäre Begutachtung bei der Swiss Medical Assessment- and Businesscenter AG (SMAB; Expertise vom 25. Juni 2013). Zudem liess sie A._ wegen des Verdachts eines ungerechtfertigten Leistungsbezugs zwischen Oktober 2012 und April 2013 an insgesamt 11 Tagen observieren (Ermittlungsbericht der C._ AG vom 13. Mai 2013). Das Überwachungsmaterial liess sie den SMAB-Gutachtern zur Stellungnahme zukommen (gutachterliche Ergänzung vom 14. April 2014). Weil der Regionale Ärztliche Dienst (RAD) Zweifel am psychiatrischen Teilgutachten der SMAB-Expertise geäussert hatte, ordnete die IV-Stelle mit Zwischenverfügung vom 11. Juli 2014 eine weitere Begutachtung an. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 22. Januar 2015 ab. Gestützt auf das in der Folge von Dr. med. D._ und lic. phil. E._ erstattete - am 17. Dezember 2015 und am 4. Januar 2016 je ergänzte - interdisziplinäre (neuropsychologische, psychiatrische) Gutachten vom 12. November 2015 hob die IV-Stelle die Rente per 31. Januar 2017 auf (Verfügung vom 2. Dezember 2016; Invaliditätsgrad 38 %).
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug ab (Entscheid vom 20. Dezember 2018).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei eine Verletzung des rechtlichen Gehörs durch die Vorinstanz festzustellen und die Angelegenheit zu neuer Entscheidung an diese zurückzuweisen. Es sei ihm unter Aufhebung des angefochtenen Entscheids weiterhin eine ganze Rente auszurichten. Es seien sämtliche Observationsvideos sowie sämtliche Dokumente, welche sich mit diesen befassten, aus den Akten zu entfernen und eventualiter ein gerichtliches Obergutachten einzuholen. Es sei die IV-Stelle zu verpflichten, die Kosten für die (im vorinstanzlichen Beschwerdeverfahren eingereichte) Expertise der Gutachtenstelle F._ in der Höhe von Fr. 17'316.- zu übernehmen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. A._ reichte am 3. Juni 2019 eine weitere Stellungnahme und am 21. Juli 2019 eine Kostennote ein.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Gleiches gilt für die konkrete Beweiswürdigung (Urteil 9C_204/2009 vom 6. Juli 2009 E. 4.1, nicht publ. in <ref-ruling>, aber in: SVR 2009 IV Nr. 53 S. 164). Dagegen sind frei überprüfbare Rechtsfragen (Urteil 9C_194/2017 vom 29. Januar 2018 E. 3.2) die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352).
2.
Streitgegenstand bildet die vorinstanzlich bestätigte Aufhebung der ganzen Rente durch die IV-Stelle gestützt auf Art. 17 Abs. 1 ATSG bzw. die Frage, ob der Beschwerdeführer über den 31. Januar 2017 hinaus weiterhin Anspruch auf eine ganze Rente hat.
2.1. Das kantonale Gericht legte die massgebenden Rechtsgrundlagen zutreffend dar. Es betrifft dies unter anderem die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (Art. 4 Abs. 1 IVG in Verbindung mit Art. 8 Abs. 1 ATSG) und Erwerbsunfähigkeit (Art. 7 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG), zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 6.2.2 S. 269; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 mit Hinweisen) sowie zur Rentenrevision (Art. 17 Abs. 1 ATSG) und zu den für die vergleichende revisionsweise Überprüfung relevanten Zeitpunkten (<ref-ruling> E. 3 S. 132 f.; <ref-ruling> E. 5.4 S. 114). Darauf wird verwiesen.
2.2. Zu ergänzen ist, dass der Beweiswert eines zwecks Rentenrevision erstellten Gutachtens wesentlich davon abhängt, ob es sich ausreichend auf das Beweisthema - erhebliche Änderung des Sachverhalts - bezieht. Einer für sich allein betrachtet vollständig nachvollziehbaren und schlüssigen medizinischen Beurteilung, die im Hinblick auf eine erstmalige Beurteilung der Rentenberechtigung beweisend wäre, mangelt es daher in der Regel am rechtlich erforderlichen Beweiswert, wenn sich die (von einer früheren abweichende) ärztliche Einschätzung nicht hinreichend darüber ausspricht, inwiefern eine effektive Veränderung des Gesundheitszustandes stattgefunden hat. Vorbehalten bleiben Sachlagen, in denen es evident ist, dass die gesundheitlichen Verhältnisse sich verändert haben (Urteil 9C_418/2010 vom 29. August 2011 E. 4.2, in: SVR 2012 IV Nr. 18 S. 81).
3.
Das kantonale Gericht mass der Expertise D._/E._ vom 12. November 2015 (inklusive ergänzender Stellungnahmen vom 17. Dezember 2015 und vom 4. Januar 2016) Beweiswert zu und führte aus, diese räume auch die letzten Unklarheiten nach dem SMAB-Gutachten schlüssig aus. Daran vermöchten weder die vom Beschwerdeführer veranlasste Expertise der Gutachtenstelle F._ noch die in die Beweiswürdigung einzubeziehenden Observationsergebnisse etwas zu ändern. Gestützt auf das Gutachten D._/E._ kam das kantonale Gericht zum Schluss, es habe sich seit der ursprünglichen Rentenzusprache offensichtlich eine relevante Verbesserung der gesundheitlichen Situation bzw. eine deutlich bessere Angewöhnung oder Anpassung an die Behinderung eingestellt.
4.
Die vom Beschwerdeführer erhobene Rüge, die Vorinstanz habe das rechtliche Gehör (Art. 29 Abs. 2 BV) verletzt, weil sie die festgestellte Veränderung nicht begründet und sich nicht mit seinen Gegenargumenten auseinandergesetzt habe, ist unbegründet. So ist nicht erforderlich, dass sich das kantonale Gericht mit sämtlichen Vorbringen einlässlich auseinandersetzt und jedes explizit widerlegt (vgl. <ref-ruling> E. 2.2 S. 84; <ref-ruling> E. 3.2 S. 270; je mit Hinweisen). Die Urteilsbegründung darf sich auf die entscheidwesentlichen Gesichtspunkte beschränken, solange sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und diesen sachgerecht anfechten kann (vgl. <ref-ruling> E. 4.3.2 S. 436). Es fehlen Anhaltspunkte dafür und es wird auch nicht geltend gemacht, dass der Beschwerdeführer den Entscheid vom 20. Dezember 2018 nicht sachgerecht hätte anfechten können.
5.
5.1. Der Beschwerdeführer bestreitet zu Recht nicht, dass die Expertise D._/E._ vom 12. November 2015 die Beweisanforderungen erfüllt, welche im Hinblick auf eine erstmalige Beurteilung der Rentenberechtigung massgebend wären (<ref-ruling> E. 6.2.2 S. 269; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352). Wie er indessen richtig einwendet, hängt der Beweiswert eines zwecks Rentenrevision erstellten Gutachtens wesentlich davon ab, ob es sich ausreichend auf das Beweisthema - erhebliche Änderung des Sachverhalts - bezieht (vgl. E. 2.2 hievor). Im Lichte dieser Rechtsprechung ist der Expertise D._/E._ der Beweiswert abzusprechen: Die Gutachter haben ihre Einschätzungen in der Expertise vom 12. November 2015 - weil von der Verwaltung gar nicht erst erfragt - ohne Bezugnahme auf die gesundheitlichen Verhältnisse im Zeitpunkt der ursprünglichen Rentenzusprache abgegeben.
5.2. Erst am 15. Dezember 2015 stellte die IV-Stelle entsprechende Ergänzungsfragen, welche die Gutachter am 17. Dezember 2015 und am 4. Januar 2016 beantworteten; eine nochmalige Untersuchung oder eine erneute interdisziplinäre Absprache fanden nicht statt. Auch diese Ergänzungen ändern nichts am fehlenden revisionsrechtlichen Beweiswert der Expertise als Ganzes. Dr. med. D._ führte zwar zusätzlich aus, es hätten sich seit Dezember 2005 "durchaus Veränderungen im medizinischen Sachverhalt ergeben". Er beschränkte sich diesbezüglich aber auf den Verweis auf diagnostische Abweichungen im Vergleich zur SMAB-Expertise sowie auf das Fehlen neuropsychologischer Einschränkungen, wie sie seinerzeit insbesondere im Bericht der Klinik G._ vom 9. Januar 2006 beschrieben wurden. Dr. med. D._ kam aber weder auf seine Aussage im Gutachten vom 12. November 2015 zurück, wonach der Grad der Arbeitsunfähigkeit seit 2006 stationär sein soll, noch trug er dem Umstand Rechnung, dass er damals erhebliche Zweifel sowohl am SMAB-Gutachten wie auch am Bericht der Klinik G._ geäussert hatte. Was die Ergänzung des lic. phil. E._ vom 4. Januar 2016 anbelangt, führte dieser zwar aus, die von ihm diagnostizierte Lese- und Rechtschreibstörung habe bereits Ende 2005 vorgelegen. Er äusserte sich aber erneut nicht dazu, inwiefern sich der seinerzeit festgestellte Sachverhalt (insbesondere die gemäss RAD-Stellungnahme vom 23. April 2009 der Berentung zugrunde gelegene anhaltende kognitive Leistungsminderung) verändert hat.
5.3. Das (ergänzte) Gutachten D._/E._ ist damit für die massgebliche Frage einer revisionsrechtlich bedeutsamen Verbesserung der gesundheitlichen Verhältnisse nicht beweiswertig. Mit Blick auf die gutachterlichen Ausführungen (insbesondere des Dr. med. D._; vgl. E. 5.2 hievor) sowie die deutlichen Hinweise auf Inkonsistenzen und eine Aggravation beim Beschwerdeführer (vgl. u.a. SMAB-Expertise vom 25. Juni 2011, Ergänzung der lic. phil. H._ vom 11. März 2014 sowie Expertise D._/E._ vom 12. November 2015) kann eine solche Verbesserung indessen nicht zum Vornherein ausgeschlossen werden. Daran ändert die vom Beschwerdeführer veranlasste Expertise der Gutachtenstelle F._ vom 23. Dezember 2016 nichts. Mit Ausnahme der Bemerkung, die neuropsychologischen Störungen seien überwiegend wahrscheinlich seit dem Unfall oder seit 2009 unverändert, findet in der Expertise keinerlei Auseinandersetzung mit der Frage einer revisionsrechtlich bedeutsamen Verbesserung im massgeblichen Zeitraum statt. Die Sache ist daher in teilweiser Gutheissung der Beschwerde zur Einholung eines Gerichtsgutachtens (unter Vorlage der vollständigen IV-Akten, einschliesslich der Observationsunterlagen; vgl. nachfolgend E. 5.4) an die Vorinstanz zurückzuweisen. Nach erfolgter Begutachtung hat diese erneut über den Anspruch des Beschwerdeführers auf Leistungen der Invalidenversicherung zu entscheiden.
5.4. Beweismaterial, das im Rahmen einer rechtswidrig angeordneten Überwachung im öffentlich frei einsehbaren Raum gewonnen wurde, ist im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar (<ref-ruling> E. 5.1.1 S. 385 f.). Der Einwand des Beschwerdeführers, die von der IV-Stelle veranlasste Observation sei mangels eines hinreichenden Anfangsverdachts (vgl. zur Gebotenheit <ref-ruling> E. 5.4.2 S. 332 ff.) rechtswidrig gewesen, ist daher nicht von entscheidender Bedeutung, dies unabhängig davon, dass die zwischenzeitlich aufgelegten, bereits im vorinstanzlichen Verfahren offerierten anonymen Schreiben vom 22. Februar 2011 und vom 16. Januar 2013 einen solchen Anfangsverdacht ohne Weiteres begründen. Das kantonale Gericht hat in E. 6.4.2 des angefochtenen Entscheids dargelegt, weshalb es die rechtswidrig (ohne genügende gesetzliche Grundlage) erlangten Observationsergebnisse für verwertbar hält. Der Beschwerdeführer befasst sich damit nicht substanziiert (vgl. E. 1.1), und es ist auch nicht ersichtlich, dass der vorinstanzliche Entscheid diesbezüglich rechtswidrig sein soll (vgl. Urteile 9C_254/2019 vom 28. Juni 2019 E. 3.2 und 9C_561/2018 vom 8. Februar 2019 E. 5.2.2).
5.5. Im Hinblick auf die offensichtliche Unangemessenheit einer vollständigen Erwerbsunfähigkeit in Anbetracht der ärztlicherseits beschriebenen Residualbeschwerden, Inkonsistenzen und Aggravation seien die Parteien auf die Möglichkeit einer vergleichsweisen Prozesserledigung (Art. 50 ATSG) hingewiesen.
6.
6.1. Die Rückweisung der Sache an den Versicherungsträger oder das vorinstanzliche Gericht zur erneuten Abklärung (mit noch offenem Ausgang) gilt für die Frage der Auferlegung der Gerichtskosten sowie der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (Art. 68 Abs. 2 BGG; <ref-ruling> E. 11.1 S. 312). Mithin hat die unterliegende IV-Stelle die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten.
6.2. Der Beschwerdeführer beanstandet die fehlende Kostenauflage der Expertise der Gutachtenstelle F._ vom 23. Dezember 2016 an die IV-Stelle. Unter dem Titel Parteientschädigung sind auch die notwendigen Kosten privat eingeholter Gutachten zu vergüten, soweit die Parteiexpertise für die Entscheidfindung unerlässlich war (Art. 45 Abs. 1 ATSG; <ref-ruling> E. 5c S. 63). Dem Gutachten der Gutachtenstelle F._ kommt für die Frage des Vorliegens eines Revisionsgrundes keine massgebende Bedeutung zu (vgl. E. 5.3 hievor). Die Vorinstanz hat demnach zu Recht von einer Kostenüberbindung abgesehen.
6.3. Der Rechtsvertreter des Beschwerdeführers macht mit Kostennote vom 1. Juli 2019 ein Honorar von Fr. 5'824.- (20.8 Stunden à Fr. 280.-) sowie Auslagen und Ersatz der Mehrwertsteuer von zusammen Fr. 636.60, insgesamt also Fr. 6'460.60 geltend. Dieser Betrag ist mit Blick darauf, dass eine besondere sachverhaltliche oder rechtliche Komplexität nicht auszumachen ist und erhebliche Teile der letztinstanzlich eingereichten Beschwerde aus dem kantonalen Verfahren übernommen wurden, als unangemessen hoch zu qualifizieren. Die Entschädigung wird deshalb auf Fr. 3'000.- herabgesetzt.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Zug vom 20. Dezember 2018 aufgehoben. Die Sache wird zu neuer Entscheidung im Sinne der Erwägungen an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. August 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Meyer
Der Gerichtsschreiber: Williner