Sachverhalt:
A.
A.a. Der 1972 geborene A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zug vom 6. Januar 2010 seit Februar 2008 eine halbe Rente (Invaliditätsgrad 53 %). Ausserdem hatte ihm die IV-Stelle diverse Hilfsmittel, unter anderem die leihweise Abgabe von Gehstöcken, zugesprochen.
Die IV-Stelle liess den Versicherten zwischen dem 9. und 22. November 2010 an vier verschiedenen Tagen observieren. Infolge der Observationsergebnisse (Bericht vom 24. November 2010) sistierte sie die Leistungen (Verfügung vom 13. April 2011) und traf weitere Abklärungen, namentlich veranlasste sie eine psychiatrische Expertise bei Dr. med. B._, FMH Psychiatrie und Psychotherapie, (Gutachten vom 21. Dezember 2011). Mit Verfügung vom 5. November 2012 hob die Verwaltung den Rentenanspruch rückwirkend per 1. Februar 2008 auf. Mit einer weiteren Verfügung vom 9. November 2012 forderte sie zu Unrecht bezogene Rentenleistungen für die Zeit vom 1. Februar 2008 bis zum 30. April 2011 zurück.
A.b. Das Verwaltungsgericht des Kantons Zug hob die Verfügung vom 5. November 2012 auf und wies die Sache zur ergänzenden Sachverhaltsabklärung an die IV-Stelle zurück (Entscheid vom 26. Juni 2014). Diese hob den Rentenanspruch auf das Ende des der Zustellung der Verfügung folgenden Monats auf (Verfügung vom 9. September 2015). Ausserdem hob es die Rückerstattungsverfügung vom 9. November 2012 auf und sprach A._ rückwirkend ab Mai 2011 bis zur Rentenaufhebung per Ende Oktober 2015 wieder Rentenleistungen zu (Verfügung vom 22. September 2015).
B.
Mit Entscheid vom 13. Oktober 2016 wies das Verwaltungsgericht des Kantons Zug die gegen die Verfügungen vom 9. und vom 22. September 2015 eingereichte Beschwerde ab.
C.
A._ beantragt vor Bundesgericht, der Entscheid des Verwaltungsgerichts des Kantons Zug vom 13. Oktober 2016 und die Verfügung der IV-Stelle vom 22. (recte: 9.) September 2015 seien aufzuheben. Es seien ihm über den 31. Oktober 2015 hinaus die bisherigen Rentenleistungen (Invaliditätsgrad von 53 %), nebst 5 % Verzugszins, auszurichten und sämtliche Hinweise auf die im November 2010 erfolgte Foto- und Videoobservation, inklusive das Revisionsgutachten des Dr. med. B._, aus den Akten zu entfernen. Eventualiter sei die Sache zu medizinischen und beruflich-erwerbsbezogenen Abklärungen sowie zum Neuentscheid an das Verwaltungsgericht zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen (BSV) schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei, bzw. auf Abweisung der Beschwerde. Am 20. März 2017 hat A._ dazu Stellung genommen.
D.
Die erste und zweite sozialrechtliche sowie die erste öffentlich-rechtliche Abteilung haben zu folgenden Rechtsfragen ein Verfahren nach Art. 23 Abs. 2 BGG durchgeführt:
"1.- Hat das EGMR-Urteil 61838/10 vom 18. Januar 2017 auch in der Invalidenversicherung Gültigkeit, indem eine von der IV-Stelle angeordnete Observation einer genügenden gesetzlichen Grundlage entbehrt und daher Art. 8 EMRK bzw. Art. 13 BV verletzt?
2.- Ist das Beweismaterial, das - im Rahmen einer von der IV-Stelle rechtswidrig angeordneten Observation - im öffentlich frei einsehbaren Raum gewonnen wurde, im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar?"
Die drei Abteilungen haben die Rechtsfragen bejaht.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2. Die Beschwerde hat unter anderem die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form - unter Bezugnahme auf und in Auseinandersetzung mit den entscheidenden vorinstanzlichen Erwägungen - darzulegen ist, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 1 und 2 BGG). Dabei gilt in Bezug auf die Sachverhaltsfeststellung und Beweiswürdigung durch die Vorinstanz wie auch in Bezug auf die Verletzung von Grundrechten eine qualifizierte Begründungspflicht (Art. 106 Abs. 2 BGG; Urteil 9C_306/2016 vom 4. Juli 2016 E. 1.1 mit Hinweis auf <ref-ruling> E. 1.3 S. 261 und Urteil 9C_619/2014 vom 31. März 2015 E. 2.2).
1.3. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. E. 1.2 vorne), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236).
2.
Die Rentenaufhebung per Ende Oktober 2015 basiert hauptsächlich auf dem psychiatrischen Gutachten des Dr. med. B._ vom 21. Dezember 2011, das unter anderem unter Einbezug des Überwachungsberichts und der Fotodokumentation eines Mitarbeiters der C._ AG vom 24. November 2010 erging. Das ebenfalls erstellte Videomaterial hat der Gutachter nicht gesichtet.
Der Beschwerdeführer bestreitet, dass das besagte Gutachten eine rechtskonforme Entscheidgrundlage für die durchgeführte Rentenrevision nach Art. 17 ATSG darstellt, da eine ausdrückliche und hinreichende gesetzliche Grundlage zur Foto- und Videoobservation im Bereich der Invalidenversicherung fehle. Das Abstellen auf diese Unterlagen resp. auf solche, die sich darauf abstützten, verletze den Schutz der Privatsphäre gemäss Art. 13 Abs. 1 BV bzw. das Recht auf Achtung des Privatlebens gemäss Art. 8 EMRK. Der Beschwerdeführer beruft sich dabei auf das Urteil 61838/10 des Europäischen Gerichtshofes für Menschenrechte (EGMR) vom 18. Oktober 2016 (endgültig am 18. Januar 2017).
3.
3.1. Das EGMR-Urteil 61838/10 vom 18. Oktober 2016 betrifft die Streitsache Savjeta Vukota-Bojic gegen die Schweiz. Die Versicherte war im Auftrage des Unfallversicherers von einem Privatdetektiv überwacht worden. Darin erblickte der EGMR eine Verletzung von Art. 8 EMRK, wonach jede Person das Recht auf Achtung ihres Privat- und Familienlebens, ihrer Wohnung und ihrer Korrespondenz hat (Abs. 1), sowie eine Behörde in die Ausübung dieses Rechts nur eingreifen darf, soweit der Eingriff gesetzlich vorgesehen und in einer demokratischen Gesellschaft notwendig ist für die nationale oder öffentliche Sicherheit, für das wirtschaftliche Wohl des Landes, zur Aufrechterhaltung der Ordnung, zur Verhütung von Straftaten, zum Schutz der Gesundheit oder der Moral oder zum Schutz der Rechte und Freiheiten anderer (Abs. 2; vgl. auch Art. 13 BV in Verbindung mit Art. 36 BV, die im Wesentlichen den gleichen Gehalt wie Art. 8 EMRK aufweisen [<ref-ruling> E. 6.1.1 S. 347; <ref-ruling> E. 7 S. 394; Urteil 1C_219/2007 vom 19. Oktober 2007 E. 2.3, u.a. publ. in: Pra 2008 Nr. 12 S. 87; vgl. auch Stephan Breitenmoser, Die Schweizerische Bundesverfassung, St. Galler Kommentar, 3. Aufl. 2014, N. 2 zu Art. 13 BV]).
3.2. In der Unfallversicherung dient (e) primär Art. 43 ATSG in Verbindung mit Art. 28 ATSG als gesetzliche Grundlage für die Anordnung einer privatdetektivlichen Observation im öffentlichen Raum. Während letztere Bestimmung unter anderem eine allgemeine Auskunftspflicht der versicherten Person statuiert (Art. 28 Abs. 2 ATSG), handelt erstere von der Abklärungspflicht des Versicherungsträgers. Dieser hat die Begehren zu prüfen, die notwendigen Abklärungen von Amtes wegen vorzunehmen und die erforderlichen Auskünfte einzuholen (Art. 43 Abs. 1 Satz 1 ATSG). Dazu sieht Art. 96 Abs. 1 lit. b UVG vor, dass die mit der Durchführung, der Kontrolle oder der Beaufsichtigung der Durchführung des UVG betrauten Organe befugt sind, die Personendaten, einschliesslich besonders schützenswerter Daten und Persönlichkeitsprofile, zu bearbeiten oder bearbeiten zu lassen, die sie benötigen, um die ihnen nach dem UVG übertragenen Aufgaben zu erfüllen, namentlich um die Leistungsansprüche zu beurteilen sowie Leistungen zu berechnen, zu gewähren und mit Leistungen anderer Sozialversicherungen zu koordinieren.
Hintergrund dieser Praxis bildet <ref-ruling> E. 5.4.2 S. 173. In diesem Leiturteil hatte das Bundesgericht für das unfallversicherungsrechtliche Verfahren erwogen, eine regelmässige Observation versicherter Personen durch Privatdetektive stelle jedenfalls dann einen durch Art. 43 in Verbindung mit Art. 28 ATSG abgedeckten, relativ geringfügigen Eingriff in die grundrechtlichen Positionen der überwachten Personen dar, wenn sie sich auf den öffentlichen Raum beschränke.
3.3. In den Rz. 66-68 des Urteils 61838/10 vom 18. Oktober 2016 legt der EGMR zunächst in allgemeiner Weise dar, wie die Formulierung "soweit der Eingriff gesetzlich vorgesehen" in Art. 8 Abs. 2 EMRK zu verstehen ist: Die entsprechende Massnahme muss in einem nationalen Gesetz verankert sein, das der betroffenen Person zugänglich ist. Ihre Konsequenzen müssen für diese vorhersehbar sein. Vorhersehbarkeit heisst dabei, dass das nationale Gesetz hinsichtlich Umstände und Voraussetzungen, unter denen staatliche Behörden zu einem Eingriff ins Privatleben ermächtigt werden, genügend klar sein muss. Mit Blick auf das Missbrauchspotential, das einer verdeckten Überwachung immanent ist, muss sich diese auf ein Gesetz abstützen, das besonders präzise ist, zumal die zur Verfügung stehende Technologie immer ausgeklügelter wird. Das Gesetz muss Schutz vor einem willkürlichen Eingriff bieten.
Ob dieser Schutz gegeben ist, überprüft der EGMR anhand aller Faktoren des konkreten Falles. Mit anderen Worten müssen sich die Art und Weise der Überwachung (beispielsweise "nur" reines Berichten oder auch Fotografieren bzw. Filmen), der Umfang der Massnahme ("nur" statische oder aktiv verfolgende Überwachung), die Dauer der Massnahme (insbesondere bezüglich der gesamten Überwachungsaktion), der Grund der Anordnung, die Zuständigkeit betreffend die Anordnung sowie Durchführung und Beaufsichtigung der Observation wie auch die Rechtsmittelmöglichkeiten aus dem nationalen Gesetz ergeben.
3.4. In Bezug auf den konkreten Fall der Savjeta Vukota-Bojic kam der EGMR sodann zum Schluss, dass Art. 28 und Art. 43 ATSG sowie Art. 96 UVG hinsichtlich der strittigen Observation (Bericht, Fotodokumentation und Videoaufnahmen) keine angemessene und wirksame Garantie gegen Missbrauch boten, an welchem Ergebnis sich nichts ändere, dass die fragliche Überwachung weniger ins Privatleben eingreife als zum Beispiel eine Telefonabhörung (Rz. 76 f. des Urteils 61838/10 vom 18. Oktober 2016).
Der EGMR anerkannte wohl, dass die zitierten Gesetzesbestimmungen der Versicherten frei zugänglich waren (Rz. 69 f.). Auch erinnerte er mit Blick auf die Frage, ob Art. 28 und 43 ATSG sowie Art. 96 UVG explizit oder zumindest implizit das Aufnehmen von Fotos oder Videos erlaubten, daran, dass die Auslegung und Anwendung nationalen Rechts Sache der nationalen Gerichte sei (Rz. 71). Eine im Gesamten hinreichend klare und detaillierte Gesetzesbestimmung vermochte er jedoch nicht auszumachen. Art. 28 ZGB (zivilrechtlicher Schutz der Persönlichkeit) und Art. 179quater StGB (strafrechtlicher Schutz des Privatbereichs) in Verbindung mit der Rechtsprechung des Bundesgerichts (Beschränkung der Observation auf den öffentlichen Raum; Verbot der Kontaktaufnahme mit der versicherten Person zwecks Eindringens in deren Privatleben) allein genügten nicht (Rz. 72 f.). Sie umfassten keine versicherungsspezifischen Vorschriften betreffend die Bewilligung oder die Beaufsichtigung der Durchführung einer Observation. Ferner eröffneten sich Versicherungsgesellschaften (in Erfüllung einer öffentlich-rechtlichen Aufgabe) infolge fehlender Regelung der Höchstdauer der Überwachung bzw. infolge fehlender Regelung deren gerichtlichen Überprüfbarkeit ein weiter Ermessensspielraum über den Beschluss, unter welchen Umständen eine Observation eingeleitet wird und wie lange eine solche dauert (Rz. 74). Im Weiteren schwiegen sich Art. 28 und Art. 43 ATSG sowie Art. 96 UVG über die örtliche und zeitliche Aufbewahrung der Aufzeichnungen, über die Zugangsbefugnis zu den gesammelten Daten und über die Anfechtungsmöglichkeit der diesbezüglichen Handhabung wie auch über die Durchsicht, die Verwendung, die Weitergabe oder die Zerstörung der Aufzeichnungen aus (Rz. 75).
3.5. In der Folge erübrigte sich ein Eingehen auf die Frage nach der Notwendigkeit des Eingriffs in einer demokratischen Gesellschaft, wie es Art. 8 Abs. 2 EMRK zusätzlich fordert (Rz. 78 des EGMR-Urteils 61838/10 vom 18. Oktober 2016).
4.
In der Invalidenversicherung findet sich in Art. 59 Abs. 5 IVG eine spezialgesetzliche Grundlage, die es ermöglicht, zur Bekämpfung des ungerechtfertigten Leistungsbezugs Spezialisten beizuziehen. Gemäss höchstrichterlicher Rechtsprechung ist eine Observation durch eine Privatdetektei davon mitumfasst (<ref-ruling> E. 5.2 S. 331 mit Hinweis auf die Materialien). Insgesamt präsentiert sich jedoch keine andere Rechtslage als im UV-Verfahren. Es mag durchaus sein, dass verschiedene Punkte wie die Aktenführung und Aufbewahrung, das Bearbeiten und die Bekanntgabe von Personendaten sowie das sozialversicherungsrechtliche Verfahren zur Überprüfung der Rechtmässigkeit einer Verfügung heute schon in anderen Gesetzen geregelt werden, wie das BSV festhält, ohne dass es aber die entsprechenden gesetzlichen Fundstellen angibt. Indes räumt es selber ein, dass die weiteren Punkte wie die Dauer der Observation, das Verfahren der Anordnung oder die zulässigen Observationsumstände nicht in einem Gesetz selber geregelt sind. Dass diese Punkte mehr oder weniger detailliert in "etliche (n) Urteile (n) des Bundesgerichts" konkretisiert sind, wie das BSV meint, genügt nach Auffassung des EGMR eben nicht. Für ihn ist diesbezüglich nicht massgebend, dass Nachforschungen durch einen Privatdetektiv Ausnahmecharakter haben (<ref-ruling> E. 5.4.2 S. 174: "nur in einem verschwindend kleinen Promillesatz"). Vielmehr bemisst er das Erfordernis einer gesetzlichen Grundlage sowie das Ausmass deren Bestimmtheit am erheblichen Missbrauchs- und Willkürpotential, das einer Observation innewohnt.
Nach dem Gesagten fehlt es in der Invalidenversicherung - gleichermassen wie im Unfallversicherungsrecht - an einer genügenden gesetzlichen Grundlage, welche die verdeckte Überwachung umfassend klar und detailliert regelt, mithin die Observation des Beschwerdeführers im November 2010 an und für sich rechtswidrig, das heisst in Verletzung von Art. 8 EMRK bzw. Art. 13 BV erfolgte. An <ref-ruling> kann nicht weiter festgehalten werden.
5.
Eine andere Frage ist, ob das Material, das im Rahmen der widerrechtlichen Observation gesammelt wurde, im vorliegenden Verfahren beweismässig verwertbar ist. Wie aus dem EGMR-Urteil 61838/10 vom 18. Oktober 2016 erhellt, ist sie allein nach schweizerischem Recht zu beantworten. Der EGMR prüft nur, aber immerhin, ob ein Verfahren insgesamt fair im Sinne von Art. 6 Abs. 1 EMRK gewesen ist (Rz. 91, 93 f. und 96).
5.1.
5.1.1. Im Strafrecht dürfen Beweise, welche die Strafbehörden in strafbarer Weise oder unter Verletzung von Gültigkeitsvorschriften erhoben haben, nicht verwertet werden, es sei denn, ihre Verwertung sei zur Aufklärung schwerer Straftaten unerlässlich (Art. 141 Abs. 2 StPO). Vor Inkrafttreten der Schweizerischen Strafprozessordnung am 1. Januar 2011 war nach der bundesgerichtlichen Rechtsprechung die Verwertbarkeit rechtswidrig erlangter Beweismittel verfassungsrechtlich nicht derart absolut ausgeschlossen, sondern lediglich dem Grundsatz nach. Die ältere Rechtsprechung hat sie zugelassen, wenn das Beweismittel an sich zulässig bzw. auf gesetzmässigem Weg erreichbar war. Nach der neueren Rechtsprechung genügte dies nicht mehr. Vielmehr war eine Interessenabwägung anzustellen: Je schwerer die zu beurteilende Straftat war, umso eher überwog das öffentliche Interesse an der Wahrheitsfindung das private Interesse des Angeklagten daran, dass der fragliche Beweis unverwertet blieb (<ref-ruling> E. 4.1.1 und 4.1.2 S. 278 f. mit Hinweisen). Mit Blick auf das Gebot eines fairen Verfahrens ergab sich sodann insoweit eine weitere Präzisierung, als eine gegen Art. 8 EMRK verstossende Videoaufnahme zu strafprozessualen Zwecken solange verwertbar war, als der Beschuldigte die aufgezeichneten Handlungen aus eigenem Antrieb und ohne äussere Beeinflussung gemacht hatte und ihm dabei keine Falle gestellt worden war (<ref-ruling> E. 4.2 S. 279). Diese Rechtsprechung ist mangels fachspezifischer Kodifizierung auch ins Sozialversicherungsrecht eingeflossen (Urteil 8C_239/2008 vom 17. Dezember 2009 E. 6.4.2 Abs. 2).
In diesem Bereich findet sich keine Bestimmung des Beweisverwertungsverbots. Die stattgefundene Observation entbehrt einer formellen Voraussetzung in dem Sinne, dass der Gesetzgeber wohl in der Invalidenversicherung eine Observationsmöglichkeit durch eine Privatdetektei ausdrücklich installieren wollte, diese jedoch nicht hinreichend legiferierte (vgl. E. 3.4 und 4 vorne). Wie der erläuternde Bericht des BSV vom 22. Februar 2017 zur Eröffnung des Vernehmlassungsverfahrens über die Revision des ATSG (S. 5 f. unten) zeigt, soll dieses Manko rasch behoben werden. Da am 1. Januar 2011 zudem die Schweizerische Zivilprozessordnung in Kraft getreten ist, mit der nebst dem Strafprozessrecht ein weiterer Teil des Verfahrensrechts aktualisiert wurde, rechtfertigt es sich, dass für den Entscheid über die Verwertbarkeit des rechtswidrig erlangten Beweises (vgl. E. 4 vorne) somit hauptsächlich die Interessenabwägung zwischen privaten und öffentlichen Interessen massgebend ist (vgl. Art. 152 Abs. 2 ZPO). Dies gilt umso mehr, als die meisten kantonalen Verfahrensordnungen (vgl. Art. 61 ATSG) subsidiär auf die ZPO verweisen, so auch § 14 Abs. 1 Verwaltungsrechtspflegegesetz des Kantons Zug (VRG; 162.1), und weder das VRG noch die ZPO eine zusätzliche Hürde aufstellen.
5.1.2. In concreto handelt es sich um (unbeeinflusste) Handlungen des Beschwerdeführers, die im öffentlichen Raum aufgenommen wurden. Zudem war die Observation, eingeleitet auf Grund ausgewiesener Zweifel über die Leistungs (un) fähigkeit des Versicherten, auf vier Tage innerhalb eines Zeitraums von 14 Tagen begrenzt, wobei die einzelnen Überwachungsphasen zwischen fünf und neun Stunden dauerten. Der Beschwerdeführer war somit weder einer systematischen noch ständigen Überwachung ausgesetzt und erlitt in dieser Hinsicht einen relativ bescheidenen Eingriff in seine grundrechtliche Position. Stellt man diesen Aspekten das erhebliche und gewichtige öffentliche Interesse an der Verhinderung des Versicherungsmissbrauchs (vgl. dazu Urteil 8C_239/2008 vom 17. Dezember 2009 E. 6.4.1 Abs. 2 und dortige Hinweise) entgegen, ergibt sich, dass der vorliegende Observationsbericht (inklusive Fotodokumentation und Videoaufnahmen) in die Beweiswürdigung miteinbezogen werden können.
5.1.3. Anzufügen ist, dass im Sozialversicherungsrecht wohl insoweit von einem absoluten Verwertungsverbot auszugehen ist, als es sich um Beweismaterial handelt, das im nicht öffentlich frei einsehbaren Raum zusammengetragen wurde (vgl. Urteil 8C_830/2011 vom 9. März 2012 E. 6.4). Diese Situation ist hier jedoch nicht zu beurteilen.
5.2.
5.2.1. Der Beschwerdeführer macht keinen Verstoss gegen Art. 29 Abs. 1 BV bzw. Art. 6 Abs. 1 EMRK geltend. Das Bundesgericht hat daher im vorliegenden Fall keinen Anlass zu überprüfen, ob der Miteinbezug des fraglichen Observationsmaterials, das in Verletzung von Art. 8 EMRK erlangt wurde, das Verfahren als Ganzes unfair erscheinen lässt (vgl. E. 1.2 und 1.3 vorne). Dessen ungeachtet sei an dieser Stelle zumindest kurz und beispielhaft skizziert, welche Kriterien im Falle einer Überprüfung von Relevanz sind: Die versicherte Person muss Gelegenheit haben, die Echtheit des rechtswidrig erlangten Beweises und dessen Verwendung (in einem streitigen Verfahren) anzufechten. Eine Rolle kommt ferner der Beweisqualität zu. Ebenso den Umständen, unter denen der Beweis gewonnen wurde (vgl. dazu E. 5.1.2 in initio), und der Frage, ob sie geeignet sind, Zweifel an seiner Glaubwürdigkeit oder Aussagekraft zu wecken. Ins Gewicht fällt ausserdem, welchen Einfluss der rechtswidrig erlangte Beweis auf den Prozessausgang hat (EGMR-Urteil 61838/10 vom 18. Oktober 2016 Rz. 95).
5.2.2. Der Vollständigkeit halber sei schliesslich erwähnt, dass der EGMR im Urteil 61838/10 vom 18. Oktober 2016 eine Verletzung von Art. 6 Abs. 1 EMRK verneint hat (Rz. 100).
5.3. Zusammenfassend steht fest, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten gestützt auf eine unzensierte Aktenlage zu beurteilen ist.
6.
In materieller Hinsicht ist das Vorliegen einer Verbesserung des psychischen Gesundheitszustandes ab dem Untersuchungszeitpunkt (16. Dezember 2011) durch Dr. med. B._ streitig. Das kantonale Gericht hat bereits in seinem Rückweisungsentscheid vom 26. Juni 2014 dessen Gutachten, in welchem dem Versicherten aktuelleine leichtgradige Einschränkung der Arbeitsfähigkeit im Umfang von 20 % attestiert wird, als beweiskräftig qualifiziert (die Begründung ist in E. 6.2 des angefochtenen Entscheides wiedergegeben; zur sachverhaltlichen und rechtlichen Bindung von Rückweisungsentscheiden vgl. statt vieler Urteil 1C_205/2016 vom 10. November 2016 E. 4.6.2 mit weiteren Hinweisen).
Der Beschwerdeführer bemängelt, im besagten Gutachten werde bloss eine abweichende Einschätzung eines im Wesentlichen gleich gebliebenen Sachverhaltes vorgenommen. Dr. med. B._ nenne keine Fakten, die eine Verbesserung der Gesundheitslage gegenüber der Rentenzusprache vom 6. Januar 2010 zu begründen vermöchten. Dabei übersieht der Versicherte, dass die Vorinstanz die Tatfrage, ob sich der psychische Gesundheitszustand seit der Rentenzusprache verändert hat, in Würdigung verschiedener medizinischer Berichte, die aktenkundig sind, insbesondere in Anbetracht der ergänzenden Stellungnahme des Dr. med. D._ vom 19. März 2015, bejaht hat. Qualifiziert anzufechten (vgl. E. 1.2 vorne) ist daher nicht die retrospektiv andere Einschätzung des Dr. med. B._, sondern diese vorinstanzliche Beweiswürdigung, was unterblieben ist, weshalb sie auch für das Bundesgericht gilt (vgl. E. 1.1 vorne). Es ergeben sich immer wieder Konstellationen, bei welchen von einer im medizinischen Gutachten festgestellten Arbeitsunfähigkeit abzuweichen ist, ohne dass dieses seinen Beweiswert verlöre (vgl. statt vieler Urteil 8C_92/2017 vom 20. März 2017 E. 5.1 mit weiteren Hinweisen).
Die Beschwerde ist demnach auch in diesem Punkt unbegründet und abzuweisen.
7.
Gemäss Verfahrensausgang gehen die Gerichtskosten zu Lasten des Beschwerdeführers (Art. 66 Abs. 1 BGG). Der IV-Stelle ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Juli 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Williner