Sachverhalt:
A.
Der 1959 geborene A._ arbeitete als Lagerist/Spediteur bei der B._ AG. Am 26. April 2001 erlitt er einen Arbeitsunfall, für welchen die Schweizerische Unfallversicherungsanstalt (Suva) die gesetzlichen Leistungen nach UVG erbrachte. Nach Wiedererlangung der vollen Arbeitsfähigkeit verneinte die Suva die Rückfallkausalität in Bezug auf die ab Oktober 2001 erneut geltend gemachten gesundheitlichen Beeinträchtigungen. Das Verwaltungsgericht des Kantons Zug bestätigte den Standpunkt der Suva. Es verneinte in Bezug auf die rückfallweise angemeldeten Gesundheitsstörungen ein natürlich unfallkausales organisches Korrelat; soweit die Beschwerden organisch nicht hinreichend objektivierbar seien, fehle es an deren Unfalladäquanz (unangefochten in Rechtskraft erwachsener Entscheid vom 30. Juni 2003).
Wegen der seit dem Unfall geklagten Beschwerden bezog A._ von der Invalidenversicherung ab 1. April 2002 bei einem Invaliditätsgrad von 86% eine ganze Invalidenrente nebst fünf Kinderrenten (Verfügung vom 22. April 2004). Auf ein entsprechendes Gesuch des Versicherten hin verneinte die IV-Stelle des Kantons Zug einen Anspruch auf Hilflosenentschädigung (rechtskräftige Verfügung vom 7. Januar 2005).
Die 2007 von Amtes wegen eingeleitete Revision führte zur Bestätigung des unveränderten Invaliditätsgrades von 86%. Im Rahmen eines weiteren, 2013 von Amtes wegen eingeleiteten Revisionsverfahrens veranlasste die IV-Stelle eine rheumatologisch-psychiatrische Begutachtung. Das bidisziplinäre Gutachten erstatteten die Dres. med. C._, Facharzt für Psychiatrie und Psychotherapie, und D._, Facharzt für Innere Medizin und Rheumaerkrankungen, am 14. August 2014. Nach erfolgloser Durchführung verschiedener Eingliederungsmassnahmen hob die IV-Stelle die Invalidenrente bei einem neu auf 35% ermittelten Invaliditätsgrad mit Verfügung vom 2. September 2016 auf.
B.
Die hiegegen erhobene Beschwerde des A._ wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 26. April 2018 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ im Wesentlichen beantragen, ihm sei unter Aufhebung des angefochtenen Gerichtsentscheids und der Verfügung vom 2. September 2016 eine Invalidenrente zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung der Arbeitsfähigkeit durch Einholung eines <ref-ruling> genügenden Gerichtsgutachtens zurückzuweisen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Das Bundesgericht hat die vorinstanzlichen Akten eingeholt und das Gesuch um Wiederherstellung der aufschiebenden Wirkung abgewiesen. Es wird kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 8C_635/2018 vom 21. Dezember 2018 E. 1.2 mit Hinweis). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteil 9C_222/2016 vom 19. Dezember 2016 E. 1.2 mit Hinweis); in diese greift das Bundesgericht auf Beschwerde hin nur bei Willkür (zu diesem Begriff <ref-ruling> E. 2.4 S. 5 mit Hinweisen) ein, insbesondere wenn die Vorinstanz offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt (<ref-ruling> E. 2.1 S. 211). Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261 f.). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 S. 246 mit Hinweis).
1.3. Als Rechtsfrage gilt, ob der in rechtlicher Hinsicht (oder zur Beurteilung der strittigen Ansprüche) massgebliche Sachverhalt vollständig festgestellt wurde. Rechtsfrage ist sodann die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach <ref-law> und der Anforderungen an den Beweiswert von Arztberichten (vgl. <ref-ruling> E. 5.1 S. 232). Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit sowie bei der konkreten Beweiswürdigung geht es um Sachverhaltsfragen (Urteil 8C_590/2015 vom 24. November 2015 E. 1, nicht publ. in <ref-ruling>; <ref-ruling> E. 3.2 S. 397). Ob und in welchem Umfang die ärztlichen Feststellungen anhand der Indikatoren nach <ref-ruling> auf Arbeitsunfähigkeit schliessen lassen, ist wiederum eine frei überprüfbare Rechtsfrage (<ref-ruling> E. 7 S. 308; Urteil 8C_181/2018 vom 7. August 2018 E. 1).
2.
Strittig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Beschwerde des Versicherten gegen die von der IV-Stelle am 2. September 2016 revisionsweise verfügte Rentenaufhebung abgewiesen hat.
3.
Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zur Rentenrevision (<ref-law>; <ref-ruling> E. 3. S. 132), zum revisionsrechtlich massgebenden Vergleichszeitraum (<ref-ruling> E. 5.4 S. 114) sowie zu den beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 4.6 S. 471) zutreffend dargelegt. Gleiches gilt in Bezug auf die mit <ref-ruling> geänderte Rechtsprechung zu den somatoformen Schmerzstörungen und vergleichbaren psychosomatischen Leiden sowie zum damit eingeführten strukturierten Beweisverfahren, das mit <ref-ruling> und 418 neu grundsätzlich auch auf leichte bis mittelschwere Depressionen anwendbar ist. Darauf wird verwiesen.
4.
Laut angefochtenem Entscheid sind in revisionsrechtlicher Hinsicht für die Prüfung des Eintritts einer anspruchserheblichen Änderung des Gesundheitszustandes unbestritten die Verhältnisse von 2007 und 2016 massgebend. Dass zwischen der bidisziplinären Revisionsbegutachtung von 2014 und der Rentenaufhebung gemäss Verfügung vom 2. September 2016 mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit eine (weitere) anspruchserhebliche Veränderung des Gesundheitszustandes eingetreten wäre, wird nicht substanziiert geltend gemacht und ist nicht ersichtlich.
5.
Mit ausführlicher und zutreffender Begründung hat das kantonale Gericht in allen Teilen überzeugend dargelegt, dass von einer unheilbaren Verletzung des Anspruchs auf rechtliches Gehör im Zusammenhang mit der von der IV-Stelle beim psychiatrischen Gutachter Dr. med. C._ nachträglich eingeholten Stellungnahme vom 23. Juni 2016 keine Rede sein kann. Was der Beschwerdeführer hiegegen vorbringt, ist unbegründet.
5.1. Wie aus der Auftragserteilung hervor geht, war Dr. med. C._ am 17. Juni 2016 von der IV-Stelle einzig dazu eingeladen worden, mit Blick auf das bidisziplinäre Gutachten vom 14. August 2014 nachträglich noch zu den vom Bundesgericht mit <ref-ruling> zwischenzeitlich neu formulierten Standardindikatoren ergänzend Stellung zu nehmen. Angesichts der durch diese Praxisänderung bestimmten Thematik bestand - entgegen dem Beschwerdeführer - keine Veranlassung, ihm zuvor noch die Gelegenheit zur Formulierung von "Anschlussfragen" einzuräumen.
5.2.
5.2.1. Vor der Praxisänderung gemäss <ref-ruling> erstellte Gutachten verlieren nicht per se ihren Beweiswert. Je nach Abklärungstiefe und -dichte kann - wie hier - eine punktuelle Ergänzung genügen (<ref-ruling> E. 8 S. 309).
5.2.2. Nach <ref-law> und <ref-law> haben die Parteien Anspruch auf rechtliches Gehör. Das rechtliche Gehör dient einerseits der Sachaufklärung, anderseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Betroffenen eingreift. Dazu gehört insbesondere das Recht, sich vorgängig zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und sich zum Beweisergebnis zu äussern, wenn dieses geeignet ist, die Entscheidung zu beeinflussen (Urteil des Eidg. Versicherungsgerichts [heute: sozialrechtliche Abteilungen des Bundesgerichts] I 618/04 vom 20. September 2006 E. 4.1). Der Anspruch auf rechtliches Gehör umfasst als Mitwirkungsrecht somit alle Befugnisse, die einer Partei einzuräumen sind, damit sie in einem Verfahren ihren Standpunkt wirksam zur Geltung bringen kann. Wie weit dieses Recht geht, lässt sich nicht in allgemeiner Weise, sondern nur unter Würdigung der konkreten Umstände sagen (<ref-ruling> E. 5.3 S. 17).
Nach der Rechtsprechung kann selbst eine schwerwiegende Verletzung des rechtlichen Gehörs geheilt werden, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären. Voraussetzung ist, dass die heilende Instanz selber in Bezug auf die vom Gehörsmangel betroffenen Aspekte die gleiche Kognition hat wie die untere Instanz (<ref-ruling> E. 4.2.2.2 S. 126). Unter diesen Umständen kann sogar eine Pflicht zur Heilung im Rechtsmittelverfahren bestehen (Urteil 9C_595/2018 vom 26. November 2018 E. 4.1 mit Hinweisen).
5.3. Das kantonale Gericht hat zutreffend erkannt, dass die IV-Stelle die ergänzende Stellungnahme bei Dr. med. C._ gezielt zwecks Klärung der vom Versicherten im Vorbescheidverfahren unter Berufung auf <ref-ruling> gegen das bidisziplinäre Gutachten erhobenen Einwände in Auftrag gab. Neben den zahlreichen übrigen Beanstandungen des Beschwerdeführers prüfte die Vorinstanz auch sämtliche, gegen die Ausführungen des Dr. med. C._ gemäss ergänzender Stellungnahme vom 23. Juni 2016 erhobenen Vorbringen mit voller Kognition. Mit Blick auf die hier gegebenen Umstände, die eingeschränkte Fragestellung an Dr. med. C._ laut Schreiben der IV-Stelle vom 17. Juni 2016 und die einschlägige Begründung des angefochtenen Entscheids legt der Versicherte nicht dar und ist nicht ersichtlich, inwiefern das kantonale Gericht Bundesrecht verletzt haben soll, indem es hinsichtlich der ergänzenden Stellungnahme des Dr. med. C._ eine unheilbare Verletzung des Anspruchs auf rechtliches Gehör verneint hat.
6.
6.1. Das kantonale Gericht hat nach ausführlicher Würdigung der umfangreichen Aktenlage und mit sorgfältiger Begründung unter Bezugnahme auf die zahlreich erhobenen Einwände des Beschwerdeführers dem bidisziplinären Gutachten vom 14. August 2014 sowie der ergänzenden Stellungnahme des Dr. med. C._ vom 23. Juni 2016 vollen Beweiswert zuerkannt. Gestützt darauf schloss es im Vergleich zur medizinischen Ausgangslage im massgebenden Referenzzeitpunkt von 2007 (vgl. E. 4 hievor) auf eine anspruchserhebliche Verbesserung des Gesundheitszustandes und der Arbeitsfähigkeit. In antizipierter Beweiswürdigung verzichtete es auf die Abnahme weiterer Beweise. Basierend auf der ausschliesslich psychiatrisch begründeten Einschränkung der Leistungsfähigkeit in leidensangepasster Tätigkeit von 25% bestätigte es den von der IV-Stelle auf 35% ermittelten Invaliditätsgrad.
6.2. Zutreffend hält der Beschwerdeführer fest, Dr. med. C._ habe in seinem psychiatrischen Teilgutachten vom 14. August 2014 auch eine depressive Störung diagnostiziert. Er habe diese lediglich abweichend von den Ergebnissen der psychiatrischen Untersuchung vom 11. Oktober 2007 des Dr. med. E._ vom Regionalen Ärztlichen Dienst (RAD) der Invalidenversicherung der Zentralschweiz anders qualifiziert. Dr. med. E._ diagnostizierte neben der anhaltenden somatoformen Schmerzstörung (ICD-10 F45.4) eine mittelgradige depressive Störung (ICD-10 F32.1). Er beschrieb den Versicherten als seelisch angegriffenen und gebrochenen Mann und attestierte ihm eine vollständige Arbeitsunfähigkeit ohne jegliche Ressourcen, auch nur eine Teilarbeitsfähigkeit in leidensangepasster Tätigkeit verwerten zu können. Demgegenüber konnte Dr. med. C._ beim Beschwerdeführer anlässlich der Exploration 2014 keinen sehr grossen Leidensdruck in Bezug auf die auch von ihm festgestellten depressiven Symptome erkennen. Der klinische Eindruck liess ihn unter anderem auf eine Verdeutlichungstendenz schliessen. Dies auch auf Grund der äusserst auffälligen Diskrepanz zwischen den geltend gemachten Einschränkungen, sich schmerzbedingt unter anderem nicht mehr selber duschen und rasieren zu können, aber trotz dieser Defizite in der Lage zu sein, selber Auto zu fahren. Neben der anhaltenden somatoformen Schmerzstörung vermochte Dr. med. C._ unter den gegebenen Umständen nur noch eine gegenwärtig leichte Ausprägung einer rezidivierenden depressiven Störung, nicht näher bezeichnet, im Sinne einer atypischen monopolaren Depression zu diagnostizieren (ICD-10 F33.9). Dr. med. C._ gelangte demnach auf Grund der von ihm anlässlich der Exploration vom 11. August 2014 erhobenen Befunde zu einer abweichenden Diagnose im Vergleich zu Dr. med. E._.
6.3. Soweit das kantonale Gericht gestützt auf das bidisziplinäre Gutachten und die ergänzende Stellungnahme auf einen im Revisionszeitpunkt verbesserten Gesundheitszustand schloss, legt der Beschwerdeführer nicht dar, inwiefern die vorinstanzliche Beweiswürdigung Bundesrecht verletzt und diese medizinische Tatsachenfeststellung offensichtlich unrichtig bzw. geradezu willkürlich sein soll (vgl. dazu E. 1.2). Denn auch der RAD-Arzt med. pract. F._ erkannte anlässlich seines Standortgesprächs vom 6. März 2014 übereinstimmend mit Dr. med. C._ - jedoch im Gegensatz zu den früheren Einschätzungen des Dr. med. E._ - erhebliche Diskrepanzen zwischen der vom Versicherten anhaltend geklagten Hilflosigkeit in Bezug auf seine Körperpflege einerseits und dessen äusserem Erscheinungsbild andererseits. Inwiefern die auf den Beurteilungen des med. pract. F._ und der Gutachter Dres. med. C._ und D._ basierenden Sachverhaltsfeststellungen der Vorinstanz zum Gesundheitszustand des Beschwerdeführers im Revisionszeitpunkt bundesrechtswidrig sein sollen, ist nicht ersichtlich und legt der Versicherte nicht dar. Insbesondere behauptet der Beschwerdeführer aktenwidrig, Dr. med. C._ habe Verdeutlichungstendenzen erstmals im "Nachtragsbericht" vom 23. Juni 2016 aufgeführt. Tatsache ist, dass er bereits im psychiatrischen Teilgutachten ausführlich und unter Bezugnahme auf die zum Teil als erheblich ausgefallenen diagnostischen Testergebnisse begründete, weshalb er auf Grund seines klinischen Gesamteindruckes mit nur wenig eingeschränkten kognitiven Fähigkeiten und nur wenig reduziertem Antrieb auch unter Berücksichtigung des Mini-ICF-APP Ratings auf eine Verdeutlichungstendenz schloss.
6.4. Entgegen der sinngemässen Argumentation des Beschwerdeführers vertraten weder die IV-Stelle noch das kantonale Gericht den Standpunkt, die revisionsweise Bestätigung des unveränderten Anspruchs auf eine ganze Invalidenrente vom 20. November 2007 nach Massgabe der Einschätzungen des Dr. med. E._ sei zweifellos unrichtig gewesen und deshalb in Wiedererwägung zu ziehen. Zwar brachte Dr. med. C._ im psychiatrischen Teilgutachten vom 14. August 2014 zum Ausdruck, es erschliesse sich für ihn nicht, weshalb Dr. med. E._ 2007 die Verwertbarkeit jedwelcher (Teilzeit-) Tätigkeit in leidensangepasster Beschäftigung auf dem Arbeitsmarkt ausgeschlossen habe. Diese Aussage beruht jedoch auf dem Standpunkt des Dr. med. C._ gestützt auf die von ihm 2014 erhobenen Befunde hinsichtlich vorhandener Ressourcen. Offensichtlich präsentierte sich Dr. med. E._ 2007 noch ein ganz anderes Bild des Versicherten im Vergleich zu den Verhältnissen im Jahre 2014 anlässlich der bidisziplinären Begutachtung und des Standortgespräches mit med. pract. F._. Insofern ist verständlich, dass Dr. med. C._ die gegenteiligen Einschätzungen des Dr. med. E._ nicht nachvollziehen konnte.
6.5. Der Beschwerdeführer vermag auch aus den vorinstanzlich aufgelegten Berichten des Psychiaters Dr. med. G._, vom 29. März 2017, sowie der Hausärztin/Internistin Dr. med. H._, vom 1. März 2017 nichts zu seinen Gunsten abzuleiten. Während der Bericht des früher behandelnden Dr. med. G._ für den hier relevanten Vergleichszeitraum von 2007 bis 2016 nicht aussagekräftig ist, steht fest, dass die Hausärztin nicht über eine psychiatrisch-fachärztliche Qualifikation verfügt. Das kantonale Gericht trug bei der Würdigung der medizinischen Aktenlage bundesrechtskonform der Erfahrungstatsache Rechnung, dass behandelnde Ärzte in Zweifelsfällen mitunter eher zugunsten ihrer Patienten aussagen. Dies gilt grundsätzlich nicht nur für Hausärzte (vgl. <ref-ruling> E. 4.5. S. 470; <ref-ruling> E. 3a/cc S. 353), sondern auch für spezialärztlich behandelnde Medizinalpersonen (Urteile 8C_180/2017 vom 21. Juni 2017 E. 4.4.2; 8C_616/2014 vom 25. Februar 2015 E. 5.3.3.3 in: SVR 2015 IV Nr. 26 S. 78; je mit Hinweisen) und ungeachtet allfälliger wirtschaftlicher Interessen, wird der Erfahrungssatz doch aus der auftragsrechtlichen Vertrauensstellung des behandelnden Arztes abgeleitet (Urteil 8C_609/2017 vom 27. März 2018 E. 4.3.3). Soweit die Vorinstanz gestützt auf das psychiatrische Teilgutachten des Dr. med. C._ davon ausging, dass sich der Versicherte trotz seiner psychischen Beschwerden seit Jahren keiner fachärztlich-psychiatrischen Behandlung mehr unterzogen und Antidepressiva - wenn überhaupt - nur unregelmässig eingenommen habe, ist die Sachverhaltsfeststellung gemäss angefochtenem Entscheid nach Aktenlage jedenfalls nicht als offensichtlich unrichtig oder sonst wie bundesrechtswidrig zu beanstanden. Die hiegegen erhobenen Einwände beschränken sich im wesentlichen auf appellatorische Kritik am vorinstanzlichen Entscheid (vgl. dazu E. 1.2 hievor), worauf nicht weiter einzugehen ist.
6.6. Das kantonale Gericht hat sich im Übrigen ausführlich mit den bereits im vorinstanzlichen Verfahren gegen die Beweiskraft des bidisziplinären Gutachtens vorgebrachten Einwendungen (Dauer der Begutachtung, Unvollständigkeit bzw. Unkenntnis der Aktenlage anlässlich der Begutachtung, usw.) auseinandergesetzt und begründet, weshalb dem Gutachten der Dres. med. D._ und I._ unter Mitberücksichtigung der ergänzenden Stellungnahme vom 23. Juni 2016 zu den Fragen nach einer rechtserheblichen Änderung des Gesundheitszustandes und der trotz gesundheitlicher Beeinträchtigungen verbleibenden Leistungsfähigkeit in leidensangepasster Tätigkeit volle Beweiskraft zukommt. Was der Beschwerdeführer hiegegen vorbringt, ist - soweit er sich überhaupt mit der einschlägigen Begründung des angefochtenen Entscheides auseinander setzt - offensichtlich unbegründet.
6.7. Nach der Intention der Praxisänderung gemäss <ref-ruling> hat die Invaliditätsbemessung bei psychosomatischen Störungen stärker als bisher den Aspekt der funktionellen Auswirkungen zu berücksichtigen (<ref-ruling> E. 6 S. 307). Diesem Aspekt trug der psychiatrische Gutachter bei der Stellungnahme zu den Standardindikatoren gemäss <ref-ruling> E. 4.1.3 S. 297 f. Rechnung. Unter Berücksichtigung der bereits anlässlich der bidisziplinären Begutachtung 2014 festgestellten Diskrepanzen zwischen den vom Versicherten geschilderten Symptomen und Beschwerden einerseits und seiner Alltagsgestaltung andererseits verwies Dr. med. I._ nachvollziehbar und überzeugend auf entsprechende Inkonsistenzen. Der Beschwerdeführer treffe sich regelmässig mit Freunden und Bekannten und werde durch seine Familie gut unterstützt. Die Überzeugung, das eigene Schicksal beeinflussen respektive kontrollieren zu können, sei zwar eingeschränkt, aber nicht aufgehoben. Die Selbstwirksamkeitserwartung sei durchaus vorhanden. Der Versicherte sei in der Lage, einen Willen zu bilden und zielgerichtet diesem Willen entsprechend zu handeln. Zusammenfassend stellte das kantonale Gericht ausreichende soziale und strukturelle Ressourcen fest, welche es dem Beschwerdeführer ermöglichen, auch unter Berücksichtigung des funktionellen Schweregrades seiner Gesundheitsschädigung eine leidensangepasste Tätigkeit bei vollem zeitlichem Pensum mit einer Einschränkung der Leistungsfähigkeit von 25% auszuüben.
6.8. Im Übrigen hat die Vorinstanz in Bezug auf die Feststellung des rechtserheblichen Sachverhalts in medizinischer und erwerblicher Hinsicht einen Bedarf an weiteren Abklärungen in antizipierter Beweiswürdigung verneint. Insoweit kann einzig Willkür gerügt werden (<ref-ruling> E. 5.3 S. 236 f. mit Hinweisen; Urteil 1C_135/2013 vom 16. Dezember 2013 E. 2; vgl. auch Urteil 8C_316/2017 vom 20. Juni 2017 E. 2.3.4 mit Hinweis). Dass die vorinstanzliche antizipierte Beweiswürdigung willkürlich sei, macht der Versicherte nicht in einer dem qualifizierten Rügeprinzip genügenden Weise (vgl. E. 1.2 hievor) geltend. Mit Blick auf seine Vorbringen finden sich keine Anhaltspunkte für eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellungen beziehungsweise eine diesbezügliche Rechtsverletzung.
6.9. Nach dem Gesagten hat die Vorinstanz gestützt auf das beweiskräftige bidisziplinäre Gutachten und die ergänzende Stellungnahme vom 23. Juni 2016 weder offensichtlich unrichtig noch sonst wie bundesrechtswidrig festgestellt, dass die Leistungsfähigkeit des Versicherten im Revisionszeitpunkt angesichts seiner weniger stark ausgeprägten depressiven Störung in einer leidensangepassten Tätigkeit bei vollem zeitlichem Pensum nur noch zu 25% eingeschränkt war. Gegen die darauf basierende vorinstanzliche Bestätigung des von der IV-Stelle revisionsweise auf 35% ermittelten Invaliditätsgrades erhebt der Beschwerdeführer zu Recht keine (substanziierten) Einwände.
6.10. Demnach hat es beim angefochtenen Entscheid, mit welchem die Vorinstanz die Aufhebung der Invalidenrente gemäss Verfügung der IV-Stelle vom 2. September 2016 bestätigte, sein Bewenden.
7.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. März 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli