Sachverhalt:
A.
Der 1961 geborene A._ meldete sich am 8. Mai 1998 wegen den somatischen und psychischen Folgen einer am 25. April 1997 erlittenen abdominalen Stichverletzung zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Luzern sprach ihm mit Wirkung ab 1. April 1998 eine ganze Rente nebst Zusatzrenten zu. Die Rente wurde mehrmals revisionsweise bestätigt, zuletzt mit Verfügung vom 3. November 2009.
Am 22. November 2010 leitete die IV-Stelle eine erneute Rentenrevision ein. In diesem Rahmen veranlasste sie im Zeitraum vom 29. April bis 24. Mai 2011 eine Observation des Versicherten und beauftragte danach die Ärztliche Begutachtungsinstitut GmbH, Basel (nachfolgend: ABI), mit einer polydisziplinären Expertise, welche am 29. Oktober 2012 erstattet wurde. Zudem liess sie A._ vom 15. bis 19. August 2016 in der psychiatrischen Klinik B._ stationär begutachten (Expertise des Dr. med. C._ vom 28. Oktober 2016). Mit Schreiben vom 26. Januar 2017 forderte die IV-Stelle den Versicherten unter Androhung einer Leistungseinstellung auf, sich einer stationären Massnahme zur Einstellung einer sinnvollen Medikation (Problematisierung des eigenmächtigen Konsums von Medikamenten) zu unterziehen. Diese fand ab dem 27. März 2017 in der psychiatrischen Klinik D._ statt. Im weiteren sprach die IV-Stelle A._ ein Belastbarkeitstraining (Mitteilung vom 26. Juli 2017) und Massnahmen zur beruflichen Integration zu (vgl. Verlaufsprotokoll Eingliederung vom 26. Januar 2018), welche infolge mangelhafter Präsenz und unklarer Motivation des Versicherten mit Schreiben vom 25. Januar 2018 abgebrochen wurden. Mit Verfügung vom 5. Februar 2018 stellte die IV-Stelle die Rentenleistungen revisionsweise per 31. März 2018 ein.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 25. Juli 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Rente auszurichten.
Das Bundesgericht führte keinen Schriftenwechsel durch.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
2.1. Streitig ist, ob die vorinstanzlich bestätigte Rentenaufhebung vor Bundesrecht standhält. Zur Frage steht dabei, ob die Voraussetzungen für eine Rentenrevision erfüllt waren. Umstritten ist des Weiteren die der Ermittlung des Invaliditätsgrades zugrunde liegende Arbeitsfähigkeit.
2.2. Das kantonale Gericht hat die für die Beurteilung des Rentenanspruchs nach <ref-law> massgeblichen Bestimmungen, insbesondere zur Erwerbsunfähigkeit (<ref-law>) und zur Invalidität (<ref-law>), vor allem bei psychischen Leiden (<ref-ruling> E. 4.2.1 S. 413; <ref-ruling>; <ref-ruling>), zutreffend dargelegt. Gleiches gilt hinsichtlich der Grundsätze zur Rentenrevision (<ref-law>), namentlich der dazu ergangenen Rechtsprechung zum Begriff der wesentlichen Änderung in den tatsächlichen Verhältnissen (<ref-ruling> E. 3 S. 132). Zu ergänzen ist, dass bei Vorliegen eines Revisionsgrundes der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") zu prüfen ist, wobei keine Bindung an frühere Beurteilungen besteht (<ref-ruling> E. 2.3 S. 11). Richtig wiedergegeben sind auch die zu beachtenden Regeln zum Beweiswert eines ärztlichen Berichts oder Gutachtens (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Es wird darauf verwiesen.
3.
Das kantonale Gericht erwog, der massgebende Referenzzeitpunkt für die Prüfung einer anspruchsrelevanten Änderung des Gesundheitszustandes bilde die Mitteilung vom 18. Mai 2009, welche auf der Stellungnahme des regionalen ärztlichen Dienstes der IV-Stelle (RAD) vom 9. März 2009 beruhte. Gemäss angefochtenem Entscheid hat sich der somatische Gesundheitszustand des Versicherten nach Durchführung der Bauchwandhernienplastik am 1. Juni 2012 beziehungsweise der danach vom 17. bis 28 Juni 2012 notwendigen Drainage wesentlich gebessert. Aufgrund des beweiskräftigen Gutachtens der ABI vom 29. Oktober 2012 spreche nichts gegen eine körperliche Belastung, weshalb die Arbeitsfähigkeit nicht mehr eingeschränkt sei. In psychiatrischer Hinsicht stellt das kantonale Gericht im Wesentlichen auf das psychiatrische Gutachten des Dr. med. C._ vom 28. Oktober 2016 ab. Demnach könne die vom Versicherten präsentierte Symptomatik - anders noch als im Revisionsverfahren in den Jahren 2008/2009 - nicht mehr objektiviert werden. Die klinisch psychopathologisch objektivierbaren Befunde würden deutlich von der sehr dramatischen Symptomdarstellung abweichen. Das liesse auf eine bewusste Aufrechterhaltung der im Verlaufe der Jahre offensichtlich remittierten Symptomatik schliessen. Die erwähnte Expertise erlaube auch im Lichte der beweisrechtlich geänderten Anforderungen gemäss BGE <ref-ruling> sowie <ref-ruling> und 418 eine zuverlässige Beurteilung. Gestützt darauf lasse sich aus invalidenversicherungsrechtlicher Sicht mit der diagnostizierten Anpassungsstörung keine relevante Arbeitsunfähigkeit mehr begründen. Schliesslich sei aus dem Verlauf der von der IV-Stelle vor der tatsächlichen Rentenaufhebung gewährten beruflichen Massnahme klar zu erkennen, dass diese aufgrund des wenig motivierten und mit Bezug auf seinen Gesundheitszustand uneinsichtigen Verhaltens des Beschwerdeführers ohne Erfolg geblieben sei. Damit sei das Scheitern der Wiedereingliederungsmassnahmen nicht auf dessen Krankheit, sondern auf seine Absicht, die bisher ausgerichtete Rente mit allen Mitteln beizubehalten, zurückzuführen. Die angefochtene Verfügung erweise sich damit als rechtens.
4.
Der Beschwerdeführer bestreitet, dass die Ergebnisse der im Zeitraum vom 29. April bis 24. Mai 2011 erfolgten Observation des Versicherten und die im Anschluss daran ergangenen Gutachten der ABI vom 29. Oktober 2012 und des Dr. med. C._ vom 28. Oktober 2016 berücksichtigt werden dürfen.
4.1. Mit Blick auf die im kantonalen Entscheid wiedergegebene Rechtsprechung (<ref-ruling> E. 4 S. 384 zur invalidenversicherungsrechtlichen Umsetzung des Urteils des Europäischen Gerichtshofes für Menschenrechte vom 18. Oktober 2016 in Sachen Vukota-Bojic gegen die Schweiz) steht fest, dass die Observation des Versicherten Art. 8 EMRK sowie <ref-law> verletzte und damit an und für sich unzulässig war.
4.2. Zu prüfen bleibt, ob die Vorinstanz die Voraussetzungen für eine Verwertbarkeit des Observationsmaterials (<ref-ruling> E. 5 S. 384 ff.) nach einer Interessenabwägung zu Recht bejaht hat. Dabei ist insbesondere unbestritten, dass der Versicherte in seinen Handlungen nicht beeinflusst worden ist. Ebenso wenig steht in Frage, dass er einer systematischen oder ständigen Überwachung ausgesetzt war und damit einen relativ bescheidenen Grundrechtseingriff erlitten hat. Der Beschwerdeführer bestreitet allein das Vorliegen eines rechtsgenüglichen "Anfangsverdachts". Er hält das Observationsmaterial und die danach erfolgten Begutachtungen aus diesem Grund für unverwertbar.
4.3.
4.3.1. Zu dieser streitigen Voraussetzung erwog das kantonale Gericht, Hinweise auf Verdachtsmomente seien zunächst in der Stellungnahme des RAD vom 13. Dezember 2010 nach einem Standortgespräch mit dem Beschwerdeführer und dessen Ehefrau zu finden. Der Arzt sei zum Schluss gekommen, er könne die nach wie vor geltend gemachte hochgradige Einschränkung nicht nachvollziehen. Der vom Versicherten geschilderte hochgradige Dauerschmerzpegel wirke unglaubwürdig. Auch eine erhebliche depressive Symptomatik könne er nicht erkennen. Das Funktionsniveau im Alltag des Versicherten dürfe höher liegen als von ihm angegeben, weshalb eine hochgradige Aggravation anzunehmen sei.
4.3.2. Der Beschwerdeführer bringt dagegen vor, weder im genannten Aktenstück vom 13. Dezember 2010, noch auch der Notiz vom 14. März 2011 ergäben sich Hinweise auf Diskrepanzen oder ausgewiesene Zweifel über seine Leistungs (un) fähigkeit.
4.3.3. Da der RAD-Arzt beim Versicherten eine hochgradige Aggravation und geltend gemachte Einschränkungen, welche medizinisch nicht erklärbar waren, feststellte, bestanden bei der Verwaltung Zweifel an den tatsächlichen gesundheitlichen Beeinträchtigungen. Dass die IV-Stelle aufgrund dieser Zweifel, nachdem von den behandelnden Ärzten keine genaueren Angaben erhältlich gemacht werden konnten, eine Observation des Versicherten für angezeigt hielt, ist unter den gegebenen Umständen nicht zu beanstanden. Ausgewiesene Zweifel an der Leistungs (un) fähigkeit ("Anfangsverdacht") und eine erhebliche Aggravation, deren Ausmass durch medizinische Untersuchungen nicht geklärt werden kann, genügen als Anlass für eine Observation (vgl. Urteil 9C_294/2018 vom 28. November 2018 E. 3). Es verletzt kein Bundesrecht, dass die Vorinstanz das Interesse des Versicherungsträgers und der Versichertengemeinschaft, unrechtmässige Leistungsbezüge abzuwenden, höher gewichtet hat als das Interesse des Beschwerdeführers an einer unbehelligten Privatsphäre. Sie ist deshalb zu Recht zum Ergebnis gelangt ist, die Observationsergebnisse sowie die in der Folge in Auftrag gegebenen Gutachten der ABI vom 29. Oktober 2012) und des Dr. med. C._ vom 28. Oktober 2016 seien verwertbar. Hinzu kommt, dass Beweismaterial, welches im Rahmen der Rechtsprechung im Sinne von <ref-ruling> E. 5.1.1 S. 385 f. verwertbar ist unabhängig von der Frage, ob die Observation objektiv geboten war oder nicht, auch verwertbar bleibt (vgl. Urteile 9C_308/2019 vom 16. Dezember 2019 E. 2.1 und 8C_244/2019 vom 4. Juli 2019 E. 4.1).
5.
Weiter rügt der Beschwerdeführer, das Gutachten der ABI vom 29. Oktober 2012) beruhe auf einer unvollständigen Aktenlage, da den Experten nur die radiologischen Berichte, nicht aber das bildgebende Material zur Verfügung gestanden habe, und bei der ABI keine eigene bildgebende Untersuchungen durchgeführt worden seien. Zudem hätten die Gutachter nicht sämtliche medizinische Vorakten beigezogen und sich folglich auch nicht mit diesen auseinandergesetzt, weshalb die Expertise nicht beweiskräftig sei.
5.1. Die vom Beschwerdeführer erhobene Kritik lässt die vorinstanzliche Beweiswürdigung nicht als offensichtlich unrichtig oder sonstwie bundesrechtswidrig erscheinen zu lassen (vgl. E. 1). Nach den zutreffenden Erwägungen im angefochtenen Entscheid genügen sowohl die Expertise der ABI als auch das psychiatrische Gutachten des Dr. med. C._ in allen Teilen den von der Rechtsprechung entwickelten Anforderungen an den Beweiswert ärztlicher Berichte (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Das kantonale Gericht hat insbesondere festgestellt, es sei nicht ersichtlich, welche weiteren bildgebenden Untersuchungen zur Zeit der Begutachtung bei der ABI hätten nötig sein sollen, da auch die behandelnden Ärzte keine weiteren Abklärungen in Auftrag gegeben hätten. Vielmehr habe auch der Hausarzt, Dr. med. E._ in seinem Verlaufsbericht vom 31. März 2014 bestätigt, dass sich die Bauchbeschwerden seit der Operation im Juni 2012 gebessert hätten. Weiter sei es nicht Aufgabe eines Gutachters, sich zu jeder einzelnen ärztlichen Stellungnahme zu äussern. Die Vorinstanz wies auch zutreffend auf gewisse Unstimmigkeiten in den Berichten des Dr. med. E._ und der behandelnden Psychiaterin, Dr. med. F._ hin, welche die Fragen nach der Arbeitsfähigkeit und der Wiedereingliederung ohne Begründung verneinten und auch nicht auf die Ausführungen der Gutachter eingegangen sind. Damit sind die Stellungnahmen der beiden behandelnden Ärzte nicht geeignet, an den Schlussfolgerungen der Gutachter begründete Zweifel zu erwecken. Schliesslich bleibt anzufügen, dass der Beschwerdeführer geltend macht, die Experten der ABI hätten sich insbesondere mit früheren psychiatrischen Beurteilungen des Dr. med. G._ vom 22. August 2001 beziehungsweise vom 8. April 2003 und der Dr. med. F._ vom 4. Oktober 2002 sowie mit Berichten des Chirurgen Dr. med. H._ vom 11. Juni 2001 und vom 14. März 2003 auseinandersetzen müssen. Er legt dagegen nicht dar, inwiefern diese Berichte im rund zehn Jahre späteren Begutachtungszeitpunkt vom Oktober 2012 noch von massgeblicher Bedeutung hätten sein sollen.
5.2. Soweit der Beschwerdeführer das psychiatrische Teilgutachten der ABI kritisiert, gilt es zu beachten, dass das kantonale Gericht in Bezug auf den psychischen Gesundheitszustand auf die Expertise des Dr. med. C._ vom 28. Oktober 2016 abgestellt hat, welche in zeitlicher Hinsicht auch viel näher an der verfügten revisionsweisen Rentenaufhebung liegt als die Begutachtung bei der ABI im Oktober 2012. Insofern greift die Kritik ins Leere.
6.
Weiter bringt der Beschwerdeführer vor, die IV-Stelle und das kantonale Gericht seien zu Unrecht von einer Verbesserung seines Gesundheitszustandes ausgegangen es liege kein Revisionsgrund vor.
6.1. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit respektive deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Gleiches gilt für die Frage, ob mit dem veränderten Gesundheitszustand ein Revisionsgrund nach <ref-law> vorliegt.
6.2. Gemäss angefochtenem Entscheid liegt die für eine Rentenrevision notwendige Veränderung des Gesundheitszustandes in der Besserung der Bauchbeschwerden nach der im Juni 2012 erfolgten Bauchwandrevision. Eine solche wurde denn auch von Dr. med. E._ in seinem Verlaufsbericht vom 31. März 2014 bestätigt. Der viszeralchirurgische Gutachter bei der ABI fand drei Monate nach dem chirurgischen Eingriff eine stabile Bauchwand bei unauffälliger Narbe. Die Bauchmuskulatur erscheine trotz der angeblich geringen körperlichen Aktivität ordentlich kräftig zu sein. Im Einklang mit dem radiologischen Befund vom 26. Juni 2012 ergäben sich auch anamnestisch und klinisch keinerlei Hinweise auf eine Passagestörung des Darms. Es falle schwer, für die vom Exploranden geklagten Schmerzen eine somatische Ursache zu finden. Aufgrund der vom Viszeralchirurgen erhobenen Befunde sprach nichts gegen eine körperliche Belastung, weshalb die Arbeitsfähigkeit nicht eingeschränkt sei.
6.3. Dr. med. C._ fand bei seiner während mehrerer Tage dauernden stationären psychiatrischen Untersuchung aus objektiver Sicht ausser einer gereizten Stimmungslage keine weiteren Symptome, aber deutliche Inkonsistenzen zwischen den erbrachten Werten, dem Verhalten und den Befunden untereinander. Auch anhand von Tests konnten keine Einschränkungen objektiviert werden. Diagnostiziert wurde eine Anpassungsstörung mit affektiven Symptomen und eine Störung des Sozialverhaltens (ICD-10: F43.25). Auswirkungen auf die Tätigkeit seien wegen der nicht authentischen Beschwerdeschilderung weder feststellbar noch quantifizierbar.
6.4. In der Beschwerde wird nichts gegen die vorinstanzliche Feststellung eines verbesserten somatischen Gesundheitszustandes vorgebracht. Der Versicherte macht lediglich geltend, im psychiatrischen Gutachten vom 28. Oktober 2016 könne keine Verbesserung seiner psychischen Beschwerden aufgezeigt werden. Wie in Erwägung 2.2 hievor dargestellt, genügt indessen ein Revisionsgrund, um einen Rentenanspruch umfassend neu zu beurteilen. Damit ist es nicht notwendig, dass auch der psychiatrische Gutachter aufzeigt, inwiefern seit dem Referenzzeitpunkt vom Mai 2009 (vgl. E. 3) eine Veränderung des Gesundheitszustandes eingetreten sei. Die IV-Stelle durfte nach den gegebenen Umständen die Arbeitsfähigkeit ganzheitlich neu prüfen.
6.5. Dass die Vorinstanz den Gutachten der ABI vom 29. Oktober 2012 und des Dr. med. C._ vom 28. Oktober 2016 folgte und auf eine uneingeschränkte Arbeitsfähigkeit schloss ist nach dem Gesagten weder offensichtlich unrichtig noch stellt die Beweiswürdigung das Ergebnis einer Rechtsverletzung dar. Damit bleibt letztere für das Bundesgericht verbindlich.
7.
Schliesslich macht der Beschwerdeführer geltend, vor Abbruch der Eingliederungsmassnahmen hätte zwingend ein sogenanntes Mahn- und Bedenkzeitverfahren gemäss Art. 21. Abs. 3 ATSG durchgeführt werden müssen.
7.1. Vorliegend hatte die IV-Stelle dem Versicherten in Anwendung der Rechtsprechung (vgl. dazu u.a. <ref-ruling> E. 4.1 S. 7; Urteil 9C_228/2010 vom 26. April 2011 E. 3.3, in: SVR 2011 IV Nr. 73 S. 220) Eingliederungsmassnahmen in Form einer stationären Medikamentenanpassung und einem Aufbautraining in der psychiatrischen Klinik D._, und einem Belastbarkeitstraining in der Eingliederungsstätte I._ gewährt. Umstritten ist lediglich, ob letztere zu Recht frühzeitig abgebrochen wurde.
7.2. Praxisgemäss darf bei fehlender subjektiver Eingliederungsfähigkeit, d.h. wenn die Eingliederungsbereitschaft aus invaliditätsfremden Gründen nicht gegeben ist, die Rente ohne vorgängige Prüfung von Massnahmen der (Wieder-) Eingliederung und ohne Durchführung des Mahn- und Bedenkzeitverfahrens nach <ref-law> herabgesetzt oder aufgehoben werden. Berufliche Massnahmen können zwar unter anderem dazu dienen, subjektive Eingliederungshindernisse im Sinne einer Krankheitsüberzeugung der versicherten Person zu beseitigen. Es bedarf indessen auch diesfalls eines Eingliederungswillens bzw. einer entsprechenden Motivation der versicherten Person. Es sind insbesondere die gegenüber der Verwaltung und den medizinischen Experten gemachten Aussagen betreffend Krankheitsüberzeugung bzw. Arbeitsmotivation zu berücksichtigen. Ebenfalls von Belang sein können die im Vorbescheidverfahren und vor kantonalem Versicherungsgericht gemachten Ausführungen bzw. gestellten Anträge (Urteile 9C_797/2018 vom 10 September 2019 E. 5.1; 8C_682/2018 vom 21. Februar 2019 E. 7.1 und 8C_611/2018 vom 7. Januar 2019 E. 6.1 f.).
7.3. Im angefochtenen Entscheid wurde unter Bezug auf die sachbezogenen Unterlagen, namentlich dem "Verlaufsprotokoll Eingliederung" der IV-Stelle einlässlich erwogen, dass ein subjektiver Eingliederungswille bis zum Erlass der Verfügung über die revisionsweise Einstellung der Rentenleistungen vom 5. Februar 2018 nicht erkennbar gewesen sei. Unter diesen Umständen sei davon auszugehen, dass das Scheitern der Wiedereingliederungsmassnahmen nicht auf die Krankheit des Beschwerdeführers zurückzuführen sei, sondern einer bewussten Absicht entspreche. Der Versicherte hatte sich denn auch nach Eröffnung des vorzeitigen Abschlusses der Eingliederungsmassnahmen am 25. Januar 2018 in keiner Weise um eine Wiederaufnahme bemüht. Die vorinstanzliche Feststellung fehlender subjektiver Eingliederungsfähigkeit ist für das Bundesgericht grundsätzlich verbindlich (Urteil 9C_797/2018 vom 10 September 2019 E. 5.2.1 mit Hinweisen). In der Beschwerde wird nichts dargetan, was sie als offensichtlich unrichtig oder sonst wie bundesrechtswidrig erscheinen liesse.
Nach dem Gesagten hat es mit der verfügten und vorinstanzlich bestätigten Aufhebung der Invalidenrente per 31. März 2018 sein Bewenden.
8.
Dem Ausgang des Verfahrens entsprechend hat der unterliegende Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. April 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer