Sachverhalt:
A.
Der 1952 geborene, in zwei verschiedenen Berufen selbstständig erwerbend gewesene A._ meldete sich im September 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Uri traf Abklärungen in medizinischer und erwerblicher Hinsicht. Sie sprach dem Versicherten mit Verfügungen vom 5. April 2004 und 13. Mai 2004 bei einem ermittelten Invaliditätsgrad von 70 % rückwirkend ab 1. Juni 2002 eine ganze Invalidenrente zu.
Im Rahmen eines Ende des Jahres 2009 eingeleiteten Revisionsverfahrens veranlasste die IV-Stelle eine medizinische Begutachtung. Die Expertise des Dr. med. B._, Facharzt FMH Rheumatologie, datiert vom 11. Mai 2010. Zudem liess sie A._ im Juni 2013 observieren (Ermittlungsbericht vom 5. Juli 2013). Nach Rücksprache mit dem Regionalen Ärztlichen Dienst (RAD; Stellungnahme der Dr. med. C._ vom 23. Juli 2013) verfügte die IV-Stelle am 27. September 2013 die rückwirkende Aufhebung der Rente per Ende April 2010.
B.
A._ erhob Beschwerde an das Obergericht des Kantons Uri und beantragte die Aufhebung der Verfügung. Dieses beauftragte mit Zwischenentscheid vom 24. Oktober 2014 Dr. med. B._ unter Vorlage des gesamten Observationsmaterials mit einem Ergänzungsgutachten, welches dieser mit Datum vom 4. Mai 2015 erstattete. Nach Einholung von Stellungnahmen der Parteien und einer weiteren Ergänzung des Dr. med. B._ vom 2. Oktober 2015 wies das Obergericht die Beschwerde mit Entscheid vom 1. April 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des kantonalen Entscheides sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, das Obergericht des Kantons Uri und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.
D.
Mit Eingabe vom 18. Oktober 2016 liess der Beschwerdeführer auf das gleichentags ergangene Urteil 61838/10 i.S. Vukota-Bojic gegen die Schweiz hinweisen und geltend machen, die Ergebnisse der Observation und das gestützt darauf erstellte Gutachten des Dr. med. B._ vom 4. Mai 2015 dürfe nicht verwendet werden. Die Beschwerdegegnerin nahm am 3. November 2016 zur Eingabe vom 18. Oktober 2016 Stellung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind. Hinsichtlich der Verletzung von Grundrechten gilt eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.6 S. 280 mit Hinweis).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. Art. 105 Abs. 2 BGG).
1.3. Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 5.1 S. 232 mit Hinweis). Ein Richter weicht bei Gerichtsgutachten nicht ohne zwingende Gründe von der Einschätzung des medizinischen Experten ab (<ref-ruling> E. 3b/aa S. 352 mit Hinweisen).
2.
Streitig ist, ob das kantonale Gericht die revisionsweise (Art. 17 Abs. 1 ATSG) Aufhebung der ganzen Invalidenrente per Ende April 2010 zu Recht geschützt hat. Bestritten ist des Weiteren die Zulässigkeit und die Verwertbarkeit der Observation zwischen dem 6. und dem 13. Juni 2013 (Bericht vom 5. Juli 2013).
2.1. Im angefochtenen Entscheid werden die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze, namentlich diejenigen zum Begriff der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zum Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG) und zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) richtig dargelegt. Gleiches gilt für die Ausführungen zur Rentenrevision (Art. 17 Abs. 1 ATSG; <ref-ruling> E. 3 S. 132) und zum revisionsrechtlich massgebenden Vergleichszeitraum (<ref-ruling> E. 5.4 S. 114). Darauf wird verwiesen.
2.2. Ist ein Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG gegeben, d.h. liegt eine wesentliche Änderung in den tatsächlichen Verhältnissen im Vergleichszeitraum vor, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen (<ref-ruling> E. 3 S. 132), ist der Invaliditätsgrad neu und ohne Bindung an frühere Invaliditätsschätzungen zu ermitteln (<ref-ruling> E. 2.3 S. 10 mit Hinweisen). Bei einer Meldepflichtverletzung nach Art. 77 IVV gilt dies ab dem Eintritt der für den Anspruch erheblichen Änderung (Art. 88bis Abs. 2 lit. b IVV).
3.
Das kantonale Gericht hat eine einlässliche Würdigung der ärztlichen Unterlagen, insbesondere des rheumatologischen Gutachtens des Dr. med. B._ vom 4. Mai 2015 und dessen zusätzlicher Stellungnahme vom 2. Oktober 2015, vorgenommen. Gestützt darauf gelangte es zum Schluss, das Gerichtsgutachten erfülle die von der Rechtsprechung an den Beweiswert eines Gutachtens gestellten Anforderung. Es sei darauf abzustellen. In tatsächlicher Hinsicht hielt die Vorinstanz unter anderem fest, der Versicherte habe sich in der medizinischen Untersuchungssituation im April 2010 stärker eingeschränkt präsentiert, als er es tatsächlich gewesen sei. Damit sei der Gutachter faktisch gezwungen gewesen, die tatsächliche Arbeitsfähigkeit anhand der bildgebenden Befunde und des Observationsmaterials zu schätzen. Demnach sei spätestens seit April 2010 von einer Arbeitsfähigkeit in einer angepassten Tätigkeit von 75 % und von 80 % ab Juni 2013 auszugehen. Der Versicherte hätte ab April 2010 ein rentenausschliessendes Einkommen erzielen können. Mit der Arbeitstätigkeit bei Umbauten an seinem Haus habe er seine tatsächliche Leistungsfähigkeit gezeigt. Mit dem Verschweigen seiner tatsächlichen Möglichkeiten gegenüber der Verwaltung und dem untersuchenden Arzt, habe er seine Meldepflicht verletzt. Die Rente sei daher zu Recht rückwirkend per Ende April 2010 aufgehoben worden.
4.
4.1. Der Beschwerdeführer rügt in seiner Eingabe vom 18. Oktober 2016 die Zulässigkeit der Observation durch Privatdetektive. Deren Ergebnisse und das auf Grund derselben erstellte Gutachten des Dr. med. B._ vom 4. Mai 2015 dürfe daher nicht verwertet werden. Er beruft sich dabei auf das Urteil des Europäischen Gerichtshofs für Menschenrechte (EGMR) vom 18. Oktober 2016 in Sachen Vukota-Bojic gegen die Schweiz (61838/10). Danach ist die Observation im Auftrag eines (sozialen) Unfallversicherers durch einen Privatdetektiv mangels ausreichender gesetzlicher Grundlage nicht EMRK-konform (Rz. 72 ff.). Eine Verletzung von Art. 6 Ziff. 1 EMRK (Gebot eines fairen Verfahrens) durch die erfolgte Verwendung der Observationsergebnisse hat der EGMR hingegegen verneint (Rz. 91 ff.). Das Bundesgericht hat unter Berücksichtigung der betreffenden Erwägungen des EGMR entschieden, dass die Observation, sei sie durch den Unfallversicherer oder durch eine IV-Stelle veranlasst, Art. 8 EMRK, beziehungsweise den einen im Wesentlichen gleichen Gehalt aufweisenden Art. 13 BV, verletzt (Urteil 9C_806/2016 vom 14. Juli 2017 E. 5, zur Publikation vorgesehen; Urteil 8C_735/2016 vom 27. Juli 2017 E. 5.3). Die Verwendung des im Rahmen der widerrechtlichen Observation gewonnenen Materials richtet sich indessen allein nach schweizerischem Recht. Der EGMR prüft dabei nur, ob ein Verfahren insgesamt fair im Sinne von Art. 6 Abs. 1 EMRK gewesen ist. In diesem Zusammenhang hat das Bundesgericht im Urteil 9C_806/2016 im Wesentlichen erkannt, dass die Verwertung der Observationsergebnisse (und damit auch der gestützt darauf ergangenen weiteren Beweise) grundsätzlich zulässig ist, es sei denn, bei einer Abwägung der tangierten öffentlichen und privaten Interessen würden diese überwiegen (Urteil 9C_806/2016 vom 14. Juli 2017 E. 5.1; Urteile 8C_735/2016 vom 27. Juli 2017 E. 5.3.6; 8C_45/2017 vom 26. Juli 2017 E. 4).
Mit Blick auf die gebotene Verfahrensfairness hat es sodann in derselben Erwägung eine weitere Präzisierung angebracht: Unter Hinweis auf das Urteil 8C_239/2008 vom 17. Dezember 2009 E. 6.4.2 Abs. 2 und die darin enthaltene Anlehnung an die strafprozessuale Rechtsprechung (vgl. <ref-ruling> E. 4.2 S. 279) hat es daran erinnert, dass eine gegen Art. 8 EMRK verstossende Videoaufnahme verwertbar ist, solange Handlungen des "Beschuldigten" aufgezeichnet werden, die er aus eigenem Antrieb und ohne äussere Beeinflussung machte, und ihm keine Falle gestellt worden war. Ferner hat es erwogen, dass von einem absoluten Verwertungsverbot wohl immerhin insoweit auszugehen ist, als es um Beweismaterial geht, das im nicht öffentlich frei einsehbaren Raum zusammengetragen wurde, was im konkreten Fall jedoch nicht zu beurteilen war (vgl. E. 5.1.3 des Urteils 9C_806/2016 mit Hinweis auf Urteil 8C_830/2011 vom 9. März 2012 E. 6.4).
4.2. Der Versicherte wurde im Zeitraum vom 6. bis 13. Juni 2013 an vier Tagen während zwei bis knapp acht Stunden beobachtet. Er war dabei alleine mit Umbauarbeiten an seinem Haus, konkret mit dem Anbau von zwei Balkonen, beschäftigt. So trug er beispielsweise ca. drei Meter lange Holzbalken via einer Leiter hinauf und positionierte diese zwischen den Metallträgern des geplanten Balkonbodens. Er bearbeitete im oberen Bereich einer Leiter stehend in Schulterhöhe mit Bohrmaschinen Metallträger und die Hausmauer. Hinweise, dass der Versicherte die aufgezeichneten Handlungen auf Grund unzulässiger äusserer Beeinflussung vorgenommen hätte, bestehen nicht und werden auch nicht behauptet. Ebenso steht fest, dass die Beobachtungen einen öffentlich frei einsehbaren Raum, die Hausfassade und den Garten des Versicherten, betrafen. Damit kann nicht von einer schweren Verletzung der Persönlichkeit ausgegangen werden. Dem gegenüberzustellen gilt es das Interesse des Versicherungsträgers und der Versichertengemeinschaft, unrechtmässige Leistungsbezüge abzuwenden. Dieses ist unter den hier gegebenen Umständen höher zu gewichten als das Interesse des Versicherten an einer unbehelligten Privatsphäre. Die Verwertung der Observationsergebnisse war daher zulässig.
5.
5.1. Die Tatsachenfeststellungen des Gerichts, namentlich die aus den medizinischen Akten gewonnene Erkenntnis, wonach eine aufgrund der Observation vermutete und medizinisch verifizierte Übertreibung der bildgebend nicht in diesem Ausmass objektivierbaren Einschränkungen vorliegt, ist für das Bundesgericht grundsätzlich verbindlich (vgl. E. 1 hievor). Dasselbe gilt bezüglich der lediglich um 25 % beziehungsweise 20 % eingeschränkten Leistungsfähigkeit in einer adaptierten Tätigkeit.
5.2.
5.2.1. Soweit der Beschwerdeführer die Tatsachenfeststellungen der Vorinstanz als willkürlich rügt und der gutachterlichen Würdigung des Ergebnisses der Observation und der diesbezüglichen Feststellungen im angefochtenen Entscheid eine eigene Interpretation entgegenstellt, ist dies für die Beurteilung der sich vorliegend stellenden Rechtsfrage nicht zielführend. Es ist nicht ersichtlich, weshalb auf das Gerichtsgutachten des Dr. med. B._ nicht abgestellt werden kann. Im angefochtenen Entscheid wird nachvollziehbar begründet, weshalb der Experte erst aufgrund der anlässlich der Observation gewonnen Erkenntnisse die tatsächliche Arbeits- und Leistungsfähigkeit des Versicherten beurteilen konnte. Das kantonale Gericht legt dar, dass der Experte schon anlässlich seiner ersten Begutachtung im April 2010 von einem "ausgeprägten Schmerzverhalten", welches durch die objektivierbaren Befunde am Bewegungsapparat nicht vollumfänglich erklärbar sei, berichtete. Der Arzt versuchte daher eine Arbeitsfähigkeitsschätzung anhand der objektivierbaren, vor allem auf Röntgenbildern beruhenden Befunde abzugeben. Erst das Observierungsmaterial, welches den Beschwerdeführer ohne Funktionseinschränkungen der Wirbelsäule sowie der Hüft-, Knie- und Sprunggelenke beim uneingeschränkten Hantieren und Heben von mittelschweren Gegenständen zeigte, ermöglichte dem Gutachter eine genauere Beurteilung der zumutbaren Leistungsfähigkeit. Es ist offensichtlich, dass Arbeitsfähigkeitsschätzungen umso genauer ausfallen, je mehr Faktoren zur Verfügung stehen. Würde die Beurteilung von Röntgenbildern alleine genügen, würde sich eine klinische Untersuchung in der Regel erübrigen. Wird eine solche durch eine nicht den tatsächlichen Einschränkungen entsprechende Darstellung verfälscht, ergeben sich naturgemäss Differenzen in der Einschätzung. Dass Dr. med. B._ dem Beschwerdeführer im Gutachten vom 4. Mai 2015 trotz den unveränderten Röntgenbefunden eine wesentlich höhere Arbeitsfähigkeit attestierte, ist daher plausibel und nicht zu beanstanden.
5.2.2. Mit seinen Einwänden macht der Beschwerdeführer nicht rechtsgenüglich geltend, inwiefern die vorinstanzlichen Sachverhaltsfeststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen. Die Rügen erschöpfen sich vielmehr in unzulässiger appellatorischer Kritik am Gutachten des Dr. med. B._ vom 4. Mai 2015 sowie an der vorinstanzlichen Beweiswürdigung. Entgegen der Argumentation des Beschwerdeführers lässt sich damit keine Willkür begründen (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG).
6.
Im Weiteren rügt der Beschwerdeführer die Ermittlung des Invaliditätsgrades ab dem Zeitpunkt der festgestellten veränderten medizinischen Verhältnisse. Die Vorinstanz habe die Grundsätze von Art. 16 ATSG und Art. 28a IVG verletzt, da sie das Valideneinkommen willkürlich bemessen habe.
6.1. Für die Bestimmung des Invaliditätsgrades wird gemäss Art. 16 ATSG das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (sog. Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (sog. Valideneinkommen). Für dessen Ermittlung ist rechtsprechungsgemäss entscheidend, was sie im Zeitpunkt des frühestmöglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdienen würde, und nicht, was sie bestenfalls verdienen könnte (<ref-ruling> E. 5.1.2 S. 53). Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da erfahrungsgemäss die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen von diesem Erfahrungssatz müssen mit überwiegender Wahrscheinlichkeit erstellt sein (vgl. auch <ref-ruling> E. 4.1 S. 325 f. mit Hinweisen).
6.2. Letztinstanzlich ist nicht bestritten, dass ein Revisionsgrund vorliegt. Verwaltung und Vorinstanz haben den Invaliditätsgrad daher richtigerweise neu und ohne Bindung an frühere Invaliditätsschätzungen ermittelt (vgl. E. 2.2 hievor).
6.3.
6.3.1. Das kantonale Gericht hat seiner Invaliditätsbemessung für das Jahr 2010 ein Valideneinkommen von Fr. 48'273.- zugrunde gelegt. Dieses resultierte aus dem in den Jahren 1994/1995 abgerechneten Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 39'700.-, aufgerechnet auf das Jahr 2010. Die Rentenverfügung des Jahres 2004 basierte auf einem Valideneinkommen von Fr. 114'751.- für das Jahr 2002. Der Beschwerdeführer legt dar, unter Berücksichtigung der statistischen Lohnentwicklung resultierte auf dieser Grundlage für das Jahr 2010 ein Betrag von Fr. 128'130.-. Eventuell sei das Valideneinkommen mittels statistischer Werte festzulegen.
6.3.2. Vor der Gesundheitsschädigung war der Beschwerdeführer einerseits als Wirt eines Berggasthauses und andererseits seit 1989 als ebenfalls selbstständig erwerbender Servicetechniker für Grossküchengeräte tätig. Er ist gelernter Elektriker. Das Gasthaus wurde im Jahre 2000 und damit vor Beginn der Arbeitsunfähigkeit (Leistungen der Taggeldversicherung wurden ab dem 8. Juni 2001 bezogen) an den Sohn übergeben. Die Tätigkeit als Service-Techniker wurde im Sinne eines Nebenerwerbes ausgeführt. Weder Vorinstanz noch Verwaltung haben abgeklärt, welche Tätigkeit (en) der Versicherte als Gesunder ausüben würde und was er dabei hätte verdienen können. Damit wurde das Valideneinkommen nicht rechtskonform festgestellt. Dies wird die IV-Stelle nachzuholen haben. Sollte es nicht mehr möglich sein, ein möglichst konkretes Valideneinkommen zu bestimmen, wird die Beschwerdegegnerin dieses unter Verwendung von statistischen Durchschnittslöhnen gemäss der Schweizerischen Lohnstrukturerhebung (LSE) zu ermitteln haben.
6.3.3. Bezüglich des hypothetischen Invalideneinkommens ermittelte das kantonale Gericht bei einem zumutbaren Pensum von 75 % in einer adaptierten Tätigkeit ab Mai 2010 ein mögliches Einkommen von Fr. 45'874.-. Ab Juni 2013 ist das Invalideneinkommen gemäss Feststellung im angefochtenen Entscheid bei einer 80 %igen Arbeitsfähigkeit auf Fr. 52'397.- zu beziffern. Daran ist nichts auszusetzen. Auch der Beschwerdeführer bringt keine Einwände gegen die vorinstanzliche Festsetzung des Invalideneinkommens vor.
7.
Das kantonale Gericht erkannte, der Versicherte habe durch sein Verhalten anlässlich der gutachterlichen Untersuchung im April 2010 seine Meldepflicht verletzt. Es bestätigte in Anwendung von Art. 88bis Abs. 2 lit. b IVV in Verbindung mit Art. 77 IVV daher die rückwirkende Aufhebung des Rentenanspruchs per Ende April 2010. Daran ist nichts auszusetzen. Auch der Beschwerdeführer bringt nichts gegen die Anwendung von Art. 88bis Abs. 2 lit. b IVV vor. Sollte die IV-Stelle nach weiteren Abklärungen und der Ermittlung des Valideneinkommens daher zur Erkenntnis kommen, der Rentenanspruch des Versicherten sei herabzusetzen oder aufzuheben, kann dies rückwirkend auf den genannten Zeitpunkt erfolgen.
8.
Ausgangsgemäss hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Obergerichts des Kantons Uri, Verwaltungsrechtliche Abteilung, vom 1. April 2016 und die Verfügung der IV-Stelle Uri vom 27. September 2013 werden aufgehoben. Die Sache wird an die Beschwerdegegnerin zurückgewiesen, damit sie über die Rentenrevision neu verfüge.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. September 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer