Sachverhalt: A. Der 1952 geborene, in zwei verschiedenen Berufen selbstständig erwerbend gewesene A._ meldete sich im September 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Uri traf Abklärungen in medizinischer und erwerblicher Hinsicht. Sie sprach dem Versicherten mit Verfügungen vom 5. April 2004 und 13. Mai 2004 bei einem ermittelten Invaliditätsgrad von 70 % rückwirkend ab 1. Juni 2002 eine ganze Invalidenrente zu. Im Rahmen eines Ende des Jahres 2009 eingeleiteten Revisionsverfahrens veranlasste die IV-Stelle eine medizinische Begutachtung. Die Expertise des Dr. med. B._, Facharzt FMH Rheumatologie, datiert vom 11. Mai 2010. Zudem liess sie A._ im Juni 2013 observieren (Ermittlungsbericht vom 5. Juli 2013). Nach Rücksprache mit dem Regionalen Ärztlichen Dienst (RAD; Stellungnahme der Dr. med. C._ vom 23. Juli 2013) verfügte die IV-Stelle am 27. September 2013 die rückwirkende Aufhebung der Rente per Ende April 2010. B. A._ erhob Beschwerde an das Obergericht des Kantons Uri und beantragte die Aufhebung der Verfügung. Dieses beauftragte mit Zwischenentscheid vom 24. Oktober 2014 Dr. med. B._ unter Vorlage des gesamten Observationsmaterials mit einem Ergänzungsgutachten, welches dieser mit Datum vom 4. Mai 2015 erstattete. Nach Einholung von Stellungnahmen der Parteien und einer weiteren Ergänzung des Dr. med. B._ vom 2. Oktober 2015 wies das Obergericht die Beschwerde mit Entscheid vom 1. April 2016 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des kantonalen Entscheides sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde, das Obergericht des Kantons Uri und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. D. Mit Eingabe vom 18. Oktober 2016 liess der Beschwerdeführer auf das gleichentags ergangene Urteil 61838/10 i.S. Vukota-Bojic gegen die Schweiz hinweisen und geltend machen, die Ergebnisse der Observation und das gestützt darauf erstellte Gutachten des Dr. med. B._ vom 4. Mai 2015 dürfe nicht verwendet werden. Die Beschwerdegegnerin nahm am 3. November 2016 zur Eingabe vom 18. Oktober 2016 Stellung.