Sachverhalt: A. Der 1969 geborene A._, gelernter Strassenbauer, arbeitete nach Ablehnung eines ersten Invalidenrentengesuchs gemäss Verfügung der Ausgleichskasse des Kantons Graubünden vom 1. November 1988 als selbstständiger Fugenmonteur. Auf Anmeldung vom 7. Februar 1994 hin sprach die Ausgleichskasse A._ mit Verfügung vom 17. November 1994 aufgrund eines Invaliditätsgrades von 100 % rückwirkend ab 1. August 1994 eine ganze Invalidenrente zu. In der Folge wurde diese Rentenzusprechung in mehreren Revisionsverfahren bestätigt, zuletzt gemäss Mitteilung der IV-Stelle des Kantons Graubünden vom 5. Dezember 2006. Im Jahr 2011 überprüfte die IV-Stelle den Invaliditätsgrad des Versicherten erneut. Sie klärte die erwerblichen und medizinischen Verhältnisse ab und liess A._ vom 16. August bis 17. September 2013 mittels einer Standkamera observieren (Ermittlungsbericht der B._ GmbH vom 24. Oktober 2013). Gestützt auf die bei den Abklärungen gewonnenen Erkenntnisse hob die IV-Stelle mit Verfügung vom 25. Juli 2014 die Invalidenrente rückwirkend per 31. Juli 2012 auf. Mit einer weiteren Verfügung vom 15. August 2014 verpflichtete sie den Versicherten sodann, die vom 1. August 2012 bis 31. Dezember 2013 ausgerichteten Invalidenrentenbetreffnisse im Betrag von Fr. 55'552.- zurückzuerstatten. B. A._ liess beide Verfügungen beschwerdeweise anfechten. Er beantragte die Aufhebung der Verfügungen, die Verpflichtung der IV-Stelle, auf die Rückforderung zu verzichten und die Weiterausrichtung einer ganzen Invalidenrente. Eventuell sei die Sache zu neuer Entscheidung an die IV-Stelle zurückzuweisen. Das Verwaltungsgericht des Kantons Graubünden vereinigte die Beschwerdeverfahren und wies die Beschwerden mit Entscheid vom 24. Juni 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei ihm weiterhin eine ganze Invalidenrente auszurichten; ferner sei auf die Rückforderung der vom 1. August 2012 bis 31. Dezember 2013 bezogenen Invalidenrenten zu verzichten; eventuell sei die Sache zu neuer Beurteilung an das kantonale Gericht oder die IV-Stelle zurückzuweisen. Hinsichtlich der Rückforderung der Leistungen sei der Beschwerde die aufschiebende Wirkung zu gewähren. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.