Sachverhalt:
A. Der 1954 geborene, zuletzt als Gipser/Fassadenisoleur tätig gewesene S._ bezog gestützt auf die Verfügungen der IV-Stelle des Kantons Graubünden vom 13. August 2004 bei einem Invaliditätsgrad von 68 % ab 1. Dezember 2000 eine ganze Invalidenrente und ab 1. Januar 2004 (Änderung aufgrund der 4. IV-Revision) eine Dreiviertelsrente der Invalidenversicherung. Im Rahmen eines Rentenrevisionsverfahrens eröffnete die IV-Stelle dem Versicherten mit Verfügungen vom 29. Juli 2011, der Gesundheitszustand und damit einhergehend die Erwerbsfähigkeit habe sich seit der Rentenzusprechung wesentlich verbessert. Zwar sei im Dezember 2009 eine vorübergehende gesundheitliche Verschlechterung (Sehnenriss) eingetreten, welche befristet für den Zeitraum vom 1. März bis 31. Dezember 2010 bei einem Invaliditätsgrad von 100 % den Anspruch auf eine ganze Invalidenrente begründe. Daran anschliessend bestehe beim früheren Invaliditätsgrad von 68 % grundsätzlich wieder Anspruch auf eine Dreiviertelsrente. Seit 6. September 2010 sei dem Versicherten aber eine angepasste Tätigkeit zu 100 % zumutbar. Daraus resultiere ein Invaliditätsgrad von nurmehr 28 %, weshalb die Invalidenrente auf den der Verfügungszustellung folgenden Monat aufgehoben werde.
B. Beschwerdeweise beantragte S._, es sei in Aufhebung der Verfügung vom 29. Juli 2011 weiterhin mindestens eine Dreiviertelsrente zuzusprechen; eventuell sei ein orthopädisches, neurologisches sowie psychiatrisches Gutachten einzuholen. Das Verwaltungsgericht des Kantons Graubünden wies die Beschwerde mit Entscheid vom 7. Februar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ die Aufhebung der Verfügung vom 29. Juli 2011 und des vorinstanzlichen Entscheids beantragen und sein vorinstanzliches Leistungs- sowie Eventualbegehren erneuern.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
2. Streitig und zu prüfen ist, ob die zuletzt, nach Beendigung einer vorübergehenden Erhöhung, ausgerichtete Dreiviertelsrente zu Recht revisionsweise aufgehoben wurde.
Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG i.V.m. Art. 1 Abs. 1 IVG). Eine Verbesserung der Erwerbsfähigkeit (...) ist für die Herabsetzung oder Aufhebung der Leistung von dem Zeitpunkt an zu berücksichtigen, in dem angenommen werden kann, dass sie voraussichtlich längere Zeit dauern wird. Sie ist in jedem Fall zu berücksichtigen, nachdem sie ohne wesentliche Unterbrechung drei Monate gedauert hat und voraussichtlich weiterhin andauern wird (Art. 88a Abs. 1 IVV). Eine Verschlechterung der Erwerbsfähigkeit (...) ist zu berücksichtigen, sobald sie ohne wesentliche Unterbrechung drei Monate gedauert hat (...) (Art. 88a Abs. 2 IVV).
3. Als revisionsbegründender Faktor steht im vorliegenden Fall eine Verbesserung des Gesundheitszustandes und damit einhergehend der Erwerbsfähigkeit zur Diskussion.
3.1 Die aufgehobene Dreiviertelsrente war auf der Grundlage eines Invaliditätsgrades von 68 % verfügt worden. Der Bestimmung dieses Invaliditätsgrades mittels Einkommensvergleich lag die Annahme zugrunde, dass der Versicherte aufgrund seines physischen und psychischen Gesundheitszustandes die angestammte Tätigkeit eines Gipsers nicht mehr ausüben könne und ihm nurmehr eine leichte, gut adaptierte Tätigkeit im Ausmass von maximal 50 % zumutbar sei.
Die IV-Stelle ist in den streitigen Verfügungen vom 29. Juli 2011 zum Ergebnis gelangt, spätestens ab 6. September 2010 sei infolge einer gesundheitlichen Verbesserung eine angepasste Tätigkeit zu 100 % zumutbar gewesen. In diesem Zeitpunkt sei auch der Sehnenriss, der vorübergehend den Anspruch auf eine ganze Invalidenrente begründet habe, ausgeheilt gewesen. Die Verwaltung stützte sich bei der Annahme der gesundheitlichen Verbesserung auf einen Observationsbericht vom 3. September 2009, auf dessen Analyse gemäss Bericht der Bewegungswissenschaftlerin Frau M._ vom 16. Dezember 2009 sowie auf die Beurteilungen durch pract. med. J._, Facharzt für Allgemeinmedizin, vom Regionalen Ärztlichen Dienst, vom 10. März und 25. Oktober 2010. Das kantonale Gericht hat dies in allen Teilen bestätigt.
In der Beschwerde wird geltend gemacht, diese Beurteilung beruhe auf einer unvollständigen Feststellung der rechtserheblichen Tatsachen, was eine Verletzung von Bundesrecht nach Art. 95 lit. a BGG darstelle. Die Fragen nach dem Gesundheitszustand und dem Umfang der Restarbeitsfähigkeit ab September 2010 sowie einer danach eingetretenen allfälligen Verschlechterung des Gesundheitszustandes seien entgegen dem angefochtenen Entscheid gestützt auf eine unvollständige Beweisgrundlage beantwortet worden, nämlich aufgrund der Ausführungen der Frau M._ und des pract. med. J._.
Das kantonale Gericht hat gestützt auf eine einlässliche Auseinandersetzung mit den Akten und den Vorbringen der Parteien dargelegt, weshalb es auf eine rentenrelevante Verbesserung bezüglich Gesundheitszustand und Arbeitsfähigkeit schliesst. Es hat dabei auch eingehend begründet, weshalb es - nebst dem Observationsbericht - den Bericht M._ und die Beurteilungen J._ für beweiswertig erachtet und, in antizipierter Beweiswürdigung, keine Veranlassung für weitere Abklärungen sieht. Die Ausführungen in der Beschwerde sind nicht geeignet, diese Beurteilung als bundesrechtswidrig erscheinen zu lassen, zumal es der Versicherte, abgesehen von dem erwähnten, allgemein formulierten Einwand, bei einer weitgehend wortwörtlichen Wiederholung seiner vorinstanzlichen Vorbringen bewenden lässt und sich nicht mit den Erwägungen im angefochtenen Entscheid auseinandersetzt. Das stellt sogar in Frage, ob die Beschwerde überhaupt den gesetzlichen Begründungsanforderungen gemäss Art. 42 Abs. 1 und 2 BGG zu genügen vermag (vgl. <ref-ruling> E. 2.1 S. 245 f. und E. 2.3 S. 246 f.). Selbst wenn dies noch knapp bejaht wird, ist jedenfalls festzustellen, dass die Vorbringen des Versicherten keine Zweifel am angefochtenen Entscheid zu begründen vermögen. Es bleibt damit dabei, dass der Beschwerdeführer infolge einer gesundheitlichen Verbesserung nunmehr in der Lage ist, vollzeitlich einer angepassten Tätigkeit nachzugehen.
3.2 Ausgehend von dieser neu gegebenen Restarbeitsfähigkeit hat die Vorinstanz einen Einkommensvergleich vorgenommen mit dem Ergebnis eines Invaliditätsgrades von 28 %. Die Vorinstanz hat dies ebenfalls bestätigt. Diese Beurteilung wird in der Beschwerde nicht beanstandet und gibt keinen Anlass zu Weiterungen. Der für eine Invalidenrente mindestens erforderliche Invaliditätsgrad von 40 % (Art. 28 Abs. 2 IVG) wird demnach nicht mehr erreicht. Die Rente ist daher zu Recht revisionsweise aufgehoben worden.
4. Die offensichtlich unbegründete Beschwerde ist im Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG abzuweisen.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Oktober 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz