Sachverhalt: A. Der 1954 geborene, zuletzt als Gipser/Fassadenisoleur tätig gewesene S._ bezog gestützt auf die Verfügungen der IV-Stelle des Kantons Graubünden vom 13. August 2004 bei einem Invaliditätsgrad von 68 % ab 1. Dezember 2000 eine ganze Invalidenrente und ab 1. Januar 2004 (Änderung aufgrund der 4. IV-Revision) eine Dreiviertelsrente der Invalidenversicherung. Im Rahmen eines Rentenrevisionsverfahrens eröffnete die IV-Stelle dem Versicherten mit Verfügungen vom 29. Juli 2011, der Gesundheitszustand und damit einhergehend die Erwerbsfähigkeit habe sich seit der Rentenzusprechung wesentlich verbessert. Zwar sei im Dezember 2009 eine vorübergehende gesundheitliche Verschlechterung (Sehnenriss) eingetreten, welche befristet für den Zeitraum vom 1. März bis 31. Dezember 2010 bei einem Invaliditätsgrad von 100 % den Anspruch auf eine ganze Invalidenrente begründe. Daran anschliessend bestehe beim früheren Invaliditätsgrad von 68 % grundsätzlich wieder Anspruch auf eine Dreiviertelsrente. Seit 6. September 2010 sei dem Versicherten aber eine angepasste Tätigkeit zu 100 % zumutbar. Daraus resultiere ein Invaliditätsgrad von nurmehr 28 %, weshalb die Invalidenrente auf den der Verfügungszustellung folgenden Monat aufgehoben werde. B. Beschwerdeweise beantragte S._, es sei in Aufhebung der Verfügung vom 29. Juli 2011 weiterhin mindestens eine Dreiviertelsrente zuzusprechen; eventuell sei ein orthopädisches, neurologisches sowie psychiatrisches Gutachten einzuholen. Das Verwaltungsgericht des Kantons Graubünden wies die Beschwerde mit Entscheid vom 7. Februar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ die Aufhebung der Verfügung vom 29. Juli 2011 und des vorinstanzlichen Entscheids beantragen und sein vorinstanzliches Leistungs- sowie Eventualbegehren erneuern. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.