Sachverhalt: A. Der 1962 geborene, zuletzt als Hilfsgipser tätig gewesene K._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 7. August 2001 ab 1. August 2000 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente der Invalidenversicherung (IV). Zudem richtete ihm die Schweizerische Unfallversicherungsanstalt (SUVA) gestützt auf ihre Verfügung vom 26. März 2002 für die verbliebenen Folgen eines im Jahr 1999 erlittenen Berufsunfalls ab 1. April 2002 - als Komplementärrente zur IV-Rente - eine Invalidenrente der obligatorischen Unfallversicherung (UV) entsprechend einer Erwerbsunfähigkeit von 100 % aus. Im Rahmen eines IV-Rentenrevisionsverfahrens holte die IV-Stelle ein polydisziplinäres medizinisches Gutachten des Instituts Z._ vom 5. Januar 2010 ein. Am 10. Juni 2010 verfügte sie, die IV-Rente werde auf das Ende des der Verfügungszustellung folgenden Monats eingestellt, da der Invaliditätsgrad aufgrund einer seit der Rentenzusprechung eingetretenen wesentlichen gesundheitlichen Besserung nurmehr 29 % betrage. Mit Verfügung vom 23. Juli 2010 und Einspracheentscheid vom 3. November 2010 setzte die SUVA die von ihr ausgerichtete Invalidenrente ebenfalls herab, dies nach Massgabe einer Erwerbsunfähigkeit von nurmehr 38 %. Der Unfallversicherer führte hiebei aus, die Erwerbsunfähigkeit werde damit immer noch zu hoch angesetzt, was als Entgegenkommen zu betrachten sei. B. K._ erhob gegen die Verfügung der IV-Stelle vom 10. Juni 2010 Beschwerde. Im Beschwerdeverfahren legte er u.a. ein von ihm eingeholtes interdisziplinäres Gutachten der Unabhängigen medizinischen Gutachtenstelle U._ vom 27. Januar 2011 auf. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 22. März 2012 ab. Mit einem weiteren Entscheid vom gleichen Datum wies das Sozialversicherungsgericht auch die von K._ gegen den Einspracheentscheid der SUVA vom 3. November 2010 eingereichte Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ hauptsächlich beantragen, in Aufhebung des vorinstanzlichen Entscheides betreffend IV sei ihm "weiterhin eine volle Invalidenrente zuzusprechen gestützt auf einen Invaliditätsgrad von mindestens 70 %"; eventuell sei die Sache zur Einholung eines neuen polydisziplinären Gutachtens an die IV-Stelle zurückzuweisen. Zudem sei diese bei Gutheissung der Beschwerde zu verpflichten, die Kosten des Gutachtens der Gutachtenstelle U._ zu bezahlen. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. K._ führt auch gegen den vorinstanzlichen Entscheid betreffend Unfallversicherung Beschwerde. Über diese entscheidet das Bundesgericht mit Urteil vom heutigen Datum im Verfahren 8C_395/2012.