Sachverhalt:
A. Der 1962 geborene, zuletzt als Hilfsgipser tätig gewesene K._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 7. August 2001 ab 1. August 2000 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente der Invalidenversicherung (IV). Zudem richtete ihm die Schweizerische Unfallversicherungsanstalt (SUVA) gestützt auf ihre Verfügung vom 26. März 2002 für die verbliebenen Folgen eines im Jahr 1999 erlittenen Berufsunfalls ab 1. April 2002 - als Komplementärrente zur IV-Rente - eine Invalidenrente der obligatorischen Unfallversicherung (UV) entsprechend einer Erwerbsunfähigkeit von 100 % aus.
Im Rahmen eines IV-Rentenrevisionsverfahrens holte die IV-Stelle ein polydisziplinäres medizinisches Gutachten des Instituts Z._ vom 5. Januar 2010 ein. Am 10. Juni 2010 verfügte sie, die IV-Rente werde auf das Ende des der Verfügungszustellung folgenden Monats eingestellt, da der Invaliditätsgrad aufgrund einer seit der Rentenzusprechung eingetretenen wesentlichen gesundheitlichen Besserung nurmehr 29 % betrage.
Mit Verfügung vom 23. Juli 2010 und Einspracheentscheid vom 3. November 2010 setzte die SUVA die von ihr ausgerichtete Invalidenrente ebenfalls herab, dies nach Massgabe einer Erwerbsunfähigkeit von nurmehr 38 %. Der Unfallversicherer führte hiebei aus, die Erwerbsunfähigkeit werde damit immer noch zu hoch angesetzt, was als Entgegenkommen zu betrachten sei.
B. K._ erhob gegen die Verfügung der IV-Stelle vom 10. Juni 2010 Beschwerde. Im Beschwerdeverfahren legte er u.a. ein von ihm eingeholtes interdisziplinäres Gutachten der Unabhängigen medizinischen Gutachtenstelle U._ vom 27. Januar 2011 auf. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 22. März 2012 ab.
Mit einem weiteren Entscheid vom gleichen Datum wies das Sozialversicherungsgericht auch die von K._ gegen den Einspracheentscheid der SUVA vom 3. November 2010 eingereichte Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ hauptsächlich beantragen, in Aufhebung des vorinstanzlichen Entscheides betreffend IV sei ihm "weiterhin eine volle Invalidenrente zuzusprechen gestützt auf einen Invaliditätsgrad von mindestens 70 %"; eventuell sei die Sache zur Einholung eines neuen polydisziplinären Gutachtens an die IV-Stelle zurückzuweisen. Zudem sei diese bei Gutheissung der Beschwerde zu verpflichten, die Kosten des Gutachtens der Gutachtenstelle U._ zu bezahlen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
K._ führt auch gegen den vorinstanzlichen Entscheid betreffend Unfallversicherung Beschwerde. Über diese entscheidet das Bundesgericht mit Urteil vom heutigen Datum im Verfahren 8C_395/2012.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist, ob die seit August 2000 ausgerichtete Invalidenrente der IV zu Recht revisionsweise aufgehoben wurde.
Das kantonale Gericht hat im angefochtenen Entscheid die Bestimmungen und Grundsätze über die revisionsweise Erhöhung, Herabsetzung oder Aufhebung einer Invalidenrente der IV infolge erheblicher Änderung des Invaliditätsgrades, insbesondere bei einer Verbesserung des Gesundheitszustandes, zutreffend dargelegt. Darauf wird verwiesen.
3. Ob eine rentenrevisionsbegründende Änderung eingetreten ist, beurteilt sich, wie die Vorinstanz zutreffend erkannt hat und unbestritten ist, in zeitlicher Hinsicht durch einen Vergleich mit den Verhältnissen im Zeitpunkt der am 2. September 2003 ergangenen Verfügung, mit welcher die IV-Stelle den Anspruch auf eine ganze Invalidenrente letztmals gestützt auf eine materielle Prüfung bestätigt hat.
4. Gemäss dem angefochtenen Entscheid erfolgte die Rentenzusprechung auf der Grundlage einer 100 %igen Arbeitsunfähigkeit, hervorgerufen durch ein chronifiziertes zervikozephales und -brachiales Schmerzsyndrom mit ausgesprochenen Myotendinosen und Kopfschmerz sowie durch ein chronifiziertes depressiv-somatisches Schmerzsyndrom bei Status nach axialem Halswirbelsäulentrauma und Commotio cerebri. Das ist, nach Lage der Akten zu Recht, nicht umstritten.
4.1 Das kantonale Gericht gelangte sodann zum Ergebnis, seit der Rentenzusprechung habe sich der Gesundheitszustand des Versicherten in rentenrelevanter Weise verbessert. Es bestehe deshalb nurmehr eine 20 %ige Arbeitsunfähigkeit in einer leidensangepassten Tätigkeit.
Die Vorinstanz stützt sich hiebei auf das Gutachten des Instituts Z._ vom 10. März 2010. Darin werden gestützt auf psychiatrische, orthopädische, neurologische und kardiologische Untersuchungen sowie auf eine internistische Besprechung und einen multidisziplinären Konsensus folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit gestellt: Chronisches zervikozephales Schmerzsyndrom mit Begleitsymptomatik von Schwindelbeschwerden und beidseitigem Tinnitus; koronare 2-Ast-Erkrankung. Unter den Diagnosen ohne Einfluss auf die Arbeitsfähigkeit wird eine Schmerzverarbeitungsstörung und Symptomausweitung erwähnt. Zusammenfassend wird sodann ausgeführt, in der angestammten Tätigkeit bestehe seit dem Unfall vom August 1999 bleibend eine volle Arbeitsfähigkeit. Für körperlich leichte bis gelegentlich mittelschwere adaptierte Tätigkeiten sei der Versicherte nunmehr vollzeitlich arbeitsfähig mit einer um 20 % reduzierten Leistung, entsprechend einer zumutbaren, effektiv verwertbaren Arbeitsleistung von 80 %. Die Verbesserung liege namentlich auf psychischer Ebene. Diesbezüglich seien keine Einschränkungen der Arbeits- und Leistungsfähigkeit zu finden. Insofern müsse trotz eines in der Zwischenzeit erlittenen kardialen Ereignisses von einer deutlichen Verbesserung des medizinischen Zustandsbildes ausgegangen werden.
4.2 Der Beschwerdeführer rügt zunächst, IV-Stelle und Vorinstanz hätten seinen Anspruch auf rechtliches Gehör verletzt.
Mit dem kantonalen Gericht ist davon auszugehen, dass die gerügten Gehörsverletzungen, welche sich im Verwaltungsverfahren zugetragen haben sollen, jedenfalls im vorinstanzlichen Prozess geheilt worden wären. Das betrifft auch das Vorgehen der Verwaltung bei der Einholung des Gutachtens des Instituts Z._. In der Beschwerde wird nichts vorgebracht, was eine andere Beurteilung zu rechtfertigen vermöchte.
Es trifft sodann nicht zu, dass sich der vorinstanzliche Entscheid ungenügend mit den Vorbringen des Beschwerdeführers auseinandersetzt. Hier liegt somit ebenfalls keine Gehörsverletzung vor.
4.2.1 Geltend gemacht wird weiter, bei der Einholung des Gutachtens des Instituts Z._ seien die Grundsätze gemäss <ref-ruling> nicht eingehalten worden.
Diesen Einwand hat das kantonale Gericht mit einlässlicher und zutreffender Begründung, auf welche verwiesen wird, als unbegründet beurteilt.
Unbegründet ist namentlich auch das Vorbringen, es verstosse gegen die in <ref-ruling> geforderte Transparenz, dass trotz ausdrücklichem Antrag des Versicherten die Teilgutachten und handschriftlichen Notizen der Experten des Instituts Z._ nicht herausgegeben worden seien. Dass solche Unterlagen herauszugeben wären, lässt sich <ref-ruling> nicht entnehmen. Es bestehen auch keine Anhaltspunkte dafür, dass die Auffassungen der an der Begutachtung des Instituts Z._ beteiligten Fachärzte nicht korrekt in das Hauptgutachten eingeflossen sind. Vielmehr haben sämtliche beteiligten Experten am abschliessenden multidisziplinären Konsensus teilgenommen und mit ihren Unterschriften auf dem Hauptgutachten deklariert, dass dieses mit den von ihnen im jeweiligen medizinischen Fachgebiet gewonnenen Erkenntnissen übereinstimmt.
4.3 Der Versicherte erhebt sodann inhaltliche Einwände gegen das Gutachten des Instituts Z._ und die darauf gestützte Beurteilung des kantonalen Gerichts. Es sei nicht auf das Gutachten des Instituts Z._, sondern auf die Expertise der Gutachtenstelle U._ und die darin bestätigte Arbeitsunfähigkeit von 70 % in adaptierten Tätigkeiten abzustellen.
Das Bundesgericht hat sich im Urteil 8C_395/2012 vom heutigen Tag mit den nämlichen, auch dort vorgebrachten Einwänden auseinandergesetzt. Es konnte in diesem, Geldleistungen der Unfallversicherung betreffenden Rechtsstreit den vorinstanzlich festgestellten Sachverhalt frei überprüfen (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG; E. 1 in Urteil 8C_395/2012). Das Bundesgericht ist dabei zum Ergebnis gelangt, dass die Einwände unbegründet sind und auf das Gutachten des Instituts Z._ abgestellt werden kann. Das hat erst recht im vorliegenden Verfahren zu gelten, in welchem dem Bundesgericht nur eine eingeschränkte Überprüfung der vorinstanzlichen Sachverhaltsfeststellungen zusteht (E.1 hievor).
Es bleibt damit bei der vorinstanzlichen Beurteilung von Gesundheitszustand und noch gegebener Arbeitsfähigkeit.
5. Ausgehend vom dargelegten medizinischen Sachverhalt hat die IV-Stelle einen Einkommensvergleich nach <ref-law> vorgenommen und ist zum Ergebnis gelangt, die Erwerbsunfähigkeit betrage nurmehr 29 %. Damit werde der für eine Invalidenrente mindestens erforderliche Invaliditätsgrad von 40 % (<ref-law>) nicht mehr erreicht, weshalb die Rente revisionsweise aufzuheben sei. Das kantonale Gericht hat dies bestätigt.
Der Versicherte wendet ein, das trotz gesundheitlicher Beeinträchtigung zumutbarerweise noch erzielbare Einkommen (Invalideneinkommen) sei nach Massgabe der in der Beschwerde postulierten Arbeitsunfähigkeit herabzusetzen. Diesbezüglich hat es mit der Feststellung sein Bewenden, dass es nach dem zuvor Gesagten bei der Arbeitsunfähigkeit gemäss dem angefochten Entscheid bleibt.
Die vorinstanzliche Beurteilung ist ansonsten unbestritten und gibt keinen Anlass zu weiteren Bemerkungen. Die Beschwerde ist daher abzuweisen.
6. Der Antrag, die IV-Stelle habe die Kosten des Gutachtens der Gutachtenstelle U._ zu übernehmen, wurde nur für den Fall gestellt, dass die Beschwerde im Rentenrevisionspunkt gutgeheissen werde. Das trifft wie dargelegt nicht zu. Damit hat es bezüglich des Kostenantrages sein Bewenden, und es kann offen bleiben, ob auf das Begehren überhaupt eingetreten werden könnte.
7. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz