Sachverhalt:
A. Der 1966 geborene, zuletzt in einem 50 %-Pensum als Office-Administrator bei der X._ AG tätig gewesene W._ meldete sich im Dezember 2005 unter Hinweis auf gesundheitliche Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich wies das Rentenbegehren mit Verfügung vom 30. März 2006 ab, da die von Gesetzes wegen bei lang dauernder Krankheit zu bestehende einjährige Wartezeit noch nicht abgelaufen sei. Der Versicherte erhob Einsprache. Die IV-Stelle holte ein polydisziplinäres medizinisches Gutachten des ärztlichen Zentrums Y._ vom 20. Juni 2007 ein und wies die Einsprache mit Entscheid vom 26. März 2008 ab. Bereits am 17. März 2008 hatte W._ gemeldet, er leide an weiteren gesundheitlichen Beschwerden. Auf die entsprechende Anfrage der Verwaltung hin erklärte er mit Eingabe vom 24. August 2008, er verzichte auf die Einreichung einer Beschwerde gegen den Einspracheentscheid und stelle vielmehr einen neuen Rentenantrag. Die IV-Stelle holte nebst weiteren Sachverhaltsabklärungen ein neurologisches Gutachten des Prof. Dr. med. M._ vom 9. September 2008 und eine psychiatrische Expertise des Dr. med. A._ vom 8. Dezember 2008 ein. Mit Vorbescheid vom 17. August 2009 eröffnete sie dem Versicherten ihre Absicht, ihm rückwirkend ab 1. März 2008 bei einem Invaliditätsgrad von 66 % eine Dreiviertelsrente zuzusprechen. W._ beantragte, ihm sei eine ganze Invalidenrente zu gewähren, was zudem, in Anwendung der prozessualen Revision, rückwirkend ab Januar 2005 zu erfolgen habe. Mit neuem Vorbescheid vom 5. Februar 2010 teilte die Verwaltung dem Versicherten mit, sie gedenke weiterhin nur eine Dreiviertelsrente zuzusprechen, dies nunmehr aber erst ab 1. April 2008. W._ machte geltend, er habe Anspruch ab Januar 2005 auf eine Teilrente und ab Oktober 2005 auf eine volle Invalidenrente. Mit Verfügung vom 3. November 2010 bestätigte die IV-Stelle die am 5. Februar 2010 angekündigte Invalidenrente sowohl masslich als auch hinsichtlich Rentenbeginn.
B. Beschwerdeweise beantragte W._, in Aufhebung der Verfügung vom 5. Februar 2010 sei die prozessuale Revision gutzuheissen und rückwirkend ab Januar 2005 eine Teil- sowie ab Oktober 2005 eine volle Invalidenrente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich hiess die Beschwerde teilweise gut und änderte die Verfügung vom 3. November 2010 dahin gehend ab, dass der Versicherte ab 1. April 2008 Anspruch auf eine ganze Invalidenrente habe. Im Übrigen wies es die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt W._ beantragen, es sei der vorinstanzliche Entscheid betreffend prozessuale Revision aufzuheben, diese gutzuheissen und rückwirkend ab Januar 2005 eine Teil- sowie ab Oktober 2005 eine volle Invalidenrente zuzusprechen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
2. Streitig und zu prüfen ist letztinstanzlich, ob für den Zeitraum von Januar 2005 bis März 2008 eine (abgestufte) Rente der Invalidenversicherung zuzusprechen ist. Das setzt nach dem einhelligen und zutreffenden Verständnis von Parteien und Vorinstanz ein Rückkommen auf den unbestrittenermassen in formelle Rechtskraft erwachsenen Einspracheentscheid vom 26. März 2008 voraus. Als Rückkommenstitel steht die prozessuale Revision gemäss Art. 53 Abs. 1 ATSG zur Diskussion.
3. Gemäss Art. 53 Abs. 1 ATSG müssen formell rechtskräftige Verfügungen und Einspracheentscheide in Revision gezogen werden, wenn die versicherte Person oder der Versicherungsträger nach deren Erlass erhebliche neue Tatsachen entdeckt oder Beweismittel auffindet, deren Beibringung zuvor nicht möglich war.
3.1 Der Begriff "neue Tatsachen oder Beweismittel" ist bei der (prozessualen) Revision eines Verwaltungsentscheides nach Art. 53 Abs. 1 ATSG gleich auszulegen wie bei der Revision eines kantonalen Gerichtsentscheides gemäss Art. 61 lit. i ATSG oder bei der Revision eines Bundesgerichtsurteils gemäss Art. 123 Abs. 2 lit. a BGG (vgl. SVR 2010 IV Nr. 55 S. 169, 9C_764/2009 E. 3.1 mit Hinweisen; Urteile 8C_152/2012 vom 3. August 2012 E. 5.1 und 8C_422/2011 vom 5. Juni 2012 E. 4).
Neu sind demnach Tatsachen, die sich bis zum Zeitpunkt, da im Hauptverfahren noch tatsächliche Vorbringen prozessual zulässig waren, verwirklicht haben, jedoch dem Revisionsgesuchsteller trotz hinreichender Sorgfalt nicht bekannt waren. Die neuen Tatsachen müssen ferner erheblich sein, d.h. sie müssen geeignet sein, die tatbeständliche Grundlage des zur Revision beantragten Entscheids zu verändern und bei zutreffender rechtlicher Würdigung zu einer andern Entscheidung zu führen. Neue Beweismittel haben entweder dem Beweis der die Revision begründenden neuen erheblichen Tatsachen oder dem Beweis von Tatsachen zu dienen, die zwar im früheren Verfahren bekannt gewesen, aber zum Nachteil des Gesuchstellers unbewiesen geblieben sind. Erheblich ist ein Beweismittel, wenn anzunehmen ist, es hätte zu einem anderen Urteil geführt, falls das Gericht resp. die Verwaltung im Hauptverfahren davon Kenntnis gehabt hätte. Ausschlaggebend ist, dass das Beweismittel nicht bloss der Sachverhaltswürdigung, sondern der Sachverhaltsermittlung dient. Ein Revisionsgrund ist nicht schon dann gegeben, wenn das Gericht resp. die Verwaltung bereits im Hauptverfahren bekannte Tatsachen unrichtig gewürdigt hat. Notwendig ist vielmehr, dass die unrichtige Würdigung erfolgte, weil für den Entscheid wesentliche Tatsachen unbewiesen geblieben sind (vgl. BGE 134 III 669 E. 2.1 S. 670; 127 V 353 E. 5b S. 358; SVR 2012 UV Nr. 17 S. 63, 8C_434/2011 E. 7.1; erwähnte Urteile SVR 2010 IV Nr. 55 E. 3.2; 8C_152/2012 E. 5.1; 8C_422/2011 E. 4; Urteil 8F_9/2010 vom 10. März 2011 E. 3.1; je mit Hinweisen).
3.2 In der Beschwerde wird geltend gemacht, der Einspracheentscheid vom 26. März 2008 habe im Wesentlichen auf dem Gutachten des ärztlichen Zentrums Y._ vom 20. Juni 2007 basiert. Darin habe die psychiatrische Expertin des ärztlichen Zentrums Y._ akzentuierte Persönlichkeitszüge mit narzisstischen Anteilen diagnostiziert und ein die Arbeitsfähigkeit beeinträchtigendes psychisches Leiden verneint. Demgegenüber sei das psychiatrische Gutachten A._ vom 8. Dezember 2008 bezüglich Diagnosen und Arbeitsfähigkeit zu gänzlich anderen Ergebnissen gelangt. Darin werde rückwirkend ab 2005 eine hälftige Arbeitsunfähigkeit aus psychischen Gründen bestätigt. Aus dem Gutachten A._ und der neurologischen Expertise M._ vom 9. September 2008 ergäben sich zudem verschiedene Diskrepanzen bezüglich der psychiatrischen Beurteilung durch die Psychiaterin des ärztlichen Zentrums Y._. Diese in retrospektiver Beurteilung gewonnenen neuen medizinischen Erkenntnisse liessen die älteren Einschätzungen als überholt erscheinen. Die vom Versicherten bereits früher geklagten Probleme seien erst durch die nun mittels neuen Gutachten nachgewiesenen Tatsachen erkannt worden. Mit den Expertisen A._ und M._ lägen die neuen Beweismittel vor, welche belegten, dass die Entscheidgrundlage objektiv mangelhaft und der Entscheid betreffend prozessuale Revision unrichtig gewesen sei.
3.3 Demnach sollen die Gutachten A._ und M._ neue Beweismittel für das Vorliegen einer bis dahin unbewiesen gebliebenen psychischen Krankheit mit Beeinträchtigung der Arbeitsfähigkeit darstellen. Das soll rechtfertigen, den Einspracheentscheid vom 26. März 2008 prozessual zu revidieren.
Dieser Betrachtungsweise kann aus den nachstehenden Gründen nicht gefolgt werden.
3.3.1 Die Revision ist ein ausserordentliches Rechtsmittel und dient nicht einfach der Weiterführung des Verfahrens. Es obliegt den Prozessparteien, rechtzeitig und prozesskonform zur Klärung des Sachverhalts entsprechend ihrer Beweispflicht beizutragen. Dass es ihnen unmöglich war, Tatsachen und Beweismittel bereits im früheren Verfahren beizubringen, ist nur mit Zurückhaltung anzunehmen. Dies gilt ganz besonders, wenn im Revisionsverfahren mit angeblich neu entdeckten Beweismitteln bereits im Hauptverfahren aufgestellte Behauptungen belegt werden sollen, die vom Gericht aufgrund eines aufwändigen Beweisverfahrens als unzutreffend erachtet wurden. Entsprechend hat der Gesuchsteller im Revisionsgesuch darzutun, dass er die Beweismittel im früheren Verfahren trotz hinreichender Sorgfalt nicht beibringen konnte (erwähntes Urteil 8F_9/2010 E. 3.3 mit Hinweisen; vgl. auch erwähntes Urteil SVR 2012 UV Nr. 17 E. 7.1). Diese Grundsätze zur Revision nach Art. 123 Abs. 2 lit. a BGG gelten auch bei der prozessualen Revision nach Art. 53 Abs. 1 ATSG (E. 3.1 hievor).
3.3.2 Der schon damals rechtskundig vertretene Beschwerdeführer hatte bereits während des Einspracheverfahrens am 30. Januar 2008 schriftlich Einwände betreffend die fachliche Kompetenz der psychiatrischen Expertin des ärztlichen Zentrums Y._ und deren fachärztliche Beurteilung geäussert. Er ging dabei ganz offensichtlich davon aus, es liege entgegen dieser psychiatrischen Beurteilung eine Arbeitsunfähigkeit aus psychischen Gründen vor. Die Verwaltung ist dieser Auffassung dann im Einspracheentscheid nicht gefolgt, sondern hat an der psychiatrischen Beurteilung gemäss Expertise des ärztlichen Zentrums Y._ festgehalten. Nun wäre es am Versicherten gelegen, seine Einwände zum Bestehen einer psychisch bedingten Arbeitsunfähigkeit beschwerdeweise vorzubringen und zu deren Nachweis ein entsprechendes Gutachten zu veranlassen oder zu beantragen. Das heisst, bei genügender Sorgfalt hätte er ein solches Beweismittel im früheren Verfahren beibringen können. Es ist nicht ersichtlich, weshalb er hiezu nicht hätte in der Lage sein sollen (vgl. auch erwähntes Urteil 8F_9/2010 E. 3.3 in fine). Dass er, wie geltend gemacht wird, nie in psychiatrischer Behandlung stand, genügt nicht für eine entsprechende Folgerung.
3.3.3 Nach dem Gesagten war es dem Beschwerdeführer im früheren Verfahren nicht unmöglich, zur Stützung seiner Auffassung ein Beweismittel wie die hier angerufenen Gutachten A._ und M._ beizubringen. Das schliesst eine auf diese Expertisen gestützte prozessuale Revision des Einspracheentscheids vom 26. März 2008 aus (E. 3.3.1 hievor) und führt zur Abweisung der Beschwerde.
4. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse für das schweizerische Bankgewerbe und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz