Sachverhalt:
A. Der 1951 geborene B._ war seit 1. Januar 2003 bei der Pensionskasse X._ sowie der Zusatzkasse Y._ (nachfolgend: Pensionskasse bzw. Zusatzkasse) für die berufliche Vorsorge versichert. Seit dem 1. Januar 2010 bezieht er eine Altersrente.
Nachdem per Ende 2008 in beiden Kassen eine Unterdeckung resultiert hatte, beschlossen diese, die Sparkapitalien im Jahr 2009 vorläufig nicht zu verzinsen. Anfang Februar 2010 informierten sie die Versicherten dahin, dass aufgrund der erfreulichen Rendite die Sparkapitalien der Pensionskasse rückwirkend für 2009 mit 1,25 % verzinst würden. Diese Zinsgutschrift beschränkte sich auf diejenigen Personen, die am 1. Januar 2010 als Aktive in der Kasse geführt wurden. Die Zusatzkasse gewährte keine höhere Verzinsung.
B. Am 1. November 2010 liess B._ beim Sozialversicherungsgericht des Kantons Zürich Klage einreichen mit dem Antrag, die Pensionskasse sei zu verpflichten, sein Altersguthaben im Kalenderjahr 2009 mit 2 % zu verzinsen; die Zinsgutschrift sei rückwirkend per 1. Januar 2010 bei der Umwandlung seines Altersguthabens in eine Rente zu berücksichtigen und die Rente sei entsprechend anzupassen. Mit Entscheid vom 23. Februar 2012 wies das Sozialversicherungsgericht des Kantons Zürich die Klage ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die vorinstanzlich gestellten Anträge erneuern. Zusätzlich ver-langt er, seinem Altersguthaben seien Fr. 13'222.25 gutzuschreiben.
Die Pensionskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
D. Am 16. August 2012 gelangt B._ mit einer weiteren Eingabe an das Bundesgericht.
Erwägungen:
1. 1.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; vgl. dazu BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft es - unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254 mit Hinweisen). Die Beschwerde ist dabei hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 42 Abs. 2 BGG; BGE 134 II 244 E. 2.1 S. 245 f.). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1 S. 68, 133 III 439 E. 3.2 S. 444).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Offensichtlich unrichtig bedeutet dabei willkürlich (BGE 135 III 397 E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
1.3 Der grundsätzlichen Bindung des Bundesgerichts an den vom kantonalen Gericht festgestellten Sachverhalt entspricht es, dass neue Tatsachen und Beweismittel nur so weit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Inwiefern dies der Fall sein soll, ist in der Beschwerde ebenfalls näher darzulegen (BGE 134 V 223 E. 2.2.1 S. 226; 133 III 393 E. 3 S. 395).
Das Novenverbot gilt auch für die Vernehmlassung der Beschwerdegegnerin (vgl. Urteil des Bundesgerichts 7B.249/2003 vom 7. Januar 2004 E. 1). Unbeachtlich sind daher die darin erstmals vorgebrachten Behauptungen, bei der nachträglichen Verzinsung handle es sich um eine reine Goodwill-Zinsgutschrift und der Beschwerdeführer habe aktuell bereits einen monetären Vorteil erzielt, indem im Zeitpunkt der Pensionierung ein höherer Umwandlungssatz angewendet worden sei. Dies gilt umso mehr, als die Beschwerdegegnerin nicht darlegt, weshalb die fraglichen Vorbringen erst im Verfahren vor Bundesgericht zulässig sein sollen.
1.4 Dass der Beschwerdeführer seine Forderung letztinstanzlich neu beziffert hat, stellt keine Veränderung des Streitgegenstands und kein unzulässiges neues Begehren dar (vgl. Art. 99 Abs. 2 BGG). Der geforderte Betrag von Fr. 13'222.25 stützt sich zudem auf aktenkundige Tatsachen (2 % von Fr. 661'112.30; vgl. Versicherungsausweis vom 31. Dezember 2009).
2. Gemäss Feststellung der Vorinstanz wies die Pensionskasse per Ende 2008 eine Unterdeckung gemäss Art. 44 Abs. 1 BVV2 auf (94 %). Per 31. Dezember 2009 betrug der Deckungsgrad wieder über 100 % (103,6 %). An seiner Sitzung vom 12. November 2009 beschloss der Stiftungsrat, nachdem er sich im Februar 2009 für eine vorläufige Nullverzinsung ausgesprochen hatte, allen Mitgliedern, die am 1. Januar 2010 als Aktive versichert waren, für das Jahr 2009 nachträglich einen Zinssatz von 1,25 % gutzuschreiben. Streitfrage bildet dabei, ob und inwieweit die Pensionskasse das Altersguthaben des Beschwerdeführers, der sich per 1. Januar 2010 vorzeitig pensionieren liess, im Jahr 2009 zu Unrecht nicht verzinst hat.
3. 3.1 Bei der Beschwerdegegnerin handelt es sich um eine umhüllende Vorsorgeeinrichtung (vgl. BGE 132 V 278 E. 3.1 S. 279). Für die weitergehende Vorsorge gibt es keine Vorschriften über die Festsetzung der Höhe des Zinssatzes (Art. 49 Abs. 2 BVG). Der Stiftungsrat kann in diesem Bereich den Zins für das Altersguthaben grundsätzlich frei festlegen. Bedingung ist - nebst den verfassungsrechtlichen Gesichtspunkten der Rechtsgleichheit, des Willkürverbots und der Verhältnismässigkeit -, dass die gesetzliche Mindestverzinsung eingehalten ist, was anhand der Schattenrechnung überprüft wird. Mit anderen Worten muss das reglementarische Altersguthaben mindestens so hoch sein wie das BVG-Altersguthaben (vgl. BGE 132 V 278 E. 4.2 S. 281).
3.2 Gemäss Art. 7 des ab 1. Januar 2009 gültigen Vorsorgereglements erfolgt die Verzinsung der Sparbeiträge ab 1. Januar des Folgejahres. Freizügigkeitseinlagen, Einkauf von Vorsorgeleistungen sowie allfällige ausserordentliche Beiträge und Einlagen werden ab dem Zeitpunkt der Einlage verzinst. Die Verzinsung erfolgt bis zum Eintreten eines Versicherungsfalles oder bis zum Zeitpunkt der Überweisung. Der Stiftungsrat legt unter Berücksichtigung der Anlagesituation und des gesetzlich vorgeschriebenen Mindestzinssatzes die Verzinsung der Altersguthaben jährlich fest.
Bei einer Unterdeckung gemäss Art. 44 BVV2 legt der Stiftungsrat in Zusammenarbeit mit dem Experten für berufliche Vorsorge angemessene Massnahmen zur Behebung der Unterdeckung fest. Nötigenfalls können insbesondere die Verzinsung der Altersguthaben, die Finanzierung und die Leistungen den vorhandenen Mitteln angepasst werden. Der Grundsatz der Verhältnismässigkeit ist zu beachten (Art. 20bis Abs. 1 Reglement). Besteht in der Pensionskasse eine Unterdeckung gemäss Art. 44 BVV2, muss der Stiftungsrat die Aufsichtsbehörde, den Arbeitgeber, die Versicherten und die Rentner über die Unterdeckung und die in Zusammenarbeit mit dem Experten für berufliche Vorsorge festgelegten Massnahmen informieren (Art. 20bis Abs. 5 Reglement).
4. 4.1 Im Jahr 2008 betrug die Verzinsung des Sparkapitals 2,75 %. Unter dem Eindruck der (damaligen) Unterdeckung beschloss der Stiftungsrat an seiner Sitzung vom 25. November 2008, den Zinssatz für die Altersguthaben ab 1. Januar 2009 "bis auf Weiteres auf 0 % (Null)" festzulegen resp. "die Sparkapitalien im Jahr 2009 vorläufig nicht zu verzinsen" (Informationsschreiben vom Februar 2009). Ende 2009 resultierte wiederum ein Deckungsgrad von über 103 %. Im Hinblick auf diese Sachlage setzte der Stiftungsrat die definitive (Nach-)Verzinsung für das Jahr 2009 an seiner Sitzung vom 12. November 2009 auf 1,25 % fest (vgl. auch Informationsschreiben vom 30. Januar 2010). Gleichzeitig setzte er den Zinssatz für die Verzinsung der Altersguthaben ab 1. Januar 2010 provisorisch auf 2 % fest. Infolge des Aufwärtstrends der Märkte (Performance in der Höhe von 13,2 %) drängten sich somit im Jahr 2009 keine Sanierungsmassnahmen auf (vgl. E. 3.2 Abs. 2 hievor). Im Informationsschreiben vom Februar 2009 wurde denn auch die vorläufige Nullverzinsung nur als mögliche Massnahme zur Stabilisierung der Pensions- und Zusatzkasse bezeichnet.
4.2 Bekanntermassen entscheidet der Stiftungsrat über die Frage der aktuellen Verzinsung in vielen Fällen frühestens im 4. Quartal des laufenden und spätestens im 2. Quartal des folgenden Kalenderjahres, d.h. retrospektiv. Wie sich nicht nur aus den bereits erwähnten Protokollen der Stiftungsratssitzung vom 25. November 2008 und 12. November 2009 ergibt, sondern sich auch dem Anhang zur Jahresrechnung 2009 - vom Stiftungsrat am 18. März 2010 genehmigt - und dem Protokoll vom 9. Juni 2010 entnehmen lässt, handelt es sich bei der prospektiven Festsetzung der Verzinsung für das fragliche Jahr, wie sie von der Beschwerdegegnerin gehandhabt wird, lediglich um eine provisorische Grösse. Ausgangspunkt für die Beurteilung der Nichtverzinsung des Sparguthabens des Beschwerdeführers im Jahr 2009 ist somit die generelle endgültige Zinsfestlegung. Entgegen den vorinstanzlichen Erwägungen stellt sich hier deshalb nicht die allgemeine (Vor-)Frage, ob wegen der Unterdeckung per Ende 2008 eine Nullverzinsung nach dem Anrechnungsprinzip für das Jahr 2009 zulässig und durchführbar war. Nach dem in E. 4.1 Dargelegten war sie für den definitiven Entscheid des Stiftungsrats Ende 2009, die Altersguthaben im laufenden Jahr mit 1,25 % zu verzinsen, ohnehin irrelevant. Zudem sahen sich letztlich allein die "austretenden" und "ausscheidenden" Versicherten mit einer Nullverzinsung konfrontiert.
5. 5.1 Die Vorinstanz erwog, mit dem für den Anspruch auf die Zinszahlung von 1.25 % vorausgesetzten Versicherungsstatus am 1. Januar 2010 werde das Gleichbehandlungsgebot nicht verletzt. Soweit die Beschwerdegegnerin Ende Jahr unter Berücksichtigung des verbesserten Deckungsgrades einen Zusatzzins ausgerichtet habe, komme diesem Ausschüttungscharakter für das Jahr 2010 zu. Ferner habe die Rechtsprechung wiederholt entschieden, dass es den Grundsatz der Gleichbehandlung nicht verletze, wenn bei der Verteilung der freien Stiftungsmittel Versicherte, die wie der Beschwerdeführer freiwillig aus einer Vorsorgeeinrichtung ausgeschieden sind, nicht berücksichtigt würden. Im Weiteren werde das Alterskapital des Beschwerdeführers seit 1. Januar 2010 mit einem technischen Zinssatz von 3,5 % verzinst, wie er auch in Bezug auf seine Rente einen weitestgehenden Bestandesschutz geniesse. Demgegenüber seien die aktiven Versicherten unverändert der Gefahr von Wertschwankungen ausgesetzt und hätten Sanierungsmassnahmen zu gewärtigen. Schliesslich würden die im Jahr 2009 aus anderen Gründen aus der Vorsorgeeinrichtung ausgeschiedenen Versicherten ebenfalls leer ausgehen.
5.2 Ob und inwieweit der vorzeitig pensionierte Beschwerdeführer als "freiwillig Ausgeschiedener" gilt, kann offen bleiben. Die Pensionskasse präzisierte den Status des Beschwerdeführers in ihrer Vernehmlassung jedenfalls als "aus dem Aktivversichertenstatus Ausgeschiedene(r)". Abgesehen davon, dass sie im Informationsschreiben vom Februar 2009 selber die Wendung "austretende Versicherte" mit dem Klammerzusatz "Arbeitgeberwechsel" definiert und dadurch eingeengt hat, geht es hier bei der Verzinsung des Sparkapitals nicht um die Verteilung von freien Mitteln. Wohl lässt sich argumentieren, dass mit der nachträglichen Festsetzung eines höheren Zinssatzes der Aufbau freier Mittel geschmälert und solche somit vorweg verteilt würden. Die Verzinsung des Sparkapitals gehört jedoch zu den Verpflichtungen der Pensionskasse. Den Versicherten steht diesbezüglich ein individueller Rechtsanspruch zu. Das Reglement gibt keinen Mindestzinssatz vor (vgl. E. 6.1 nachfolgend). Wenn auch der Stiftungsrat im Zusammenhang mit der definitiven Bestimmung der Verzinsung, die erst am Ende des laufenden Jahres erfolgt, von einem "Zusatzzins" spricht, ist diese - entsprechend der reglementarischen Vorgabe und deren Umsetzung - insgesamt Teil des effektiv erwirtschafteten Vermögensertrags und nicht Abbau von freien Mitteln (vgl. E. 4.2). Im Übrigen scheint es die Pensionskasse nicht anders zu sehen, führt doch auch sie in der Vernehmlassung aus, dass es sich vorliegend nicht um die Verteilung von freien Stiftungsmitteln handle. Insoweit unterscheidet sich die vorliegende Sachverhaltskonstellation von derjenigen in SVR 2010 BVG Nr. 36 S. 136 (9C_953/2009), in welchem der reglementarische Verzinsungssatz wenigstens dem Mindestzinssatz gemäss BVG entsprach und der darüber hinausgehende Zinsanteil - nach der Regelung des Reservenkonzepts der Pensionskasse - aus den freien Mitteln der aktiven Versicherten finanziert wurde (E. 5). Der - unabhängig von einer Teil- oder Gesamtliquidation - allgemein gültige Grundsatz, dass keine Verletzung der Gleichbehandlung der Destinatäre vorliegt, wenn bei der Verteilung von freien Stiftungsmitteln diejenigen Versicherten nicht berücksichtigt werden, die freiwillig aus einer Vorsorgeeinrichtung ausgeschieden sind (BGE 133 V 607 E. 4.2.2 und 4.2.3 S. 611), findet hier daher keine Anwendung.
5.3 Zwar trifft es zu, dass Pensionierte insoweit einen Bestandesschutz geniessen, als ihre Rente bei Unterdeckung nicht generell dauerhaft gekürzt werden kann (vgl. Art. 65d Abs. 3 lit. b BVG; vgl. auch BGE 135 V 382). Indessen war der Beschwerdeführer während des ganzen Jahres 2009, vom 1. Januar bis 31. Dezember, aktiv bei der Pensionskasse versichert, und sein Sparkapital trug zeitlich identisch mit demjenigen der übrigen (ganzjährigen) Aktivversicherten zur Erwirtschaftung des Ertrages bei. Diese und nicht die anderen Versicherten, die im Verlaufe des Jahres 2009 aus der Vorsorgeeinrichtung ausgeschieden und ebenfalls leer ausgegangen sind, bilden somit die Bezugsgrösse.
5.4 Insoweit dem Beschwerdeführer ab 1. Januar 2010 ein technischer Zinssatz von 3,5 % zugute kommt, ist dafür sein Statuswechsel (vom Aktiven zum Pensionierten) verantwortlich. Als Ausgleich zum Verzinsungsanspruch für das Jahr 2009, wie die vorinstanzlichen Erwägungen implizieren, kann diese Tatsache schon mangels Gleichartigkeit nicht dienen. Der technische Zinssatz ist eine sogenannte Berechnungsannahme. Er ist nicht deckungsgleich mit dem kaufmännischen Zinssatz, wie er sich aus Art. 7 des Reglements ergibt. Insbesondere hat der technische Zinssatz - im Gegensatz zum Letzteren - keinen direkten Einfluss auf die Höhe des Rentenanspruchs im Einzelfall.
5.5 Die Verzinsungspolitik der Pensionskasse ist kongruent mit der obligatorischen Lösung. Die Sparbeiträge 2009 werden erst ab 1. Januar 2010 verzinst (vgl. E. 3.2). Mit anderen Worten werden dem individuellen Alterskonto am Ende des Kalenderjahrs der jährliche Zins auf dem Altersguthaben nach dem Kontostand am Ende des Vorjahres und die unverzinsten Altersgutschriften für das abgelaufene Kalenderjahr gutgeschrieben (Art. 11 Abs. 2 BVV2). Der Ende 2009 definitiv festgesetzte Zinssatz für das Jahr 2009 in der Höhe von 1,25 % bezieht sich demnach auf das Sparkapital per 31. Dezember 2008. "Ausschüttungscharakter" für das Jahr 2010, wie es die Vorinstanz nennt, erlangte er rein aus verwaltungstechnischen Gründen. Wegen der provisorisch festgelegten Nullverzinsung wurde für 2009 kein "Zinsspeicher" geführt, weshalb die nachträgliche definitive Zinsgutschrift 2009 auf dem Kapital per 31. Dezember 2009 und nur zu Gunsten der Versicherten erfolgte, die am 1. Januar 2010 noch aktiv waren (Stiftungsrats-Protokolle vom 25. November 2008 und 12. November 2009). Solche administrativen Umstände vermögen eine Ungleichbehandlung nicht zu begründen.
5.6 Nach dem Gesagten lässt sich kein sachlicher Grund erkennen, der die Nullverzinsung rechtfertigt, die im Jahr 2009 gegenüber dem per 1. Januar 2010 vorzeitig pensionierten Beschwerdeführer angewendet wurde. Die Pensionskasse hat die Verzinsung des überobligatorischen Guthabens im Jahr 2009 in unhaltbarer Weise rechtsungleich und insoweit in Verletzung von Bundesrecht vorgenommen.
6. Zu prüfen bleibt die Frage, ob die Verzinsung des überobligatorischen Sparguthabens im Jahr 2009 unter dem vom Bundesrat festgelegten Mindestzinssatz von 2 % (Art. 12 lit. f BVV2) zulässig ist.
6.1 Der Beschwerdeführer will die Verzinsung gemäss Art. 7 des Reglements in dem Sinne verstanden wissen, dass bei deren Bestimmung vom BVG-Mindestzinssatz auszugehen ist, der bei guter Performance nicht unterschritten werden darf. Dieser Auffassung steht jedoch bereits der klare Wortlaut des Reglements entgegen. Danach sind die Anlagesituation und der gesetzlich vorgeschriebene Mindestzinssatz nur Kriterien für die Festlegung des Zinssatzes. Eine feste Formel oder verbindliche Mindestgrösse lässt sich dem Pensionskassenreglement nicht entnehmen.
6.2 Es liegt auf der Hand, dass die Verzinsung, die auf dem überobligatorischen Sparkapital ausgerichtet wird, der finanziellen Lage der Kasse angepasst werden darf bzw. - im Interesse der nachhaltigen Sicherstellung des Vorsorgezwecks - muss. Denn bei einer Vorsorgeeinrichtung müssen Ausgaben und Einnahmen grundsätzlich im Gleichgewicht stehen. Zinsen können wirtschaftlich nur gutgeschrieben werden, soweit die Verhältnisse auf dem Kapitalmarkt einen Vermögensertrag zulassen, es sei denn, es würden andere zusätzliche Einnahmen erschlossen oder die Zinsen könnten aus freien Mitteln finanziert werden (BGE 132 V 278 E. 4.6 S. 283 f.).
Der Beschwerdeführer begründet einzig mittels der ihm zutreffend erscheinenden Auslegung von Art. 7 des Reglements (vgl. E. 6.1), die Verzinsung des überobligatorischen Sparkapitals in der Höhe von 1,25 % für das Jahr 2009 sei willkürlich. Das Bundesgericht hat keine Veranlassung, von dieser Festlegung abzuweichen. Aus der Jahresrechnung 2009 erhellt, dass die Beschwerdegegnerin Ende 2008 über keinerlei Wertschwankungsreserven verfügte und bis Ende 2009 erst wieder rund 23 % des Sollwertes hatten aufgebaut werden können. Bezeichnenderweise fehlte es auch an freien Mitteln. Eine höhere Verzinsung zu erbringen als diejenige, die auf Grund der konkreten Performance tatsächlich finanzierbar war, lag ausser Reichweite. Dass dadurch das BVG-Altersguthaben nicht mehr gewährleistet sei (vgl. E. 3.1), ist weder aktenkundig noch wird dies geltend gemacht.
7. Der Beschwerdeführer fordert die Verzinsung auf seinem Sparkapital per 1. Januar 2009 nach. Dieses beläuft sich auf Fr. 661'112.30. Ein Zins von 1,25 % ergibt Fr. 8'263.90. Dieser Betrag ist zum Kapital hinzuzurechnen, das Grundlage für die vom Beschwerdeführer seit 1. Januar 2010 bezogene Altersleistung bildet, und diese ist entsprechend anzupassen.
8. Zusammengefasst ist die Beschwerde teilweise begründet. Dem Verfahrensausgang entsprechend werden die Gerichtskosten hälftig den Parteien auferlegt (Art. 66 Abs. 1 BGG). Die teilweise unterliegende Pensionskasse hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG); sie selbst ist als mit öffentlich-rechtlichten Aufgaben betraute Organisation gemäss Art. 68 Abs. 3 BGG nicht anspruchsberechtigt.
9. Von Bundesrechts wegen besteht auf dem Gebiet der beruflichen Vorsorge kein Anspruch auf eine Parteientschädigung für das erstinstanzliche Verfahren. Der Beschwerdeführer ist jedoch darauf hinzuweisen, dass er die Möglichkeit hat, bei der Vorinstanz eine Neuverlegung der Parteientschädigung für das Klageverfahren zu beantragen (nicht publizierte E. 10.2.2 des Urteils BGE 132 V 127).
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird der angefochtene Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. Februar 2012 aufgehoben. Die Beschwerdegegnerin hat dem Sparkapital des Beschwerdeführers, das Grundlage für die von diesem seit 1. Januar 2010 bezogenen Altersleistung bildet, Fr. 8'263.90 hinzuzurechnen und diese entsprechend zu erhöhen. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden den Parteien je zur Hälfte auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer