Sachverhalt:
A. Der 1950 geborene S._ war vom 1. Mai 1988 bis 31. Mai 2006 bei der Firma A._ beschäftigt und damit bei der Fürsorgestiftung X._ (heute: Pensionskasse Y._) vorsorgeversichert. Diese überwies am 22. Dezember 2006 eine Austrittsleistung in der Höhe von Fr. 181'834.80 an die neue Vorsorgeeinrichtung des Versicherten (Freizügigkeitsleistung von Fr. 179'319.35 per Austrittsdatum, zuzüglich Zinsen bis Auszahlungsdatum von Fr. 2'515.45). Seinem Ersuchen um Ausrichtung einer nach seiner eigenen Berechnung um Fr. 25'314.50 höheren Austrittsleistung gab sie nicht statt.
B. Klageweise liess S._ das Rechtsbegehren stellen, die Pensionskasse sei zu verpflichten, ihm als Austrittsleistung per 31. Mai 2006 eine Nachzahlung von Fr. 25'314.50 zu erbringen, nebst Verzugszins von 3,75 % seit 1. Juli 2006, zahlbar an die Freizügigkeitsstiftung der Bank Z._. Mit Entscheid vom 16. September 2009 wies das Sozialversicherungsgericht des Kantons Zürich die Klage ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides sei die Pensionskasse zu verpflichten, ihm als Austrittsleistung per 31. Mai 2006 eine Nachzahlung von Fr. 25'314.50, eventualiter von Fr. 15'425.20 zu leisten, nebst Verzugszins von 3,75 % seit 1. Juli 2006, zahlbar an die Freizügigkeitsstiftung der Bank Z._.
Während die Pensionskasse auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.

Erwägungen:
1. Als die beschwerdegegnerische Vorsorgeeinrichtung auf den 1. Januar 2005 vom Leistungs- zum Beitragsprimat wechselte, schrieb sie sämtlichen Versicherten ein Startguthaben in der Höhe der damaligen Austrittsleistung gut. Umstritten ist die Berechnung des dem Beschwerdeführer unter diesem Titel zustehenden Betrages.
2. Im angefochtenen Entscheid werden die gesetzlichen Bestimmungen über die Berechnung der Austrittsleistung, auf welche bei einem vor Eintritt eines Vorsorgefalles erfolgenden Austritt aus der Vorsorgeeinrichtung Anspruch besteht (Art. 15 ff. FZG), und die darauf Bezug nehmende reglementarische Bestimmung (Art. 7.3 des Reglements über die Personalvorsorge der Fürsorgestiftung X._ in der seit 1. Januar 2003 anwendbaren Fassung), insbesondere die Berechnungsarten A (Freizügigkeitsleistung gemäss Art. 16 FZG), B (Mindestbetrag gemäss Art. 17 FZG) und C (Mindestbetrag gemäss Art. 18 FZG), zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Nach einem Vergleich der drei reglementarischen Berechnungsmethoden, von denen diejenige mit dem höchsten Ergebnis Anwendung findet, gelangte die beschwerdegegnerische Pensionskasse im Falle des Beschwerdeführers zu einer Freizügigkeitsleistung von Fr. 156'677.-, dies entsprechend Variante A gemäss Art. 7.3 des Reglements (Freizügigkeitsleistung gemäss Art. 16 FZG), welcher Wert von der Vorinstanz bestätigt und vom Beschwerdeführer denn auch nicht bestritten wird. Ebenso steht fest und bedarf keiner weiteren Erörterung, dass Berechnungsart C (Altersguthaben nach BVG; Mindestbetrag gemäss Art. 18 FZG) ausser Betracht fällt, weil der sich daraus ergebende Wert tiefer ist als der von der Beschwerdegegnerin anerkannte Betrag.
3.2 Umstritten ist die in Art. 7.3 des Reglements vorgesehene und nach Auffassung des Beschwerdeführers anwendbare, weil nach seiner Berechnung zum höchsten Ergebnis führende Variante B. Bei dieser setzt sich die Freizügigkeitsleistung (Mindestbetrag gemäss Art. 17 FZG) zusammen aus den von der versicherten Person in die Personalvorsorge eingebrachten Freizügigkeitsleistungen mit Zins und der Einkaufssumme für den Einkauf zusätzlicher Beitragsjahre mit Zins (lit. a), den von der versicherten Person an die Altersleistungen geleisteten Beiträgen mit Zins sowie allfälligen Nachzahlungen mit Zins (lit. b) und einem Zuschlag von 4 % für jedes Altersjahr über dem Alter von 20 Jahren, höchstens jedoch 100 % auf dem Betrag gemäss lit. b, wobei das Alter der Differenz zwischen dem laufenden Kalenderjahr und dem Geburtsjahr der ausscheidenden Person entspricht (lit. c). Dabei besteht einzig Uneinigkeit in der Frage, wie die in den Jahren 1988-1994 geleisteten Beiträge bis Ende 2004 (d.h. bis zum Primatwechsel) zu verzinsen sind. Denn diese hat die Fürsorgestiftung der X._ als Vorsorgeeinrichtung mit Leistungsprimat als Gesamtbeiträge (vgl. dazu Schneider/Geiser/Gächter, BVG und FZG, Bern 2010, N. 33 zu Art. 65 BVG) entsprechend Art. 19 des damals geltenden Reglements (Art. 50 Abs. 1 lit. c BVG) erhoben, d.h. ohne zwischen Sparbeitrag für die Äufnung des Alterskapitals und Risikobeitrag für die Deckung der Hinterlassenen- und Invalidenleistungen (wie dies bei Vorsorgeeinrichtungen mit Beitragsprimat üblich ist, vgl. dazu Schneider/Geiser/Gächter, a.a.O., N. 29 ff. zu Art. 65 BVG) zu unterscheiden.
3.3 Die Beschwerdegegnerin und die Vorinstanz gehen davon aus, dass die Gesamtbeiträge bis Ende 2004 vollumfänglich gutzuschreiben seien, d.h. inklusive dem darin enthaltenen, nicht ausgesonderten Risikoanteil, aber dafür ohne Zins. Nach Auffassung des Beschwerdeführers müssen auch die Gesamtbeiträge grundsätzlich vollständig oder dann jedenfalls ab 1995 - zu welchem Zeitpunkt der Gesamtbeitrag aufgegeben wurde zugunsten der Unterscheidung von Spar- und Risikobeitrag - verzinst werden.
3.3.1 Da entsprechend dem damals geltenden Reglement dem Guthaben des Beschwerdeführers auch der im Gesamtbeitrag enthaltene Risikobeitrag gutgeschrieben wurde, kann sich der Anspruch auf Verzinsung jedenfalls nicht auf Art. 17 Abs. 4 FZG stützen. Denn nach dieser Norm können Beiträge zur Finanzierung von Leistungen nach Abs. 2 Bst. a-c nur dann von den Beiträgen der versicherten Person abgezogen werden, wenn der nicht für die Leistungen und Kosten nach den Absätzen 2 und 3 verwendete Teil der Beiträge verzinst wird. Mit anderen Worten wird ein Zins nur vorgeschrieben, wenn die Beiträge - was hier nicht der Fall ist - nach Abs. 2 (und 3) abgezogen werden.
3.3.2 Fraglich ist indessen, ob sich der Anspruch auf Verzinsung aus Litera b der Berechnungsart B (Art. 7.3 des Reglements) ergibt, wonach sich die Freizügigkeitsleistung unter anderem zusammensetzt aus den "von der versicherten Person an die Altersleistungen geleisteten Beiträgen mit Zins", so dass mit anderen Worten die "an die Altersleistungen" geleisteten Beiträge zu verzinsen sind. Die Vorinstanz verneint dies mit der Begründung, eine Verzinsung der Alterssparbeiträge im Sinne des Reglements sei für die bis Ende 1994 geleisteten Beiträge nicht möglich, da bis zu diesem Zeitpunkt gar kein Sparbeitrag ausgeschieden worden sei. Diese Argumentation greift indessen zu kurz. Auszugehen ist vielmehr davon, dass das ab 1. Januar 2003 in Kraft stehende Reglement die Frage der Verzinsung der - ihm nicht bekannten - Gesamtbeiträge gar nicht regelt, da es (wie im Finanzierungssystem des Beitragsprimats üblich) zwischen Spar- und Risikobeiträgen unterscheidet (vgl. Art. 6.2 des Reglements) und sich dessen Litera b der Berechnungsart B (Art. 7.3 des Reglements) auf die nach diesem neuen Reglement entrichteten Beiträge an die Altersleistungen bezieht. Da das Reglement auch keine Übergangsbestimmungen für die nach dem früheren Recht geleisteten Gesamtbeiträge enthält, liegt in Bezug auf die Verzinsung derselben eine Lücke vor.
3.3.2.1 Das Reglement als vorformulierter Inhalt des Vorsorgevertrags ist nach dem Vertrauensprinzip auszulegen. Danach ist darauf abzustellen, wie die zur Streitigkeit Anlass gebende Willenserklärung vom Empfänger in guten Treuen verstanden werden durfte und musste. Dabei ist nicht auf den inneren Willen des Erklärenden abzustellen, sondern auf den objektiven Sinn seines Erklärungsverhaltens. Der Erklärende hat gegen sich gelten zu lassen, was ein vernünftiger und korrekter Mensch unter der Erklärung verstehen durfte. Weiter sind die besonderen Auslegungsregeln bei Allgemeinen Geschäfts- oder Versicherungsbedingungen zu beachten, insbesondere die Unklarheits- und die Ungewöhnlichkeitsregel (<ref-ruling> E. 3.1 S. 227 f., 369 E. 6.2 S. 375).
Ergibt sich durch Auslegung, dass eine reglementarische Ordnung für eine zwischen den Parteien aufgetretene Schwierigkeit keine Regelung vorsieht, muss die vertragliche Regelung vom Richter ergänzt werden. Dabei ist es im Recht der beruflichen Vorsorge im Allgemeinen sinnvoll, die gesetzliche Regelung analog zur Lückenfüllung von Reglementen heranzuziehen (<ref-ruling> E. 3.1 S. 148; vgl. auch <ref-ruling> E. 5a S. 287; SVR 1997 BVG Nr. 66 S. 199, B 18/96 E. 6b; Urteil B 35/03 vom 17. Februar 2004 E. 3.3.4 [mit Zusammenfassung in SZS 2004 S. 447]).
3.3.2.2 Im Lichte dieser Grundsätze ist nicht zu beanstanden, wenn die Beschwerdegegnerin und die Vorinstanz die Lücke analog zur (von ihnen als lex specialis zu Art. 17 Abs. 1 FZG betrachteten) Regelung des Art. 17 Abs. 4 FZG e contrario füllen, wonach die Beiträge nicht zu verzinsen sind, wenn die zur Finanzierung von Invaliden- und Hinterlassenenleistungen (sowie Überbrückungsrenten) aufgewendeten Beiträge dem Konto des Versicherten verbleiben.
Zwar wäre es denkbar, im Sinne des Beschwerdeführers auch beim Gesamtbeitrag rechnerisch zwischen einem Spar- und einem Risikoanteil zu unterscheiden und ersteren zu verzinsen. Dies hätte allerdings zur Folge, dass auf der anderen Seite der Risikoanteil von den gutzuschreibenden Beiträgen abzuziehen wäre. Für eine derartige Korrektur müsste indessen ein Risikoanteil festgelegt werden, was einen Eingriff in den gesetzlich geschützten (Art. 49 BVG) Autonomiebereich der Vorsorgeeinrichtung bedeuten würde. Denn wenn eine Vorsorgeeinrichtung - wie ohne weiteres zulässig und bei Leistungsprimatskassen üblich - einen Gesamtbeitrag vorgesehen hatte, basierte auch ihre Kalkulation darauf; es wäre systemwidrig, nachträglich richterlich einzugreifen und eine Aufteilung in Spar- und Risikobeitrag zu verlangen, welche für alle Versicherten gelten müsste und eine umfassende Neukalkulation verlangen würde.
4. Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Mai 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann