Sachverhalt: A. Der 1950 geborene S._ war vom 1. Mai 1988 bis 31. Mai 2006 bei der Firma A._ beschäftigt und damit bei der Fürsorgestiftung X._ (heute: Pensionskasse Y._) vorsorgeversichert. Diese überwies am 22. Dezember 2006 eine Austrittsleistung in der Höhe von Fr. 181'834.80 an die neue Vorsorgeeinrichtung des Versicherten (Freizügigkeitsleistung von Fr. 179'319.35 per Austrittsdatum, zuzüglich Zinsen bis Auszahlungsdatum von Fr. 2'515.45). Seinem Ersuchen um Ausrichtung einer nach seiner eigenen Berechnung um Fr. 25'314.50 höheren Austrittsleistung gab sie nicht statt. B. Klageweise liess S._ das Rechtsbegehren stellen, die Pensionskasse sei zu verpflichten, ihm als Austrittsleistung per 31. Mai 2006 eine Nachzahlung von Fr. 25'314.50 zu erbringen, nebst Verzugszins von 3,75 % seit 1. Juli 2006, zahlbar an die Freizügigkeitsstiftung der Bank Z._. Mit Entscheid vom 16. September 2009 wies das Sozialversicherungsgericht des Kantons Zürich die Klage ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides sei die Pensionskasse zu verpflichten, ihm als Austrittsleistung per 31. Mai 2006 eine Nachzahlung von Fr. 25'314.50, eventualiter von Fr. 15'425.20 zu leisten, nebst Verzugszins von 3,75 % seit 1. Juli 2006, zahlbar an die Freizügigkeitsstiftung der Bank Z._. Während die Pensionskasse auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.