Sachverhalt:
A. F._ war seit 1978 in der Bundesverwaltung tätig. Ab 1. August 1991 arbeitete sie als Übersetzerin und war zuletzt bei der Pensionskasse des Bundes für die berufliche Vorsorge (PKB) versichert. Auf den 31. März 2002 wurde das Dienstverhältnis aus medizinischen Gründen aufgelöst. Ab 1. April 2002 richtete die PKB der Versicherten eine Invalidenrente mit festem Zuschlag aus. Am 1. Juni 2003 wurden aktive Versicherte und Rentner von der PKB in die neue Pensionskasse des Bundes PUBLICA überführt.
Mit Entscheid vom 28. Februar 2007, bestätigt mit Urteil des Bundesgerichts vom 22. Juni 2007 (9C_174/2007), stellte das Verwaltungsgericht des Kantons Bern fest, dass F._ ab 1. August 2003 Anspruch auf eine bis 31. März 2004 befristete ganze Rente der Invalidenversicherung habe. Gestützt auf diese Gerichtsentscheide hielt die PUBLICA am 11. Juli 2007 fest, ab 1. April 2004 bestehe kein Anspruch auf eine Invalidenrente aus der beruflichen Vorsorge mehr. Die Rentenauszahlung werde per August 2007 eingestellt und die seit 1. April 2004 bezogenen Leistungen seien zurückzuerstatten.
B. Nachdem die Versicherte sich geweigert hatte, die Pensionskassenleistungen zurückzuerstatten, reichte die PUBLICA am 22. Februar 2008 beim Verwaltungsgericht des Kantons Bern Klage ein mit dem Antrag, F._ sei zu verpflichten, ihr den Betrag von Fr. 300'391.60, zuzüglich Zins zu 5 % seit 22. Februar 2008, zu bezahlen. Mit Entscheid vom 23. September 2010 wies das Verwaltungsgericht die Klage ab.
C. Die PUBLICA führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei die Versicherte zu verpflichten, ihr einen Betrag von Fr. 221'571.60, zuzüglich Zins in unterschiedlicher Höhe ab verschiedenen Fälligkeiten, zu bezahlen; eventuell sei die Sache zur Feststellung des vollständigen Sachverhalts und zu neuer Beurteilung an das kantonale Gericht zurückzuweisen.
Während F._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Streitig und zu prüfen ist, ob die Beschwerdegegnerin der PUBLICA zu Unrecht bezogene Invalidenrenten im Gesamtbetrag von Fr. 221'571.60 zurückzuerstatten hat.
2. 2.1 Gemäss Rentenbescheid vom 1. April 2002 sprach die PKB der Versicherten ab dem nämlichen Datum eine Invalidenrente in der Höhe von Fr. 4766.30 sowie eine Übergangsrente von Fr. 2177.50 im Monat zu. Nachdem das Verwaltungsgericht des Kantons Bern mit Entscheid vom 28. Februar 2007 den Anspruch auf eine befristete ganze Rente der Invalidenversicherung für die Zeit vom 1. August 2003 bis 31. März 2004 bejaht und das Bundesgericht mit Urteil vom 22. Juni 2007 diese befristete Rentenzusprechung bestätigt hatte, stellte die PUBLICA die Invalidenrente per August 2007 ein und forderte von der Versicherten einen Betrag von Fr. 282'548.- zurück, weil Leistungen für den Zeitraum vom 1. April 2004 bis 31. Juli 2007 unrechtmässig bezogen worden seien.
2.2 Mit dem angefochtenen Entscheid wies das kantonale Gericht die Klage im Wesentlichen mit der Begründung ab, die vom 1. Januar 2002 bis 1. Juli 2008 in Kraft gewesene Verordnung über die Versicherung im Kernplan der Pensionskasse des Bundes vom 25. April 2001 (PKBV 1; AS 2001 II 2327) habe die Rückerstattung zu Unrecht bezogener Leistungen in Art. 64 Abs. 2 ausdrücklich vorgesehen. Sodann bestimme der am 1. Januar 2005 in Kraft getretene Art. 35a BVG ebenfalls, dass unrechtmässig bezogene Leistungen zurückzuerstatten sind. Diese Bestimmungen seien hier anwendbar, Art. 64 Abs. 2 PKBV 1 für die Monate vom 1. August 2003 bis 31. Dezember 2004, Art. 35a BVG für den Zeitraum vom 1. Januar 2005 bis 31. Juli 2007. Die Invalidenrenten der obligatorischen beruflichen Vorsorge seien analog zu den Renten der Invalidenversicherung im Rahmen einer Revision (anzupassen oder) aufzuheben, wenn sich die Verhältnisse in anspruchsrelevanter Weise verändert haben. Dabei sei jedoch vom Prinzip der Nichtrückwirkung einer revisionsweisen Rentenaufhebung auszugehen und die Regelung von <ref-law> analogieweise als massgebend zu betrachten. Gleiches gelte vorbehältlich anderslautender reglementarischer Bestimmungen für den überobligatorischen Bereich. Somit sei gestützt auf die angeführten Verordnungs- und Reglementsbestimmungen eine rückwirkende Aufhebung oder Herabsetzung der Invalidenrente auch in der beruflichen Vorsorge nur möglich, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger oder die Bezügerin sie unrechtmässig erwirkt hat oder der zumutbaren Meldepflicht nicht nachgekommen ist. Da im vorliegenden Fall die unrichtige Ausrichtung der Leistungen weder auf eine unrechtmässige Erwirkung noch eine Meldepflichtverletzung zurückgeführt werden kann, fielen die rückwirkende Rentenaufhebung und damit die Rückforderung ausser Betracht.
2.3 Die PUBLICA bringt vor, die analogieweise Anwendung von <ref-law> auf die der Versicherten überobligatorisch ausgerichteten Leistungen verletze Bundesrecht. Art. 64 Abs. 2 PKBV 1, wonach die Rückforderung keine Bösgläubigkeit oder Meldepflichtverletzung des Leistungsbezügers voraussetzt, habe auch nach Inkrafttreten von Art. 35a BVG in Einklang mit dem BVG gestanden und Geltung beansprucht. Des Weiteren weist die Beschwerdeführerin darauf hin, dass sie, wie aus ihrer Berechnung ersichtlich, nur die zu Unrecht ausgerichteten überobligatorischen Leistungen zurückfordere.
3. 3.1 Mit Bezug auf das anwendbare Recht ist davon auszugehen, dass in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgeblich sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> E. 3.1.1 S. 220, 127 V 466 E. 1 S. 467). Anwendbar ist somit im vorliegenden Fall der vom 1. Januar 2002 bis 30. Juni 2008 gültig gewesene Art. 64 Abs. 2 PKBV 1, bezieht sich doch die Rückforderung auf Leistungen, die der Beschwerdegegnerin zwischen 1. August 2003 und 31. Juli 2007 ausbezahlt wurden. Hingegen ist <ref-law>, der die rückwirkende Leistungsanpassung, also die Rückforderung nur bei unrechtmässiger Erwirkung der Leistungen oder Verletzung der Meldepflicht zulässt, jedenfalls für den überobligatorischen Teil der beruflichen Vorsorge, die letztinstanzlich allein streitig ist, nicht analog heranzuziehen, da hinsichtlich der PUBLICA, wie erwähnt, eine Verordnungsbestimmung (Art. 64 Abs. 2 PKBV 1) diese Frage für den interessierenden Zeitraum abschliessend geregelt hat.
3.2 Art. 64 Abs. 2 PKBV 1 bestimmte was folgt:
"Wer eine Leistung von PUBLICA, auf die er keinen Anspruch hat, entgegennimmt, muss sie zurückerstatten. Die Rückerstattung erfolgt in der Regel mit Zins. In Härtefällen oder aus verwaltungsökonomischen Gründen kann auf die Rückforderung von Leistungen von PUBLICA ganz oder teilweise verzichtet werden; die Statuten regeln das Nähere."
Entgegen der Auffassung der Vorinstanz sieht diese reglementarische Vorschrift die Rückerstattung zu Unrecht erbrachter Leistungen nicht nur bei Bösgläubigkeit des Bezügers vor, sondern in Übereinstimmung mit dem ab 1. Januar 2005 geltenden Art. 35a Abs. 1 erster Satz (in Verbindung mit Art. 49 Abs. 2 Ziff. 4) BVG bei jedem objektiv unrechtmässigen Leistungsbezug. Vielmehr statuiert Art. 64 Abs. 2 PKBV 1 eine vorbehaltlose Rückerstattung von Leistungen, auf die er (der Bezüger) keinen Anspruch hat. Soweit die Vorinstanz auf Grund von Art. 64 Abs. 2 PKBV 1 sowie in analoger Anwendung von <ref-law> die Rechtmässigkeit der Rückforderung verneint hat, hat sie Bundesrecht verletzt (<ref-law>).
3.3 Die Rückforderung der PUBLICA ist somit begründet, ohne dass näher geprüft werden müsste, ob die Beschwerdegegnerin die Rentenzahlungen bösgläubig entgegengenommen hat. In masslicher Hinsicht hat die Beschwerdeführerin ihre Forderung in der Beschwerde im Vergleich zur Klage von Fr. 300'391.60, zuzüglich Zins zu 5 % ab Klageeinreichung, auf Fr. 221'571.60, zuzüglich Zins in unterschiedlicher Höhe ab verschiedenen Fälligkeiten, für zu viel bezogene Leistungen in der Zeit vom 1. April 2004 bis 31. Juli 2007, reduziert. Zum Masslichen der Forderung hat sich die Versicherte, die lediglich auf Abweisung der Beschwerde schliessen liess, nicht geäussert. Im Übrigen errechnet sich die Differenz zwischen den beiden genannten Beträgen, soweit ersichtlich, daraus, dass die PUBLICA mit der Beschwerde nurmehr die überobligatorischen Leistungen zurückfordert. Mit den Einzelheiten der Berechnung wird sich die Vorinstanz, an welche die Sache zur Festsetzung des von der Beschwerdegegnerin geschuldeten Betrages zurückzuweisen ist, zu befassen haben, wobei sie vorgängig der Versicherten das rechtliche Gehör zum Quantitativ gewähren wird.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird der angefochtene Entscheid vom 23. September 2010 aufgehoben. Die Sache wird an das Verwaltungsgericht des Kantons Bern zurückgewiesen, damit es über die Höhe der Rückforderung im Sinne der Erwägungen entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer