Sachverhalt:
A. Der am 22. Dezember 1942 geborene O._ arbeitete ab 1. April 2003 in einem Pensum von 50 % bei der A._ AG und war für die berufliche Vorsorge bei der Bernischen Pensionskasse (im Folgenden Pensionskasse oder BPK) versichert. Auf den 1. Juli 2005 wurde er vorzeitig pensioniert. Die Pensionskasse richtete ihm ab diesem Datum nebst einer Altersrente von Fr. 1564.25 eine Überbrückungsrente von Fr. 645.- (ab 1. Januar 2007 Fr. 663.-) im Monat aus. Vom 23. August 2007 bis 31. Dezember 2007 war O._ als Wirtschaftsprüfer im Umfang von 80 % beim Amt S._ angestellt und dabei für die berufliche Vorsorge bei der BPK versichert. Die Pensionskasse stellte in der Folge die Rückforderung der Überbrückungsrente für die Zeit vom 23. August bis 30. November 2007 in Aussicht, während auf die Rückforderung der Altersrente verzichtet werde. Mit Schreiben vom 17. Januar 2008 bestätigte die BPK, dass der Versicherte nach Beendigung des neuen Arbeitsverhältnisses Ende Dezember 2007 ab 1. Februar 2008 wieder Anspruch auf die Altersrente von monatlich Fr. 1564.25 habe. Von der Nachzahlung der Altersrente (Dezember 2007/Januar 2008) werde jedoch die Überbrückungsrente von total Fr. 2165.80, die während der Dauer der neuen Anstellung vom 23. August 2007 bis 30. November 2007 ausgerichtet wurde, zufolge Rückforderung in Abzug gebracht.
Am 1. Februar 2008 reichte O._ beim Verwaltungsgericht des Kantons Bern Klage ein mit dem Rechtsbegehren, die Pensionskasse sei zu verpflichten, ihm Fr. 663.- nebst Zins zu 5 % seit 4. Dezember 2007 sowie Fr. 2165.80 nebst Zins zu 5 % seit 4. Februar 2008 zu bezahlen.
Die BPK schloss auf Abweisung der Klage und beantragte widerklageweise, der Versicherte sei zu verhalten, ihr die zwischen 23. August und 31. Dezember 2007 ausgerichteten Altersrenten im Betrag von Fr. 6674.15 zurückzuerstatten.
Mit Entscheid vom 4. Juli 2008 wies das Verwaltungsgericht die Klage ab, während es O._ in Gutheissung der Widerklage verpflichtete, der BPK einen Betrag von Fr. 6674.15 zu bezahlen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte die Aufhebung des vorinstanzlichen Entscheides und erneuert das klageweise gestellte Rechtsbegehren.
Während die BPK auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig und zu prüfen ist der Anspruch des Versicherten auf eine Alters- und Überbrückungsrente der BPK für den Zeitraum vom 23. August bis 31. Dezember 2007, als er als Wirtschaftsprüfer beim Amt S._ tätig und für die berufliche Vorsorge ebenfalls bei der BPK versichert war.
2.1 Die Vorinstanz ging aufgrund des Pensionskassenreglements davon aus, dass Anspruch auf eine Überbrückungsrente nur gegeben sei, wenn gleichzeitig Anspruch auf eine Altersrente besteht. Mit Auflösung des Arbeitsverhältnisses mit der A._ AG (am 30. Juni 2005) sei ein reglementarischer Anspruch auf eine Altersrente entstanden und der Beschwerdeführer sei pensioniert worden. Nichts im Pensionskassengesetz und im Reglement vorgesehen sei hingegen bezüglich der Frage, ob der Anspruch auf Altersrente mit der Wiederaufnahme einer Erwerbstätigkeit von August bis Dezember 2007 sistiert wurde. Das Verwaltungsgericht nahm deshalb an, es liege eine Lücke vor; zu deren Schliessung sei Art. 42 des Reglements heranzuziehen. Danach ende der Invalidenrentenanspruch, wenn der Bezüger ein neues Dienstverhältnis eingeht. Diese Bestimmung sei analog anzuwenden. Die Rente sei in der Zeit der Wiederbeschäftigung vom 23. August bis 31. Dezember 2007 eingestellt gewesen und daher zu Unrecht ausbezahlt worden. Im gleichen Zeitraum habe auch kein Anspruch auf eine Überbrückungsrente bestanden.
2.2 Der Beschwerdeführer vertritt demgegenüber die Auffassung, die Ausübung einer Erwerbstätigkeit nach der vorzeitigen Pensionierung sei für die Pensionskasse ohne Belang. Der Anspruch auf die reglementarischen Altersleistungen sei nicht davon abhängig, ob sich die versicherte Person tatsächlich in den Ruhestand begibt oder weiter arbeitet. Eine Regelungslücke liege nicht vor.
3. 3.1 Das BVG, auf dessen Art. 13 Abs. 2 die Reglementsbestimmungen der BPK zur vorzeitigen Pensionierung beruhen, regelt die hier streitige Frage nicht. Reglement Nr. 1 der Bernischen Pensionskasse, gültig ab 1. Januar 2006, enthält keine Bestimmung zur Frage, ob eine infolge vorzeitiger Pensionierung bezogene Altersrente samt Überbrückungsrente sistiert oder weiter ausgerichtet wird, wenn der Rentenbezüger eine Beschäftigung aufnimmt und dabei ebenfalls bei der BPK versichert ist. Das Verwaltungsgericht nahm deshalb an, dass eine Regelungslücke im Pensionskassenreglement vorhanden sei, die richterlicher Schliessung bedürfe. Dieser Auffassung kann nicht gefolgt werden. Im Reglement fehlt keine Regelung, welche von der BPK hätte getroffen werden müssen, damit die sich hier stellende Rechtsfrage beantwortet werden kann. Nach Art. 32 des Reglements Nr. 1 der BPK wird die Altersrente in Prozenten des zur Zeit des Rücktrittes versicherten Verdienstes bemessen (Abs. 1). Die Altersrente beträgt höchstens 65 % des zum Zeitpunkt des Rücktrittes versicherten Jahresverdienstes. Das Mitglied hat Anspruch auf die maximale Rente, wenn es zum Zeitpunkt des Rücktritts 38 Versicherungsjahre aufweist und das 63. Altersjahr vollendet hat (Abs. 2). Für alle übrigen Fälle richtet sich die Höhe der Altersrente nach dem Rücktrittsalter und der Zahl der im Zeitpunkt des Rücktrittes zurückgelegten Versicherungsjahre (Abs. 3). Bezügerinnen und Bezüger von Altersrenten, die noch keine AHV-Rente beziehen, haben bis zum Erreichen des ordentlichen AHV-Rentenalters Anspruch auf eine Überbrückungsrente (Art. 34 Abs. 1 des Reglements). Bei Teilzeitbeschäftigten richtet sich die Höhe der Überbrückungsrente nach dem Beschäftigungsgrad vor der Pensionierung (Art. 34 Abs. 3).
3.2 Aufgrund dieser Reglementsbestimmungen ist ersichtlich, dass die Höhe der Altersrente sich nach der Beitragsdauer und der Höhe des versicherten Verdienstes bemisst. Der vor Erreichen des AHV-Rentenalters erfolgende Rücktritt wirkt sich somit zufolge niedrigerer Beitragsdauer und allenfalls eines tieferen versicherten Verdienstes unmittelbar auf die Höhe der Altersrente aus. Eine Rente in der nach Massgabe dieser beiden Bezugsgrössen berechneten Höhe schuldet die Pensionskasse dem Beschwerdeführer ungeachtet der nach längerem Unterbruch wieder aufgenommenen teilzeitlichen Erwerbstätigkeit bei einem anderen Arbeitgeber; damit sind insbesondere auch keine erheblichen Zusatzkosten für die Kasse verbunden. Vielmehr ist die mit oder ohne Antritt einer neuen Stelle geschuldete Rente in der ausgerichteten Höhe finanziert. Die Betrachtungsweise, wonach sich die Ausübung einer Erwerbstätigkeit nach Erreichen des reglementarischen Rentenalters nicht auf den Bezug der Altersrente auswirkt, liegt zumindest implizit auch der Rechtsprechung zugrunde (<ref-ruling> E. 4.1 S. 382 mit Hinweisen), wie der Beschwerdeführer zu Recht geltend macht (siehe ferner Helbling, Personalvorsorge nach BVG, 6. Auflage 1995, S. 170; vgl. zu Art. 13 Abs. 1 BVG Brühwiler, Obligatorische berufliche Vorsorge, in: Schweizerisches Bundesverwaltungsrecht, Soziale Sicherheit, 2. Auflage 2007, S. 2034 N 84). Eine gegenteilige Ordnung müsste sich aus dem massgebenden Pensionskassenreglement ergeben und lässt sich weder mittels Lückenfüllung noch auf dem Weg der Auslegung herleiten; es besteht kein Grund, aus dem Umstand, dass die zuständigen Organe beim Erlass des Kassenreglements Nr. 1 auf eine Regelung des hier gegebenen Sachverhalts ? Wiederaufnahme einer Erwerbsarbeit nach der Frühpensionierung mit Zugehörigkeit zu der gleichen oder einer anderen Pensionskasse ? verzichteten, auf eine Lücke zu schliessen. Denn ohne eine ausdrückliche Normierung dieses Sachverhalts liegt die Lösung auf der Hand: Der vorzeitig pensionierte Rentenbezüger hat trotz Aufnahme einer Erwerbstätigkeit Anspruch auf die reglementarische Altersrente.
3.3 Die gegenteilige Sichtweise von Vorinstanz und Pensionskasse ist unbegründet. Ob es sich im Fall von Invalidenrentenbezügern, die wieder ein Anstellungsverhältnis eingehen, das zur Mitgliedschaft bei der BPK führt, anders verhält, wie die Vorinstanz unter Hinweis auf Art. 42 des Reglements Nr. 1 in der bis 31. Dezember 2005 gültig gewesenen Fassung ausführt, braucht nicht geprüft zu werden. Die Voraussetzungen für den Anspruch auf Invaliden- und Altersrente wie auch deren Bemessung sind unterschiedlich geregelt, so dass sich eine für Invalidenrenten geltende Bestimmung nicht ohne weiteres auf Altersrenten übertragen liesse. Die Regelung von Art. 42 Abs. 2 des Reglements hängt damit zusammen, dass gar keine Invalidität mehr vorliegt, wenn wieder ein Erwerbseinkommen erzielt wird, dies gilt für Altersleistungen nicht. Sodann sieht auch Art. 24 BVV2 eine Kürzung wegen Überentschädigung (u.a. infolge weiterhin erzielten Erwerbseinkommens) nur für die Hinterlassenen- und Invalidenleistungen vor, nicht aber für die Altersleistungen. Die gleichlautende Regelung in Art. 29 des Reglements ist ebenfalls nicht lückenhaft, sondern stimmt im Gegenteil mit der bundesrechtlichen überein. Welche Lösung schliesslich die Pensionskasse des Bundes (Publica) für die vorliegend interessierende Frage kennt, ist entgegen den Ausführungen des Verwaltungsgerichts nicht zu prüfen, da die Regelung der BPK anwendbar ist. Schliesst somit die Aufnahme einer Erwerbstätigkeit nach vorzeitiger Pensionierung die Weiterausrichtung der Altersrente der Pensionskasse nicht aus, hat der Beschwerdeführer auch für die Dauer der Beschäftigung als Wirtschaftsprüfer vom 23. August bis 31. Dezember 2007 Anspruch auf die Alters- und die akzessorische Überbrückungsrente nach Massgabe des Reglements Nr. 1 der BPK. Damit ist der Klage stattzugeben, wogegen der Widerklage die Grundlage entzogen ist. In masslicher Hinsicht ist das mit Beschwerde erneuerte Klagebegehren unbestritten geblieben. Ein Anlass, von der Höhe der vorinstanzlich eingeklagten Forderung von Fr. 2828.80 (Fr. 663.- + Fr. 2165.80) abzuweichen, besteht nicht.
4. Im Bereich der Renten der beruflichen Vorsorge ist die Verzugszinsregelung von <ref-law> massgeblich (<ref-ruling> E. 4c S. 135). Für die Verzugszinszahlung massgebend ist also jener Zeitpunkt, in welchem der Gläubiger die Betreibung angehoben oder gerichtliche Klage eingereicht hat. Den vom Beschwerdeführer geltend gemachten Verzugszins von 5 % auf den eingeklagten Betreffnissen von insgesamt Fr. 2828.80 hat die BPK somit ab Einreichung der Klage bei der Vorinstanz am 1. Februar 2008 zu bezahlen.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. Juli 2008 aufgehoben. Die BPK wird verpflichtet, dem Beschwerdeführer den Betrag von Fr. 2828.80 nebst Zins zu 5 % seit 1. Februar 2008 zu bezahlen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, dem Amt S._ und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. November 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer