Sachverhalt: A. A.a S._, geboren 1947, kündigte seine Stelle bei der Stadtverwaltung X._ mit Schreiben vom 9. November 2000 aus gesundheitlichen Gründen per Ende Oktober 2001 (Ende der 12-monatigen Lohnfortzahlung) und meldete sich am 12. Juli 2001 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 13. August 2002 sprach ihm die IV-Stelle Bern rückwirkend ab 1. Juli 2000 eine halbe und ab 1. Februar 2001 eine ganze Invalidenrente zu. A.b Auf die dagegen erhobene Beschwerde mit dem sinngemässen Antrag, der Rentenbeginn sei auf den 1. November 2001 festzusetzen (da er zufolge Primatswechsel per 1. Januar 2001 bei seiner beruflichen Vorsorge bei früherem Rentenbeginn finanziell schlechter gestellt werde), trat das Verwaltungsgericht des Kantons Bern mangels eines schutzwürdigen Interesses nicht ein. Das in der Folge angerufene Eidgenössische Versicherungsgericht hob diesen Prozessentscheid vom 12. Februar 2003 auf und wies die Sache zur materiellen Beurteilung an die Vorinstanz zurück (Urteil vom 7. September 2004, I 215/03). A.c Mit Entscheid vom 22. Dezember 2004 wies das Verwaltungsgericht des Kantons Bern die Beschwerde ab. Die von S._ erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 15. Juni 2005 in dem Sinne gut, dass der angefochtene Entscheid und die Verfügung der IV-Stelle Bern vom 13. August 2002 aufgehoben wurden. Die Sache wurde zu weiteren Abklärungen und neuer Verfügung an die IV-Stelle zurückgewiesen (I 87/05). A.d Die IV-Stelle Bern holte daraufhin Berichte des Dr. med. B._, Psychiatrie und Psychotherapie FMH, vom 29. November 2005, des Dr. med. C._, Innere Medizin FMH, vom 17. Dezember 2005 sowie ein Aktengutachten des Prof. Dr. med. F._, Poliklinik für Infektiologie, vom 9. Mai 2006 ein und liess im Vorbescheidverfahren Dr. med. R._ vom Regionalen Ärztlichen Dienst dazu Stellung nehmen (Bericht vom 3. November 2006). Mit Verfügung vom 5. Dezember 2006 sprach sie S._ ab dem 1. Dezember 2000 eine Viertelsrente, ab dem 1. Februar 2001 eine halbe und ab dem 1. März 2001 eine ganze Rente zu. B. Mit Beschwerde beantragte der Versicherte die Durchführung weiterer Abklärungen, eventualiter die Zusprechung einer ganzen Invalidenrente ab frühestens 1. Juni 2002. Das Verwaltungsgericht des Kantons Bern bestätigte die von der IV-Stelle verfügte Zusprechung einer Viertelsrente ab 1. Dezember 2000, befristete sie auf drei Monate und berücksichtigte eine zwischenzeitlich eingetretene Verschlechterung der Erwerbsunfähigkeit (gemäss Art. 88a Abs. 2 IVV) ab dem 1. März 2001, auf welchen Zeitpunkt hin es dem Versicherten eine ganze Rente zusprach (Entscheid vom 18. Februar 2008). C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm frühestens ab dem 1. November 2001 eine ganze Invalidenrente zuzusprechen, eventualiter sei die Sache an die Verwaltung zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichten die als Mitinteressierte beigeladene Pensionskasse der Stadt X._ (unter Verweis auf frühere Stellungnahmen) und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.