Sachverhalt:
A. Z._ (geboren 1952) bildete sich nach Abschluss der Lehre als Tiefbauzeichner zum Ingenieur HTL und zum eidg. diplomierten Baumeister weiter. Seit 1987 ist er Geschäftsführer der eigenen Firma X._ AG mit Sitz in Y._. Am 3. April 1996 meldete er sich wegen rechtsseitigen Kniebeschwerden bei der IV zum Leistungsbezug an. Die IV-Stelle Bern gewährte ihm mit Verfügung vom 7. Juli 2000 eine vom 5. Mai 2000 bis 5. September 2001 dauernde Umschulung zum Immobilien-Schätzer mit eidg. Fachausweis. Er besuchte die Schule A._ und absolvierte ein Praktikum bei der Liegenschaftsverwaltung der Stadt C._. Die Berufsprüfung bestand er in der Folge nicht. Mit Verfügung vom 3. Oktober 2002 sprach ihm die IV-Stelle für die Zeit vom 1. April 1995 bis 31. Oktober 2001 eine halbe Invalidenrente zu. In der Folge tätigte die IV-Stelle aufgrund zweier Entscheide des Verwaltungsgerichts des Kantons Bern vom 23. Juni 2003 und vom 3. Mai 2006 weitere Abklärungen. Insbesondere holte sie ein Gutachten des Instituts B._ vom 26. September 2007 ein. Darauf hin sprach sie dem Versicherten mit Verfügung vom 10. Juni 2008 bei einem Invaliditätsgrad von 50 % ab 1. April 1995 bis 30. September 2001 (Beendigung der Umschulungsmassnahme) eine halbe Invalidenrente zu. Für die Zeit ab 1. Oktober 2001 verneinte sie einen Rentenanspruch.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 8. Dezember 2008 ab.
C. Z._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die IV-Stelle zu verpflichten, ihm auch für die Zeit nach dem 30. September 2001 weiterhin eine halbe Invalidenrente und ab 1. Januar 2004 eine Dreiviertelsrente auszurichten, zuzüglich Verzugszins.
Die IV-Stelle Bern schliesst auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N 24 zu Art. 97).
2. Streitig ist, ob nach Beendigung der Umschulung zum Immobilien-Schätzer im September 2001 für die Folgezeit ab 1. Oktober 2001 weiterhin ein rentenbegründender Invaliditätsgrad vorliegt.
2.1 Das kantonale Gericht hat in Würdigung des medizinischen Dossiers, insbesondere gestützt auf das Gutachten des Instituts B._ vom 26. September 2007 in tatsächlicher Hinsicht festgestellt, dass beim Beschwerdeführer für körperlich leichte bis gelegentlich mittelschwere Tätigkeiten keine Arbeits- und Leistungseinschränkung besteht. Mit einer zumutbaren Arbeits- und Leistungsfähigkeit von 85 % in der Tätigkeit als Immobilien-Schätzer werde den Therapien und Massagen sowie dem Bedarf an regelmässigen Pausen, um Lockerungsübungen durchzuführen, hinreichend Rechnung getragen. Für die Invaliditätsbemessung stellte das kantonale Gericht auf die allgemeine Methode des Einkommensvergleichs ab. Der Versicherte sei mit Blick auf seine gesundheitlichen Einschränkungen und dem über mehrere Jahre hinweg andauernden schlechten wirtschaftlichen Erfolg der Firma X._ AG im Bereich seiner selbständigen Erwerbstätigkeit ungenügend eingegliedert, weshalb die ausserordentliche Bemessungsmethode nicht zum Ziel führe. Bei der Bemessung der Invalidität ging das kantonale Gericht davon aus, der Beschwerdeführer wäre bei guter Gesundheit Geschäftsführer der Firma X._ AG und würde damit als diplomierter Baumeister einen kleineren Betrieb leiten, weshalb das entsprechende Einkommen anhand der Gewerbestatistik zu ermitteln sei. Gestützt auf die Gewerbestatistik 2004/2005 sei von einem Einkommen im Jahre 2004 von Fr. 105'700.- (Tabelle 1: Hoch- und Tiefbau; Betriebsertrag von Fr. 1 Million bis 2,99 Millionen; 11 Beschäftigte) auszugehen. Hinsichtlich des Invalideneinkommens sei allein auf das als Immobilien-Schätzer im medizinisch zumutbaren Teilpensum mögliche Einkommen abzustellen. Unter Berücksichtigung der hohen beruflichen Qualifikationen des Beschwerdeführers (Tiefbauzeichner-Lehre, Ingenieur HTL Richtung Tiefbau, dipl. Baumeister im Strassenbau, ausgebildeter Immobilien-Schätzer ohne Abschluss) sowie seiner breiten und langjährigen Berufserfahrung insbesondere als Geschäftsführer der Firma X._ AG sei aufgrund der schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) für das Jahr 2004 von der Tabelle TA1, privater Sektor, Anforderungsniveau 1+2, Ziff. 70,71 (Immobilien; Vermietung beweglicher Sachen) von einem Jahreseinkommen von Fr. 101'643.75 für ein 100%iges Pensum auszugehen. Unter Berücksichtigung der invaliditätsbedingten Leistungseinbusse von 15 % resultiere ein jährliches Invalideneinkommen von Fr. 86'397.20. Daraus folge ein Invaliditätsgrad von gerundet 18 %. Selbst wenn zugunsten des Beschwerdeführers auf die branchenüblichen Jahressaläre für Immobilienbewerter gemäss dem eingereichten Schreiben vom 22. Januar 2008 abgestellt und von einem Jahreseinkommen von Fr. 80'000.- resp. bei Berücksichtigung der Leistungeinbusse von 15 % von einem Invalideneinkommen von Fr. 68'000.- ausgegangen werde, bleibe der Invaliditätsgrad mit gerundet 36 % immer noch unterhalb der Grenze von 40 %.
2.1 Das kantonale Gericht hat in Würdigung des medizinischen Dossiers, insbesondere gestützt auf das Gutachten des Instituts B._ vom 26. September 2007 in tatsächlicher Hinsicht festgestellt, dass beim Beschwerdeführer für körperlich leichte bis gelegentlich mittelschwere Tätigkeiten keine Arbeits- und Leistungseinschränkung besteht. Mit einer zumutbaren Arbeits- und Leistungsfähigkeit von 85 % in der Tätigkeit als Immobilien-Schätzer werde den Therapien und Massagen sowie dem Bedarf an regelmässigen Pausen, um Lockerungsübungen durchzuführen, hinreichend Rechnung getragen. Für die Invaliditätsbemessung stellte das kantonale Gericht auf die allgemeine Methode des Einkommensvergleichs ab. Der Versicherte sei mit Blick auf seine gesundheitlichen Einschränkungen und dem über mehrere Jahre hinweg andauernden schlechten wirtschaftlichen Erfolg der Firma X._ AG im Bereich seiner selbständigen Erwerbstätigkeit ungenügend eingegliedert, weshalb die ausserordentliche Bemessungsmethode nicht zum Ziel führe. Bei der Bemessung der Invalidität ging das kantonale Gericht davon aus, der Beschwerdeführer wäre bei guter Gesundheit Geschäftsführer der Firma X._ AG und würde damit als diplomierter Baumeister einen kleineren Betrieb leiten, weshalb das entsprechende Einkommen anhand der Gewerbestatistik zu ermitteln sei. Gestützt auf die Gewerbestatistik 2004/2005 sei von einem Einkommen im Jahre 2004 von Fr. 105'700.- (Tabelle 1: Hoch- und Tiefbau; Betriebsertrag von Fr. 1 Million bis 2,99 Millionen; 11 Beschäftigte) auszugehen. Hinsichtlich des Invalideneinkommens sei allein auf das als Immobilien-Schätzer im medizinisch zumutbaren Teilpensum mögliche Einkommen abzustellen. Unter Berücksichtigung der hohen beruflichen Qualifikationen des Beschwerdeführers (Tiefbauzeichner-Lehre, Ingenieur HTL Richtung Tiefbau, dipl. Baumeister im Strassenbau, ausgebildeter Immobilien-Schätzer ohne Abschluss) sowie seiner breiten und langjährigen Berufserfahrung insbesondere als Geschäftsführer der Firma X._ AG sei aufgrund der schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) für das Jahr 2004 von der Tabelle TA1, privater Sektor, Anforderungsniveau 1+2, Ziff. 70,71 (Immobilien; Vermietung beweglicher Sachen) von einem Jahreseinkommen von Fr. 101'643.75 für ein 100%iges Pensum auszugehen. Unter Berücksichtigung der invaliditätsbedingten Leistungseinbusse von 15 % resultiere ein jährliches Invalideneinkommen von Fr. 86'397.20. Daraus folge ein Invaliditätsgrad von gerundet 18 %. Selbst wenn zugunsten des Beschwerdeführers auf die branchenüblichen Jahressaläre für Immobilienbewerter gemäss dem eingereichten Schreiben vom 22. Januar 2008 abgestellt und von einem Jahreseinkommen von Fr. 80'000.- resp. bei Berücksichtigung der Leistungeinbusse von 15 % von einem Invalideneinkommen von Fr. 68'000.- ausgegangen werde, bleibe der Invaliditätsgrad mit gerundet 36 % immer noch unterhalb der Grenze von 40 %.
2.2 2.2.1 Die tatsächlichen Feststellungen des kantonalen Gerichts zur zumutbaren Arbeitsfähigkeit sind weder mangelhaft im Sinne von <ref-law>, noch liegt eine unhaltbare, vom Bundesgericht nach <ref-law> zu korrigierende Beweiswürdigung vor. Im Gutachten des Instituts B._ vom 26. September 2007 kommen die begutachtenden Ärzte zum Schluss, der Beschwerdeführer sei seit über 10 Jahren für die ursprünglich ausgeübte schwere Tätigkeit auf dem Bau zu 100 % arbeitsunfähig. Für die derzeit ausgeübte Tätigkeit, welche er nach einer durch die IV unterstützten beruflichen Umstellung ausübe, bestehe keine Arbeits- und Leistungseinschränkung. Aus medizinischer Sicht sei daher dem Versicherten das von der IV berechnete Arbeitspensum von 85 % sicher zumutbar. Aus medizinischer Sicht müsse nicht mit einer raschen Veränderung der derzeit vorhandenen Befunde gerechnet werden, so dass die Arbeitsfähigkeit, falls nicht ein neues Leiden auftrete, über längere Zeit im bestehenden Ausmass erhalten bleiben sollte. Das Abstellen auf diese Beurteilung und die daraus vom kantonalen Gericht gezogenen Schlussfolgerungen lassen sich nicht beanstanden. Entgegen den Einwendungen in der Beschwerde wird einer Einbusse von 15 % in einer leidensangepassten Tätigkeit oder im Beruf als Immobilien-Schätzer in willkürfreier Weise den Therapien und dem stündlich notwendigen Bewegungsprogramm von durchschnittlich 10 Minuten für Muskulatur und Gelenke genügend Rechnung getragen. Auch der Einwand, das Gutachten gehe davon aus, der Beschwerdeführer müsse sich nur während 20 bis 30 % der Arbeitszeit vor Ort auf Baustellen und Immobilien aufhalten, während 70 bis 80 % aus Büroarbeiten bestehe, ist unbehelflich. Im Gutachten des Instituts B._ wird für körperlich leichte bis gelegentlich mittelschwere Tätigkeiten, wie sie der Beschwerdeführer mit seiner Beratungstätigkeit ausübe, keine Einschränkung der Arbeits- und Leistungsfähigkeit bescheinigt. Der Beschwerdeführer benötige zwar regelmässige Pausen, um Lockerungsübungen durchzuführen, bei freier Zeiteinteilung als selbstständig Erwerbender entstünden dadurch aber keine Leistungseinbussen.
2.2.2 Bei der Ermittlung des Invaliditätsgrades beanstandet der Beschwerdeführer zunächst die Anwendung der allgemeinen Methode des Einkommensvergleichs. Die Invalidität sei aufgrund der ausserordentlichen Methode des Betätigungsvergleichs zu ermitteln. Abgesehen davon, dass das kantonale Gericht im unangefochten in Rechtskraft erwachsenen Rückweisungsentscheid vom 3. Mai 2006 die IV-Stelle verbindlich anwies, das Valideneinkommen aufgrund der Gewerbestatistik zu ermitteln, verletzte das kantonale Gericht mit der Anwendung der allgemeinen Methode des Einkommensvergleichs kein Bundesrecht. Nach dem Gutachten des Instituts B._ vom 26. September 2007 ist der Beschwerdeführer für die ursprünglich ausgeübte schwere Tätigkeit auf dem Bau zu 100 % arbeitsunfähig. Angesichts der noch verbleibenden beruflichen Aktivitätsperiode und der von der IV übernommenen Umschulung ist für die Invaliditätsbemessung nicht mehr von der Tätigkeit als Geschäftsführer der eigenen Firma auszugehen, sondern vom Beschwerdeführer im Rahmen der Pflicht zur Selbsteingliederung die Aufgabe der angestammten Tätigkeit und die hauptberufliche Ausübung der leidensangepassten erwerblichen Beschäftigung als Immobilienschätzer zuzumuten (vgl. auch Urteil 9C_111/2009 vom 21. Juli 2009, E. 2.2.2).
Das Valideneinkommen hat das kantonale Gericht gestützt auf die Gewerbestatistik ermittelt, unter der Annahme, der Beschwerdeführer würde bei guter Gesundheit als diplomierter Baumeister einen kleineren Betrieb leiten. Stellt man mit dem Beschwerdeführer auf die LSE ab, so ergibt sich kein höheres hypothetisches Einkommen. Gemäss der vom Beschwerdeführer erwähnten Tabelle TA1_b_s, Männer, Anforderungsniveau 1, betrug der monatliche Bruttolohn im Baugewerbe im Jahre 2004 Fr. 7'619.-. Die seinerzeit als Geschäftsführer der eigenen Firma in den Jahren vor Eintritt des Gesundheitsschadens verabgabten Erwerbseinkommen und die Jahresabschlüsse der Firma verbieten den Schluss, das kantonale Gericht habe mit der Festsetzung des Valideneinkommens auf Fr. 105'700.- Bundesrecht verletzt. Entgegen der Auffassung des Beschwerdeführers geht es sodann nicht an, bereits dem Validenlohn den entsprechenden LSE-Wert im Bereich Immobilienwesen (Ziff. 70, 71) von monatlich Fr. 10'771 zugrunde zu legen.
Auch die Ermittlung des Invalideneinkommens ist nicht bundesrechtswidrig. Aufgrund der verschiedenen beruflichen Abschlüsse, der langjährigen beruflichen Erfahrung, und der absolvierten Ausbildung als Immobilien-Schätzer lässt sich der Schluss des kantonalen Gerichts, der Beschwerdeführer sei in der Lage, ein rentenausschliessendes Erwerbseinkommen von mindestens Fr. 68'000.- erzielen, nicht beanstanden, zumal in diesem Punkt der allgemeine ausgeglichene Arbeitsmarkt massgebend ist. Daran ändert auch nichts, dass der Beschwerdeführer die Ausbildung zum Immobilien-Schätzer nicht mit einem Diplom abgeschlossen hat. Gemäss Schlussbericht der Abteilung berufliche Eingliederung der Beschwerdegegnerin vom 27. September 2001 hat der Beschwerdeführer auch ohne eidgenössischen Ausweis das theoretische Wissen, um als Immobilienschätzer tätig zu sein. Es habe sich erst um die zweite eidgenössische Prüfung gehandelt. Von den zur Zeit etwa 5000 tätigen Immobilienschätzer verfügten die wenigsten über ein entsprechendes Diplom. Schliesslich ist auch die Kritik am fehlenden Abzug vom Tabellenlohn unbegründet. Da mit der Leistungseinbusse von 15 % bereits den gesundheitlichen Beeinträchtigungen und den damit verbundenen Therapien und Pausen Rechnung getragen ist, ist ein Abzug vom Tabellenlohn nicht gerechtfertigt (Urteile I 708/06 vom 23. November 2006 und U 454/05 vom 6. September 2006).
2.2.3 Der vorinstanzliche Entscheid ist damit sowohl in tatsächlicher als auch rechtlicher Hinsicht rechtmässig.
3. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Das Bundesgericht erkennt:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Borella Nussbaumer