Sachverhalt:
A. B._ (geboren 1952) war am 21. März 2000 in einen Auffahrunfall verwickelt. Die Psychiatrische Poliklinik des Spitals X._ diagnostizierte im Bericht vom 15. Januar 2001 einen Status nach HWS-Distorsionstrauma vom 21. März 2000 mit persistierenden cervicocephalen Beschwerden und eine regrediente Angststörung mit agoraphobischem Charakter und zusätzlichen spezifischen Phobien (ICD-Diagnose F 40.0 und F 40 2). In einem von der Schweizerischen Unfallversicherungsanstalt (SUVA) in Auftrag gegebenen psychiatrischen Gutachten stellte Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie FMH, die Diagnosen einer Angststörung (Agoraphobie und andere Phobien, mit Panikattacken) F 40.00 / F 40.3 sowie einen Status nach HWS-Distorsionstrauma vom 21. März 2000 mit persistierenden cervicocephalen und lumbalen Schmerzen. Mit Verfügung vom 16. September 2004 sprach die SUVA B._ eine Rente bei einer Erwerbsunfähigkeit von 50 % und eine Integritätsentschädigung von 20 % zu.
Am 10. Januar 2005 meldete sich B._ zum Leistungsbezug bei der Invalidenversicherung an. Mit Verfügung vom 18. Mai 2005 sprach ihm die IV-Stelle Bern ab 1. Januar 2004 eine halbe Rente bei einem Invaliditätsgrad von 50 % zu. Im Rahmen eines im August 2009 eingeleiteten Revisionsverfahrens teilte die K._ AG als Arbeitgeberin von B._ am 8. September 2009 der IV-Stelle Bern mit, dass sich in den letzten Wochen ihr Umfeld massiv geändert habe und somit auch die Anforderungen an ihr Personal. Die nötige Umstrukturierung erlaube es ihr nicht mehr, B._ auch weiterhin zu beschäftigen. Am 10. November 2009 schlug Dr. med. P._, Facharzt für Orthopädische Chirurgie vom Regionalen Ärztlichen Dienst der Invalidenversicherung (RAD) eine interdisziplinäre Begutachtung (rheumathologisch/psychiatrisch) vor. Daraufhin holte die IV bei Dr. med. L._, FMH Innere Medizin und Rheumaerkrankungen, und bei Dr. med. H._, Psychiatrie und Psychotherapie FMH, Gutachten (je vom 7. Mai 2010) ein. Nach durchgeführtem Vorbescheidverfahren hob die IV-Stelle Bern mit Verfügung vom 5. Oktober 2010 die Rente auf Ende des der Zustellung folgenden Monates auf und entzog gleichzeitig einer Beschwerde gegen diese Verfügung die aufschiebende Wirkung.
B. Hiegegen liess B._ Beschwerde beim Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, erheben mit dem Antrag, die Verfügung vom 5. Oktober 2010 sei aufzuheben und die IV-Stelle Bern zu verpflichten, ihm weiterhin mindestens eine halbe Invalidenrente zuzusprechen. Im Rahmen des Beschwerdeverfahrens reichte er am 21. Januar 2011 ein von Prof. Dr. med. E._, leitender Arzt und med. pract. I._, Assistenzarzt des Zentrums für Psychiatrische Rehabilitation der Psychiatrischen Klinik Y._, Klinik für Soziale Psychiatrie und Allgemeinpsychiatrie, zuhanden der Gutachten-Clearingstelle SUVA am 20. Dezember 2010 erstelltes psychiatrisches Gutachten ein. Die IV-Stelle Bern legte dazu eine Stellungnahme von Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie des RAD vor. Das Verwaltungsgericht des Kantons Bern hat am 4. Mai 2011 die Beschwerde abgewiesen, soweit darauf eingetreten werden konnte.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die Aufhebung des Urteils der Vorinstanz vom 4. Mai 2011 und der Verfügung vom 5. Oktober 2010 beantragen mit der Verpflichtung der IV-Stelle Bern, ihm mindestens eine halbe Invalidenrente auszurichten. Am 27. Juni 2011 reichte er eine Stellungnahme von Prof. Dr. med. E._ und Assistenzarzt I._ vom 21. Juni 2011 zum Urteil der Vorinstanz ein.
Die IV-Stelle Bern schliesst auf Abweisung der Beschwerde. Das kantonale Gericht verzichtet auf eine Stellungnahme zur Beschwerde. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. Der Beschwerdeführer reichte im letztinstanzlichen Verfahren erstmals ein Schreiben der K._ AG vom 3. Juni 2011 ein. Ebenso legte er am 27. Juni 2011 nach Ablauf der Beschwerdefrist die Antwort vom 21. Juni 2011 der med. pract. I._ und Prof. Dr. med. E._ auf eine (nicht zu den Akten gereichte) Anfrage des Beschwerdeführers vom 17. Mai 2011 als neue Aktenstücke vor. Neue Tatsachen und Beweismittel dürfen indessen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Dies ist von der ein Novum einbringenden Partei näher darzulegen (Art. 42 Abs. 1 und 2 BGG; vgl. Urteile 8C_826/2008 vom 2. April 2009 E. 3; 8C_514/2008 vom 31. März 2009 E. 3), was der Beschwerdeführer unterlassen hat. Die neu beigebrachten Beweismittel sind daher unzulässig und bleiben vor Bundesgericht unbeachtet (Urteil 8C_684/2009 vom 23. April 2010 E. 2). Im Übrigen bildet der Umstand, dass das vorinstanzliche Verfahren nicht entsprechend den Erwartungen des Beschwerdeführers ausgegangen ist, für sich allein keinen hinreichenden Anlass im Sinne von <ref-law> (<ref-ruling> E. 2.2 S. 344; <ref-ruling> E. 2.2.1 S. 226 f. sowie Urteil 2C_425/2010 vom 17. August 2010 E. 3.7 und 9C_89/2011 vom 27. Juli 2011 E. 2).
3. 3.1 Prozessthema bildet die Frage, ob sich der Invaliditätsgrad seit der rechtskräftigen Zusprechung einer halben Invalidenrente (Verfügung vom 18. Mai 2005) bis zur verfügungsweisen Neuprüfung vom 5. Oktober 2010 in revisionsrechtlich erheblicher Weise verändert hat (Art. 87 Abs. 2 und 3 IVV; <ref-law>). Dabei ist zu beachten, dass Anlass zur Rentenrevision jede wesentliche Änderung in den tatsächlichen Verhältnissen gibt, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Allerdings stellt eine bloss unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsbegründende Tatsachenänderung dar (<ref-ruling> E. 2b S. 372). Praxisgemäss ist die Invalidenrente aber auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes erheblich verändert haben (<ref-ruling> E. 6.1 S. 546, 130 V 343 E. 3.5 S. 349 f. mit Hinweisen).
3.2 Beizufügen ist, dass die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem rentenrevisionsrechtlich relevanten Sinne (<ref-law>; <ref-law>) verändert hat, eine Tatfrage darstellt (Urteil I 692/06 vom 19. Dezember 2006 E. 3.1) und einer letztinstanzlichen Berichtigung oder Ergänzung somit nur im gesetzlichen Rahmen von <ref-law> zugänglich ist (siehe E. 1.2 hievor). Frei überprüfbar ist dagegen, ob das kantonale Gericht bei der Sachverhaltsermittlung vom korrekten Beweismass - hier der überwiegenden Wahrscheinlichkeit - ausgegangen ist (Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3 mit Hinweisen, in: SVR 2009 IV Nr. 57 S. 177). Hat jedoch die Vorinstanz einen Sachverhalt gestützt auf eine willkürfreie Würdigung von Beweisen und konkreten Umständen und in Anwendung des zutreffenden Beweismasses als erstellt erachtet, ist das Bundesgericht an das Beweisergebnis grundsätzlich gebunden (vgl. <ref-ruling> E. 3 S. 220 ff., insb. E. 3b in fine S. 223; Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3, in: SVR 2009 IV Nr. 57 S. 177).
4. 4.1 Das kantonale Gericht prüfte vorab, ob ein Revisionsgrund vorliege. Es ging davon aus, dass im Rahmen der ursprünglichen Rentenzusprechung von einem zumutbaren Arbeitspensum in der bisherigen Tätigkeit als kaufmännischer Angestellter von 50 % bzw. von einem Invaliditätsgrad von 50 % ausgegangen worden sei. Anlässlich der Revision von Amtes wegen im August 2009 habe der Versicherte eine Verschlimmerung seines Gesundheitszustandes geltend gemacht. Die allfällige Änderung sei mit einer "schleichenden Abnahme der Leistungsfähigkeit" und "Zunahme Vergesslichkeit Unzuverlässigkeit" begründet worden, was in der Folge von Dr. med. G._ bestätigt worden sei. Zudem sei dem Versicherten mit Schreiben vom 8. September 2009 per 30. November 2009 seine Stelle gekündigt worden. Im Vergleich zur Verfügung vom 18. Mai 2005 sei daher eine Änderung in gesundheitlicher wie auch erwerblicher Hinsicht eingetreten, welche geeignet sei, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Damit liege ein Revisionsgrund vor und das Gericht habe das Leistungsbegehren allseitig zu prüfen (Hinweis auf <ref-ruling> E. 4b). Ferner wies das kantonale Gericht darauf hin, wenn eine erhebliche Änderung des Sachverhalts vorliege, sei der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums zu prüfen (Hinweis auf SVR 2004 IV Nr. 17 S. 54 E. 2.3; AHI-Praxis 2002 S. 164; Urteil des Bundesgerichts 8C_751/2007 vom 8. Dezember 2008, E. 4.3.2). In der Folge hat es in Würdigung der ärztlichen Unterlagen entscheidend auf die Gutachten der Dres. med. L._ und H._ vom 7. Mai 2010 abgestellt und daraus gefolgert, für die bisher ausgeübte Tätigkeit bestehe keine Einschränkung der Arbeitsfähigkeit.
4.2 Das kantonale Gericht hat entscheidend auf die Gutachten der Dres. med. L._ und H._ vom 7. Mai 2010 abgestellt. Aus der Beurteilung des Dr. med. L._ geht indessen entgegen der Auffassung des kantonalen Gerichts keine Verbesserung des Gesundheitszustandes aus somatisch-rheumatologischer Sicht hervor. Zwar führt er aus, die damals vor der Verfügung vom 18. Mai 2005 beschriebenen somatisch-pathologischen Befunde könne er nicht mehr vollumfänglich respektive teilweise nicht mehr bestätigen, doch hält er an anderer Stelle im Gutachten fest, eine gravierende somatisch abstützbare Pathologie sei zu keinem Zeitpunkt nach dem Unfallereignis dokumentiert worden. Hinsichtlich der Arbeitsfähigkeit gelangt er zur Beurteilung, diese sei für die bisher ausgeübten beruflichen Tätigkeiten nicht eingeschränkt. Diese Einschätzung treffe "seit Jahren, möglicherweise bereits seit Ende 2000 und spätestens seit dem Zeitpunkt dieser aktuellen Begutachtung" zu. In der psychiatrischen Beurteilung des Dr. med. H._ ist ebenfalls keine Verbesserung des Gesundheitszustandes seit der Rentenzusprache im Mai 2005 zu erkennen. Ein psychischer Gesundheitsschaden, abgesehen von der sich in den letzten Jahren zurückgebildeten Angstproblematik beim Autofahren, habe beim Versicherten nur vorübergehend von Anfang 2009 bis Ende November 2009 vorgelegen. Derzeit sei der Versicherte wieder in einer guten Verfassung. Nach der Auffassung des Dr. med. H._ besteht derzeit keine Einschränkung in der Arbeitsfähigkeit. Auch aus den übrigen medizinischen Unterlagen ergibt sich keine Verbesserung des Gesundheitszustandes, eher eine Verschlechterung. Aus den Stellungnahmen des Dr. med. F._ vom 22. Oktober 2009, 21. Januar 2010, 15. Juli 2010 und vom 29. Oktober 2010 ist keine Verbesserung ersichtlich. Das Gleiche gilt für den Bericht des Dr. med. G._ vom 1. November 2010, der die vom Beschwerdeführer geklagte Abnahme der Leistungsfähigkeit bestätigt. Nach dem Gutachten der Psychiatrischen Klinik Y._ vom 20. Dezember 2010 entspricht der psychische Gesundheitszustand "in weiten Teilen der letzten Beurteilung von 2004", jedoch habe die depressive Symptomatik zugenommen bzw. sei sie chronifiziert, was die Alltagsfunktionalität negativ beeinflusse. Insbesondere habe die Arbeitsfähigkeit darunter gelitten. Auch aus dem Bericht des Kreisarztes der SUVA vom 7. Dezember 2009 lässt sich keine Verbesserung des Gesundheitszustandes entnehmen. In erwerblicher Hinsicht hat sich die Situation des Beschwerdeführers insofern verschlechtert, als er die bereits bei der Rentenzusprache innegehabte Stelle mit einem Pensum von 50 % verloren hat. Sodann ergibt sich aus der Beurteilung der Arbeitsfähigkeit durch die Dres. med. L._ und H._ ebenfalls keine Verbesserung der Leistungsfähigkeit. In erwerblicher Hinsicht sind ebenfalls aufgrund der Akten keine rentenrelevanten Änderungen ersichtlich.
4.3 Das kantonale Gericht hat nach dem Gesagten die Revisionsvoraussetzungen zu Unrecht bejaht, obwohl keine erhebliche Änderung der tatsächlichen Verhältnisse, auch nicht aufgrund des von ihm als massgebend erachteten Gutachtens der Dres. med. L._ und H._ erstellt ist. Vielmehr handelt es sich dabei um eine unterschiedliche Einschätzung des Gesundheitsschadens und der Arbeitsfähigkeit eines im Wesentlichen gleich gebliebenen Sachverhalts, was keine revisionsbegründende Tatsachenänderung darstellt (E. 3.1 hievor). Eine Erhöhung des Invaliditätsgrades wird nicht geltend gemacht und in der Beschwerde auch nicht begründet.
5. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten sind der unterliegenden IV-Stelle aufzuerlegen (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>), welche überdies dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung zu entrichten hat (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. Mai 2011 und die Verfügung der IV-Stelle Bern vom 5. Oktober 2010 aufgehoben mit der Feststellung, dass der Beschwerdeführer über Ende November 2010 hinaus Anspruch auf eine halbe Invalidenrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Verom und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Juni 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer