Sachverhalt:
Mit Verfügung vom 18. Oktober 2011 hob die IV-Stelle Bern die K._ seit 1. August 2001 gestützt auf einen Invaliditätsgrad von 50 % ausgerichtete halbe Invalidenrente wiedererwägungsweise auf, da anlässlich der ersten Rentenzusprechung im Jahre 2005 kein Gesundheitsschaden mit Einfluss auf die Arbeitsfähigkeit objektiv nachweisbar gewesen sei und auch heute keine Einschränkung im Erwerbsbereich bestehe.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. Januar 2012 unter Gewährung der unentgeltlichen Prozessführung und Verbeiständung ab.
K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin die mit Verfügung vom 26. Juli 2005 gewährte Invalidenrente auszurichten. Ferner sei ihm die unentgeltliche Rechtspflege zu gewähren.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. Die Verwaltung ist befugt, unter dem Titel der Wiedererwägung jederzeit von Amtes wegen auf eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, zurückzukommen, wenn sich diese als zweifellos unrichtig erweist und ihre Berichtigung von erheblicher Bedeutung ist (Art. 53 Abs. 2 ATSG). Unter diesen Voraussetzungen kann die Verwaltung eine Rentenverfügung auch dann abändern, wenn die Revisionsvoraussetzungen des Art. 17 ATSG nicht erfüllt sind. Zweifellose Unrichtigkeit liegt nicht nur vor, wenn die in Wiedererwägung zu ziehende Verfügung aufgrund falscher oder unzutreffender Rechtsregeln erlassen wurde, sondern auch, wenn massgebliche Bestimmungen nicht oder unrichtig angewendet wurden (unter Einschluss unrichtiger Tatsachenfeststellung im Sinne der Beweiswürdigung). Eine gesetzwidrige Leistungszusprechung gilt regelmässig als zweifellos unrichtig (<ref-ruling> E. 2b/bb S. 401 mit Hinweisen).
3. Das kantonale Gericht ging nach Würdigung der der ursprünglichen Rentenverfügung zugrunde liegenden medizinischen Unterlagen davon aus, dass dem Versicherten bereits während des Rehabilitationsaufenthaltes in der Rehaklinik X._ nach dem am 16. August 2000 erfolgten Auffahrunfall eine ganztägige Arbeitsfähigkeit für leichte bis mittelschwere Tätigkeiten attestiert worden sei. Auch der Psychiater Dr. med. F._ habe in seinem Gutachten vom 19. Februar 2004 festgehalten, es lägen keine psychiatrischen Diagnosen mit Krankheitswert vor, und er habe dem Versicherten dementsprechend ausschliesslich für die derzeit ausgeübte, nicht angepasste Tätigkeit als Taxichauffeur eine beschränkte Arbeitsfähigkeit von 80 % mit einer über 90%igen Leistungsfähigkeit attestiert. Im Gutachten des Neurologen Prof. Dr. med. M._ vom 7. September 2003 sei dem Versicherten eine noch zumutbare Arbeitsfähigkeit von 70 % attestiert worden, wobei der Gutachter festgehalten habe, dass eine nähere Präzisierung mit dem genügenden Grad der Sicherheit wohl kaum möglich sei und der Vorschlag der Annahme einer 30%igen Dauerbehinderung infolge des Unfalls als pragmatisch erscheine. Die genannten Ärzte seien somit von einer mindestens 70%igen Arbeitsfähigkeit des Beschwerdeführers ausgegangen. Eine bloss 50%ige Arbeitsfähigkeit - wie von der IV-Stelle in ihrer ursprünglichen Rentenverfügung angenommen - hätten einzig der SUVA-Kreisarzt Dr. med. G._ und Dr. med. R._ attestiert. Beide Ärzte hätten sich indessen lediglich im Rahmen einer - invalidenversicherungsrechtlich nicht relevanten - Angewöhnung resp. im Hinblick auf den Erhalt des Arbeitsplatzes für eine zeitlich begrenzte Arbeitsunfähigkeit ausgesprochen. Pathologische Befunde resp. eine voraussichtlich bleibende oder längere Zeit dauernde Arbeitsunfähigkeit hätten sie indessen nicht attestiert, sondern Dr. med. G._ habe vielmehr ausdrücklich festgehalten, dass er den Versicherten nach der Einarbeitungszeit wieder als voll arbeitsfähig erachte. Für die Beurteilung der invalidenversicherungsrechtlich relevanten dauernden Arbeits- und Leistungsfähigkeit könne auf diese Arztberichte demnach nicht abgestellt werden. Weitere Arztberichte, welche die von der IV-Stelle getroffene Annahme einer 50%igen Arbeitsunfähigkeit schützen würden, lägen nicht vor. Es bestünden insbesondere auch keine von der IV-Stelle in Auftrag gegebene Beurteilungen. Die IV-Stelle sei vielmehr bereits im Schreiben vom 31. Januar 2002 davon ausgegangen, der Versicherte sei in einer angepassten Tätigkeit ganztags arbeitsfähig.
Gestützt auf die vorliegenden, voll beweiskräftigen Arztberichte und Gutachten der behandelnden Ärzte der Rehaklinik X._, des Prof. Dr. med. M._ sowie des Dr. med. F._ stehe folglich fest, dass eine 50%ige Arbeitsunfähigkeit im Zeitpunkt der ursprünglichen Rentenverfügung vom 26. Juli 2005 nicht ausgewiesen gewesen sei. In Anbetracht der damals vorliegenden medizinischen Aktenlage sei einzig die Annahme einer höchstens 30%igen Arbeitsunfähigkeit vertretbar gewesen, sei doch auch der Unfallversicherer von einer 30%igen Einschränkung in der Erwerbsfähigkeit ausgegangen (Hinweis auf die SUVA-Rentenverfügung vom 13. Juni 2006, womit dem Versicherten eine Invalidenrente von 30 % zugesprochen wurde). Ob tatsächlich auf die im Gutachten von Prof. Dr. med. M._ attestierte 30%ige Arbeitsunfähigkeit abzustellen oder von einer 100%igen Arbeitsfähigkeit des Versicherten auszugehen gewesen wäre, könne derweil offenbleiben. Selbst bei Annahme einer 30%igen Arbeitsunfähigkeit ergäbe sich offenkundig kein Rentenanspruch. Die in der ursprünglichen Rentenverfügung vom 26. Juli 2005 auf der Basis einer 50%igen Arbeitsfähigkeit vorgenommene Invaliditätsbemessung stütze sich auf keine nachvollziehbare ärztliche Einschätzung ab. Die ursprüngliche Rentenverfügung erweise sich folglich - wie von der IV-Stelle in der angefochtenen Verfügung vom 18. Oktober 2011 zu Recht festgestellt - als offensichtlich unrichtig und könne wiedererwägungsweise pro futuro korrigiert werden. Da keine leistungsbegründende Invalidität ausgewiesen sei, habe die IV-Stelle die Rente zu Recht auf Ende November 2011 eingestellt. Nichts am Ergebnis ändere der Umstand, dass die ursprüngliche Rentenverfügung nicht zeitnah bereits anlässlich der beiden Revisionen im Jahre 2006 und 2007 von der IV-Stelle aufgehoben worden sei (Hinweis auf das Urteil I 859/05 vom 10. Mai 2006, E. 2.2 mit Hinweis). Damals sei keine umfassende materielle Überprüfung des Leistungsanspruchs erfolgt, weshalb trotz der revisionsweisen Bestätigung der ursprünglich fehlerhaften Verfügung keine erhöhten Anforderungen an den Vertrauensschutz zu stellen waren.
4. Die tatsächlichen Feststellungen des kantonalen Gerichts sind nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Gestützt darauf hat das kantonale Gericht ohne Verletzung von Bundesrecht zutreffend geschlossen, dass der Beschwerdeführer im Zeitpunkt der ursprünglichen Rentenverfügung vom 26. Juli 2005 höchstens im Umfang von 30 % in seiner Arbeitsfähigkeit eingeschränkt war. Daraus resultiert angesichts der bisherigen Erwerbstätigkeiten des Beschwerdeführers kein rentenbegründender Invaliditätsgrad. So hat denn auch die SUVA lediglich eine Invalidenrente auf der Basis einer Erwerbsunfähigkeit von 30 % zugesprochen (Verfügung vom 13. Juni 2006). Wenn das kantonale Gericht unter diesen Umständen zum Schluss gekommen ist, die Voraussetzung der zweifellosen Unrichtigkeit der ursprünglichen Rentenverfügung sei gegeben, hat es kein Bundesrecht verletzt. Daran ändern die Einwendungen in der Beschwerde nichts. Weder beschlägt die Einschätzung der Arbeitsfähigkeit den Ermessensbereich der Verwaltung, sondern es geht um die Feststellung des relevanten Sachverhaltes. Der Beschwerdeführer übersieht, dass die zweifellose Unrichtigkeit auch in der unrichtigen Tatsachenfeststellung im Sinne der Sachverhaltswürdigung bestehen kann (Urteile U 445/00 vom 3. September 2001 E. 4 und I 88/04 vom 24. Mai 2005 E. 4.2). Ebenso wenig steht angesichts der gesetzlichen Regelung von Art. 53 Abs. 2 ATSG der Vertrauensschutz der Aufhebung einer unrechtmässig ausgerichteten Dauerleistung entgegen.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Sie sind vorläufig auf die Gerichtskasse zu nehmen, da die Voraussetzungen für die Gewährung der beantragten unentgeltlichen Rechtspflege (fehlende Aussichtslosigkeit des Rechtsmittels, Bedürftigkeit des Gesuchstellers, Notwendigkeit der anwaltlichen Vertretung [Art. 64 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372]) erfüllt sind. Ferner wird seinem Rechtsvertreter eine Entschädigung aus der Gerichtskasse ausgerichtet (Art. 64 Abs. 2 BGG). Der Beschwerdeführer wird indessen auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach er als Begünstigter der Gerichtskasse Ersatz zu leisten haben wird, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Prozessführung und Verbeiständung gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, zufolge Gewährung der unentgeltlichen Prozessführung vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Max B. Berger wird als unentgeltlicher Rechtsbeistand des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Berner Arbeitgeber und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer