Sachverhalt:
A. Mit Verfügung vom 12. Februar 2008, welche sich in medizinischer Hinsicht auf ein polydisziplinäres Gutachten des Instituts X._, vom 16. Juli 2007 stützte, sprach die IV-Stelle Bern S._ rückwirkend ab 1. Januar 2003 eine Viertelsrente der Invalidenversicherung zu. Die hiegegen eingereichte Beschwerde mit dem Rechtsbegehren um Gewährung einer halben statt der Viertelsrente zog der Versicherte am 27. April 2010 zurück, nachdem ihm seitens des Verwaltungsgerichts des Kantons Bern eine mögliche Schlechterstellung in Aussicht gestellt und Gelegenheit zum Rückzug des Rechtsmittels gegeben worden war. Mit Entscheid vom 28. April 2010 schrieb das Verwaltungsgericht das Verfahren vom Geschäftsprotokoll ab.
Im Dezember 2010 leitete die IV-Stelle Bern von Amtes wegen ein Revisionsverfahren ein. S._ erklärte, sein Gesundheitszustand habe sich seit 2007 verschlimmert. Nach Beizug verschiedener Arztberichte hob die IV-Stelle die Verfügung vom 12. Februar 2008 zu Folge zweifelloser Unrichtigkeit am 6. Oktober 2011 auf Ende November 2011 wiedererwägungsweise auf.
B. Die hiegegen erhobene Beschwerde, mit welcher der Versicherte beantragt hatte, die Wiedererwägungsverfügung sei aufzuheben und es sei ihm weiterhin eine Invalidenrente auszurichten, hiess das Verwaltungsgericht des Kantons Bern teilweise gut und hob die angefochtene Verfügung vom 6. Oktober 2011 insoweit auf, als es die Sache zur Vornahme weiterer Abklärungen über den Gesundheitszustand des Versicherten bei Erlass dieser Verfügung und neuer Entscheidung an die IV-Stelle zurückwies; soweit die Wiedererwägung der Verfügung vom 12. Februar 2008 betreffend, wies es die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ beantragen, der vorinstanzliche Entscheid sei soweit aufzuheben, als er die Verfügung vom 6. Oktober 2011 bestätigt. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Der vorinstanzliche Entscheid ist nur insoweit angefochten, als das Verwaltungsgericht die Wiedererwägungsverfügung der IV-Stelle vom 6. Oktober 2011 bestätigt hat. Streitig und zu prüfen ist daher, ob die Vorinstanz die Wiedererwägungsvoraussetzungen zu Recht bejaht hat.
2.1 Gemäss <ref-law> kann der Versicherungsträger auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn jede Berichtigung von erheblicher Bedeutung ist. Die Wiedererwägung dient der nachträglichen Korrektur einer ursprünglich unrichtigen Rechtsanwendung oder Sachverhaltsfeststellung durch die Verwaltung (<ref-ruling> E. 2c S. 17). Während die Feststellungen, welche der Beurteilung des Rechtsbegriffs der zweifellosen Unrichtigkeit zu Grunde liegen, tatsächlicher Natur und dementsprechend nur beschränkt überprüfbar sind, ist die Auslegung des bundesrechtlichen Begriffs der zweifellosen Unrichtigkeit als Wiedererwägungsvoraussetzung nach <ref-law> Bundesrechtsfrage, die frei zu beurteilen ist (SVR 2011 IV Nr. 71 S. 213).
2.2 Die Wiedererwägung rechtskräftiger Verfügungen fällt nur in Betracht, wenn es um die Korrektur grober Fehler der Verwaltung geht (ZAK 1988 S. 255 E. 2b). Zweifellos ist die Unrichtigkeit, wenn kein vernünftiger Zweifel daran möglich ist, dass die Verfügung unrichtig war. Es ist nur ein einziger Schluss - derjenige auf die Unrichtigkeit der Verfügung - denkbar (SVR 2010 IV Nr. 5 S. 10; 8C_1012/2008). Zurückhaltung ist bei der Annahme zweifelloser Unrichtigkeit stets dann geboten, wenn der Wiedererwägungsgrund eine materielle Anspruchsvoraussetzung betrifft, deren Beurteilung massgeblich auf Schätzungen oder Beweiswürdigung und damit auf Elementen beruht, die notwendigerweise Ermessenszüge aufweisen. Eine vor dem Hintergrund der seinerzeitigen Rechtspraxis vertretbare Beurteilung der (invaliditätsmässigen) Anspruchsvoraussetzungen kann nicht zweifellos unrichtig sein (SZS 2012 S. 68; 8C_962/2010).
3. 3.1 In Übereinstimmung mit der IV-Stelle gelangte das kantonale Gericht zum Schluss, die rentenzusprechende Verfügung vom 12. Februar 2008 sei als zweifellos unrichtig zu qualifizieren. Aus den Arztberichten gehe hervor, dass die Leistungsfähigkeit aus psychischen Gründen um 20 % reduziert war. Bei der diagnostizierten somatoformen Schmerzstörung bestehe rechtsprechungsgemäss die Vermutung, dass die entsprechende Störung oder ihre Folgen mit einer zumutbaren Willensanstrengung überwindbar sind. Da die Kriterien, bei deren Vorliegen die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen sind, nicht gegeben waren, sei der Versicherte im Zeitpunkt der Rentenzusprechung iv-rechtlich in psychischer Hinsicht nicht in seiner Arbeitsfähigkeit eingeschränkt gewesen.
3.2 Der Beschwerdeführer bestreitet, dass die Wiedererwägungsvoraussetzungen gegeben seien. Die Gutachter des Instituts X._ hätten in der Expertise vom 16. Juli 2007 einen Einsatz von 6 Stunden im Tag, mit einer Einschränkung von 20 %, in einer angepassten Tätigkeit als zumutbar erachtet. Entgegen den Ausführungen der Vorinstanz habe im Begutachtungszeitpunkt nicht ausschliesslich eine somatoforme Schmerzstörung vorgelegen. Vielmehr habe nebst einer psychischen Komorbidität (mittelgradige depressive Episode) aufgrund der somatischen Befunde eine Einschränkung in der Arbeitsfähigkeit bestanden. Bei Erlass der Verwaltungsverfügung vom 12. Februar 2008 sei die Rechtsprechung davon ausgegangen, dass eine mittelgradige depressive Episode eine psychische Komorbidität zu begründen vermochte. Ein anderslautender Entscheid des Bundesgerichts datiere vom 29. Januar 2008 (9C_214/2007) und sei daher noch nicht bekannt gewesen. Aufgrund der geltenden Rechtspraxis sei die Invalidenrente somit zu Recht zugesprochen worden.
3.2 Der Beschwerdeführer bestreitet, dass die Wiedererwägungsvoraussetzungen gegeben seien. Die Gutachter des Instituts X._ hätten in der Expertise vom 16. Juli 2007 einen Einsatz von 6 Stunden im Tag, mit einer Einschränkung von 20 %, in einer angepassten Tätigkeit als zumutbar erachtet. Entgegen den Ausführungen der Vorinstanz habe im Begutachtungszeitpunkt nicht ausschliesslich eine somatoforme Schmerzstörung vorgelegen. Vielmehr habe nebst einer psychischen Komorbidität (mittelgradige depressive Episode) aufgrund der somatischen Befunde eine Einschränkung in der Arbeitsfähigkeit bestanden. Bei Erlass der Verwaltungsverfügung vom 12. Februar 2008 sei die Rechtsprechung davon ausgegangen, dass eine mittelgradige depressive Episode eine psychische Komorbidität zu begründen vermochte. Ein anderslautender Entscheid des Bundesgerichts datiere vom 29. Januar 2008 (9C_214/2007) und sei daher noch nicht bekannt gewesen. Aufgrund der geltenden Rechtspraxis sei die Invalidenrente somit zu Recht zugesprochen worden.
3.3 3.3.1 Der Psychiater des Instituts X._, Dr. med. N._, hatte im Gutachten vom 16. Juli 2007 nebst einer anhaltenden somatoformen Schmerzstörung eine mittelgradige depressive Episode (F 32.1) diagnostiziert. Entsprechend den Ausführungen in der Beschwerde mag es zutreffen, dass zum Zeitpunkt des Erlasses der Rentenverfügung vom 12. Februar 2008 nicht völlig klar war, ob eine mittelgradige depressive Episode eine psychische Komorbidität begründen könne. Die vom Versicherten erwähnten, aus jener Zeitspanne stammenden Urteile des Bundesgerichts könnten in der Tat einer unterschiedlichen Interpretation zugänglich sein. Während im Urteil I 176/06 vom 26. Februar 2007 E. 5.1 (SVR 2008 IV Nr. 1 S. 1) davon auszugehen war, dass eine mittelschwere bis schwere depressive Episode eine psychische Komorbidität bewirkt habe, wurde im Urteil 9C_214/2007 vom 29. Januar 2008 erkannt, eine mittelgradige depressive Episode könne nicht als psychische Komorbidität gelten. Wie diese beiden Urteile mit Bezug auf die Komorbidität einer mittelgradigen depressiven Episode zu verstehen sind, braucht vorliegend nicht geprüft zu werden.
3.3.2 Gemäss den verbindlichen Feststellungen der Vorinstanz bescheinigte der Rheumatologe Dr. C._ im Teilgutachten des Instituts X._ vom 27. März 2007 dem Beschwerdeführer aus somatischen Gründen in einer leidensangepassten Tätigkeit eine ganztägige Arbeitsfähigkeit mit einer Leistungseinschränkung von 20 bis 25 %. Der Arzt führte des Weiteren aus, die Leistungseinbusse sei zumindest medizinisch-theoretisch durch ein Kreislauftraining und eine medizinische Trainingstherapie korrigierbar.
3.4 Diese auch dem angefochtenen Entscheid zu Grunde liegenden ärztlichen Aussagen vermögen die vorinstanzliche Annahme, die Verfügung vom 12. Februar 2008 sei zweifellos unrichtig, nicht zu begründen. Schon allein mit Blick auf den somatischen Gesundheitszustand, unbesehen des psychischen Gesundheitsschadens des Versicherten, lässt sich die verfügte Zusprechung einer Viertelsrente ab 1. Januar 2003 nicht als derart unzutreffend bezeichnen, dass kein vernünftiger Zweifel an der Unrichtigkeit der Verfügung möglich wäre, zumal die Rentengewährung massgeblich auf einer Beweiswürdigung beruht, welcher Ermessenszüge inhärent sind. Der Umstand, dass Dr. med. C._ medizinisch-theoretisch eine Korrektur der verminderten Leistungsfähigkeit für möglich hielt, ist nicht entscheidend. Zum Zeitpunkt der Begutachtung lag eine teilweise Arbeitsunfähigkeit aus rheumatologischer Sicht vor, und die von Dr. med. C._ gewählte Formulierung zeigt, dass eine Steigerung der Leistungsfähigkeit aus praktischer Sicht eher unwahrscheinlich erschien.
Unter Mitberücksichtigung des psychischen Gesundheitszustandes kann von zweifelloser Unrichtigkeit der Verfügung vom 12. Februar 2008 vollends nicht gesprochen werden. Aus den vorstehend dargelegten Gründen war zumindest fraglich, ob die somatoforme Schmerzstörung infolge einer psychischen Komorbidität invalidisierenden Charakter aufwies, was der Annahme zweifelloser Unrichtigkeit jedenfalls entgegen steht.
3.5 Der angefochtene Entscheid verletzt Bundesrecht, indem er den Begriff der zweifellosen Unrichtigkeit, welche für die Wiedererwägung einer formell rechtskräftigen Verfügung vorausgesetzt ist, unrichtig auslegt, was praktisch einer nachträglichen Neubeurteilung Kraft besserer Erkenntnis gleichkommt. Das ist nicht der Rechtssinn von <ref-law>.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Dementsprechend ist das Gesuch des Beschwerdeführers um unentgeltliche Prozessführung gegenstandslos.

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Bern vom 10. April 2012 und die Verfügung der IV-Stelle Bern vom 6. Oktober 2011, je soweit die Wiedererwägung der Verfügung der IV-Stelle Bern vom 12. Februar 2008 betreffend, aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Die IV-Stelle Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer