Sachverhalt:
A. A.a Der 1959 geborene T._ arbeitete seit dem 18. März 1991 als Zustellbeamte bei der Post. Ab dem 22. September 1997 verrichtete er Schonarbeit im Innendienst. Im April 1999 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach verschiedenen Abklärungen sprach ihm die IV-Stelle des Kantons Basel-Stadt mit Verfügung vom 8. Mai 2006 ab 1. August 1998 eine halbe Rente, ab 1. Januar 2004 eine Dreiviertelsrente und ab 1. Oktober 2005 eine ganze Rente zu.
A.b Im Dezember 2008 leitete die IV-Stelle ein Revisionsverfahren ein und teilte T._ in der Mitteilung vom 25. Februar 2009 zunächst mit, er habe Anspruch auf die bisherige Invalidenrente. In der Folge liess sie ihn allerdings im Medizinischen Zentrum O._ begutachten (Gutachten vom 21. März 2010) und verneinte mit Verfügung vom 17. August 2010 bei einem Invaliditätsgrad von 28 % einen weiteren Rentenanspruch.
B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 29. Juni 2011 ab.
C. Mit Beschwerde lässt T._ die Aufhebung des vorinstanzlichen Entscheides und weiterhin die Ausrichtung einer ganzen Rente der Invalidenversicherung beantragen. Eventualiter sei die Sache zum neuen Entscheid an die Vorinstanz zurückzuweisen. Ferner wird um unentgeltliche Prozessführung und Verbeiständung ersucht.
D. Mit Verfügung vom 16. November 2011 stellte die Instruktionsrichterin T._ in Aussicht, die Beschwerde mit der substituierten Begründung der Wiedererwägung der ursprünglichen Rentenverfügung vom 8. Mai 2006 abzuweisen. Diese rechtliche Begründung wurde im Verfahren bisher nicht erwähnt. T._ wurde die Möglichkeit gegeben, sich hierzu zu äussern. Mit Eingabe vom 11. Januar 2012 nahm er dazu Stellung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Der Beschwerdeführer macht zunächst geltend, das rechtliche Gehör der von ihm geschiedenen Ehefrau und der Kinder sei verletzt, weil die angefochtene Verfügung ausschliesslich ihm selber zugestellt worden sei. Frau und Kinder seien von den finanziellen Auswirkungen mitbetroffen. Ihnen komme Parteistellung zu.
Das rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift (<ref-ruling> E. 2.3 S. 282). Die materielle Betroffenheit ist der Anknüpfungspunkt der verfassungsmässigen Gehörsgarantie und begründet auch die Parteistellung im Verfahren. Für die unmittelbare Anrufung des rechtlichen Gehörs wird insoweit die Beteiligung am Verfahren als Partei vorausgesetzt (MICHELE ALBERTINI, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, Bern 2000, S. 170 f.).
Dem Ehegatten einer versicherten Person steht das Beschwerderecht gegen einen Rentenentscheid nur zu, soweit er sich unmittelbar oder allenfalls in einem späteren Zeitpunkt auf die Höhe seiner eigenen Rente auswirkt oder auswirken kann (<ref-ruling>). Auch soweit Kinderrenten (und altrechtliche Zusatzrenten) direkt dem Ehegatten auszubezahlen sind, steht diesem kein Beschwerderecht "pro Adressat" bezüglich des Rentenanspruchs zu. Sein Interesse gilt lediglich im Zusammenhang mit dem Auszahlungsmodus der Kinderrenten als schutzwürdig, sodass ihm in solchen Streitigkeiten Parteirechte und die Beschwerdeberechtigung zustehen (<ref-ruling> E. 1 S. 427; Urteil I 245/01 vom 7. August 2001 E. 2, in: SVR 2002 IV Nr. 5 S. 11, Pra 2002 Nr. 63 S. 361).
Da vorliegend nicht der Auszahlungsmodus, sondern der Rentenanspruch als solcher strittig ist, stehen der geschiedenen Ehefrau keine Parteirechte und insbesondere kein Gehörsanspruch zu. Dieser konnte mithin nicht verletzt werden, weshalb die Rüge fehlgeht.
3. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie einen weiteren Anspruch des Versicherten auf eine Rente der Invalidenversicherung verneinte. Zu prüfen ist dabei, ob seit der letzten materiellen Beurteilung des Rentenanspruchs eine Verbesserung des Gesundheitszustandes eingetreten ist, sodass ein Anspruch auf eine Rente der Invalidenversicherung entfällt.
3.1 Die Vorinstanz stellte fest, die ursprüngliche Rentenzusprache habe aus rheumatologischer Sicht auf dem Gutachten des Spitals F._ vom 2. Juni 2005 basiert, in welchem der Beschwerdeführer zu 50 % arbeitsunfähig beurteilt worden sei. Im psychiatrischen Fachbereich habe sie auf dem Gutachten des Dr. med. S._ vom 16. Dezember 2005 beruht, in dem eine schwergradige depressive Episode ohne psychotische Symptome (ICD-10 F32.2) diagnostiziert und eine vollständige Arbeitsunfähigkeit bescheinigt worden sei. Im Vergleich dazu sei das interdisziplinäre Gutachten des Medizinischen Zentrums O._ vom 21. März 2010 zum Ergebnis gekommen der Beschwerdeführer sei aus rheumatologischer Sicht in einer behinderungsangepassten Tätigkeit 100 % arbeitsfähig. Im psychiatrischen Teilgutachten habe keine Diagnose mit Auswirkungen auf die Arbeitsfähigkeit gestellt werden können. Dieses Gutachten habe Grundlage für die vorliegend angefochtene Verfügung vom 17. August 2010 gebildet.
3.2 Der Beschwerdeführer rügt, die Beschwerdegegnerin habe das Rentenrevisionsverfahren mit Mitteilung vom 25. Februar 2009 abgeschlossen. In dieser Mitteilung habe sie festgehalten, die Überprüfung des Invaliditätsgrades habe keine Änderung gebracht. Nur gerade einen Monat später sei dieser Entscheid erneut in Revision gezogen worden. Dass sich innert eines Monats die gesundheitliche Situation massgeblich verändert habe, sei nicht bewiesen. Sinngemäss macht der Beschwerdeführer damit geltend, die Vorinstanz habe einen falschen Vergleichszeitraum bei ihrer Beurteilung der gesundheitlichen Veränderung angenommen.
3.3 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen (<ref-ruling> E. 3.5 S. 349). Für das Vorliegen einer erheblichen Sachverhaltsänderung genügt es nicht, dass der bereits bekannte, im Zeitpunkt der ursprünglichen Rentenverfügung gegebene Sachverhalt anders bewertet wird und daraus andere Schlussfolgerungen gezogen werden als im früheren Verwaltungs- und/oder Beschwerdeverfahren (<ref-ruling>; SVR 2009 IV Nr. 57 S. 177, 9C_149/2009 E. 3.2.1). Der zeitliche Referenzpunkt der Prüfung einer anspruchserheblichen Änderung bildet die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (<ref-ruling> E. 5.4 S. 114). Wird anlässlich einer von Amtes wegen durchgeführten Revision mit materieller Anspruchsprüfung keine leistungsbeeinflussende Änderung der Verhältnisse festgestellt und dies der versicherten Person in einer Mitteilung eröffnet (Art. 74ter lit. f und Art. 74quater IVV), ist der zeitlich zu vergleichender Sachverhalt im darauf folgenden Revisionsverfahren derjenige, welcher der Mitteilung zugrunde lag (SVR 2010 IV Nr. 4 S. 7, 9C_46/2009 E. 3.1).
3.4 Das kantonale Gericht ging bei der Prüfung einer anspruchserheblichen Änderung des Gesundheitszustandes implizit von der ursprünglichen Rentenzusprache am 8. Mai 2006 aus, indem es die vor Erlass dieser Verfügung eingeholten medizinischen Gutachten mit dem Gutachten des Medizinischen Zentrums O._ vom 21. März 2010 verglich. Letzteres bildete die Grundlage für die vorliegend angefochtene Verfügung vom 17. August 2010. Die nach Einleitung des Revisionsverfahrens im Dezember 2008 eingeholten Arztberichte der behandelnden Ärzte wurden von der Vorinstanz hingegen nicht ausdrücklich erwähnt und berücksichtigt. Diese bildeten, ohne weitere Einschätzung etwa des Regionalen Ärztlichen Dienstes (RAD), die Grundlage für die Mitteilung vom 25. Februar 2009, wonach bei der Überprüfung des Invaliditätsgrades keine Änderung festgestellt worden sei. Obwohl die Mitteilung vom 25. Februar 2009 grundsätzlich als zeitlicher Referenzpunkt gelten kann (vgl. E. 3.3 hievor), ist sie vorliegend bei der Überprüfung der gesundheitlichen Veränderung im Ergebnis zu Recht nicht berücksichtigt worden: Es fehlt hierbei an der rechtskonformen Sachverhaltsabklärung und Würdigung der Arztberichte, denn im Arztbericht von Dr. med. C._, Fachärztin für Innere Medizin, vom 1. Februar 2009 wird erwähnt, dass der Beschwerdeführer gewählter Parlamentarier ist und entsprechenden politischen Tätigkeiten nachgeht. Diese Tätigkeiten stehen im klaren Widerspruch zu der von Dr. med. S._ bei der ursprünglichen Rentenzusprache diagnostizierten schweren depressiven Erkrankung, welche eine Arbeitsfähigkeit in sämtlichen Tätigkeiten ausschloss. Bei einer rechtskonformen Würdigung dieses Umstandes hätte die Beschwerdegegnerin zumindest weitere medizinische Abklärungen veranlassen müssen, was sie vor Erlass der Mitteilung vom 25. Februar 2009 jedoch nicht tat. Sie veranlasste diese erst ca. einen Monat nach Erlass der Mitteilung vom 25. Februar 2009.
3.5 Nach dem Dargelegten kann die Mitteilung vom 25. Februar 2009 nicht als Vergleichsbasis für die Rentenrevision herangezogen werden. Referenzzeitpunkt für die Beurteilung der Frage einer anspruchserheblichen Änderung im Sinne von <ref-law> bildet die Verfügung vom 8. Mai 2006.
4. Zu prüfen bleibt somit, ob eine wesentlich Veränderung des Gesundheitszustandes oder eine erhebliche Änderung der erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitsschadens seit der Verfügung vom 8. Mai 2006 eingetreten ist.
4.1 Wie das kantonale Gericht für das Bundesgericht grundsätzlich verbindlich feststellte, diagnostizierten die Gutachter des Medizinischen Zentrums O._ beim Beschwerdeführer mit Auswirkungen auf die Arbeitsfähigkeit am 21. März 2010 im Wesentlichen ein chronisches lumbospondylogenes Syndrom mit pseudoradikulären Ausstrahlungen, eine Impingementsymptomatik der linken Schulter und eine beginnende Rhizarthrose rechts. Dem Beschwerdeführer seien keine ausschliesslich stehenden, gehenden und sitzenden Tätigkeiten und Tätigkeiten mit häufigem Bücken und Aufrichten zumutbar. Wegen der linken Schulter seien keine Arbeiten über Schultergürtelhöhe oder repetitiven Kraftanstrengungen rotatorischer oder elevatorischer Art mehr möglich. Aufgrund der beginnenden Rhizarthrose rechts seien schliesslich stereotype Tätigkeiten im Pinzettengriff ungünstig. In einer entsprechenden behinderungsangepassten Tätigkeit sei der Beschwerdeführer zu 100 % arbeitsfähig. Aus psychiatrischer Sicht könne keine Diagnose gestellt werden. Eine Einschränkung der Arbeitsfähigkeit in diesem Bereich bestehe nicht.
Entscheidend im Gutachten des Medizinischen Zentrums O._ ist, ob diese im Vergleich zu den früheren Gutachten anderslautende Beurteilung der Arbeitsfähigkeit und des Zumutbarkeitsprofils bei der Revision gemäss <ref-law> auf einer Veränderung des Gesundheitszustands seit dem 8. Mai 2006 beruht. Die Gutachter des Medizinischen Zentrums O._ gaben dazu an, das Spital F._ habe dem Beschwerdeführer für die Tätigkeit als Briefsortierer eine Arbeitsfähigkeit von 50 % bescheinigt. Aufgrund des bisherigen Verlaufs sowie aller verfügbarer Daten sei diese Tätigkeit, die allerdings seit anfangs 2005 nicht mehr ausgeführt werde, rein aus rheumatologischer Sicht zu mindestens 50 % zumutbar. Da diese Arbeit ausschliesslich stehend und gehend auszuführen sei, könne sie allerdings nicht als ideal adaptiert bezeichnet werden. Die Schulterproblematik sei erst im Frühling 2009 aufgetreten, und die Rhizarthrose sei erst jetzt festgestellt worden. Das aktuell ermittelte Belastbarkeitsprofil gelte somit ab dem Zeitpunkt der aktuellen Begutachtung.
Eine Verbesserung des Gesundheitszustands seit der Beurteilung durch das Spital F._ ist aus diesen Angaben nicht ersichtlich. Vielmehr wiesen die Gutachter des Medizinischen Zentrums O._ auf den Umstand hin, dass die Ärzte des Spitals F._ lediglich die Arbeitsfähigkeit in der bisher ausgeübten Tätigkeit als Briefsortierer im Innendienst beurteilten, welche nicht ideal adaptiert war und zum Zeitpunkt des damaligen Gutachtens bereits nicht mehr ausgeübt wurde. Eine Verbesserung des Gesundheitszustandes im somatischen Bereich liegt damit jedoch nicht vor. Das Gleiche gilt für die psychiatrische Situation seit der Beurteilung durch Dr. med. S._. Die Gutachter des Medizinischen Zentrums O._ führten dazu aus, die psychiatrische Diagnose einer schwergradigen depressiven Episode ohne psychotische Symptome (ICD-10 F32.2) im psychiatrischen Gutachten von Dr. med. S._ könne nicht nachvollzogen werden. Im psychopathologischen Befund des Gutachtens von Dr. med. S._ hätten sich keine Hinweise auf eine Depression gezeigt. Retrospektiv bestünden aufgrund der vorliegenden Akten und der aktuell erhobenen psychopathologischen Befunde erhebliche Zweifel am früheren Vorliegen einer psychischen Störung mit Krankheitswert.
Entgegen den Ausführungen der Vorinstanz verbesserte sich der Gesundheitszustand des Beschwerdeführers seit der Verfügung vom 8. Mai 2006 somit nicht wesentlich. Gemäss Gutachten des Medizinischen Zentrums O._ vom 21. März 2010 muss im Gegenteil davon ausgegangen werden, dass bereits zum Zeitpunkt der ursprünglichen Rentenzusprache eine volle Arbeitsfähigkeit in einer angepassten Tätigkeit bestand. Die Voraussetzungen einer Rentenrevision gemäss <ref-law> sind damit nicht erfüllt.
5. 5.1 Fehlt es an den Voraussetzungen einer Rentenrevision, so kann die Rentenverfügung allenfalls nach den für die Wiedererwägung rechtskräftiger Verwaltungsverfügungen geltenden Regeln abgeändert werden. Danach ist die Verwaltung befugt, auf eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, zurückzukommen, wenn sich diese als zweifellos unrichtig erweist und ihre Berichtigung von erheblicher Bedeutung ist. Das Gericht kann eine zu Unrecht ergangene Revisionsverfügung gegebenenfalls mit der substituierten Begründung schützen, dass die ursprüngliche Rentenverfügung zweifellos unrichtig und die Berichtigung von erheblicher Bedeutung ist (<ref-ruling> E. 2 S. 369). Eine zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung hat die Rechtsprechung etwa angenommen, wenn bis zum damaligen Verfügungszeitpunkt keine Einschätzung der Leistungsfähigkeit in einer zumutbaren Verweistätigkeit vorlag und der Invaliditätsgrad allein nach Massgabe der Arbeitsfähigkeit festgelegt wurde, bei der erstmaligen Anspruchsprüfung also die Invalidität der Arbeitsunfähigkeit gleichgestellt und damit von einem rechtlich falschen Invaliditätsbegriff ausgegangen wurde, und wenn gestützt auf eine rechtlich korrekte Invaliditätsbemessung ohne Zweifel eine tiefere Rente zugesprochen worden wäre (in <ref-ruling> nicht publizierte E. 5.3 des Urteils 9C_342/2008 vom 20. November 2008; Urteil 8C_846/2010 vom 10. Dezember 2010 E. 1.4 mit Hinweisen).
5.2 Die ursprüngliche Rentenzusprache vom 8. Mai 2006 kann in Bezug auf die rheumatologische begründete Arbeitsunfähigkeit von 50 % durch das Spital F._ als zweifellos unrichtig beurteilt werden, weil dieses lediglich eine Beurteilung der Arbeitsfähigkeit in der angestammten Tätigkeit als Briefsortierer, nicht jedoch in einer Verweistätigkeit abgab. Es wurde von einem falschen Invaliditätsbegriff ausgegangen. Allerdings wurde diese teilweise Einschränkung der Arbeitsfähigkeit bei der Rentenzusprache vom 8. Mai 2006 überlagert durch die psychiatrische Beurteilung im Gutachten von Dr. med. S._. Der psychiatrische Gutachter bescheinigte dem Beschwerdeführer, die schwergradige Depression verunmögliche jeglichen Einsatz als Arbeitnehmer. Andere Tätigkeiten seien ihm nicht zumutbar. Bei dieser Beurteilung sind alle notwendigen Angaben zur Ermittlung des Invaliditätsgrades (insbesondere auch eine Beurteilung der Arbeitsfähigkeit in einer Verweistätigkeit) vorhanden. Soweit sich die Gutachter des Medizinischen Zentrums O._ im Revisionsverfahren mit dem Gutachten von Dr. med. S._ auseinandersetzten, auf den dort fehlenden psychopathologischen Befund verwiesen und die fehlenden Hinweise auf eine Depression erwähnten, ist dies zwar nachvollziehbar. Dies genügt jedoch - worauf auch der Beschwerdeführer in seiner Stellungnahme vom 11. Januar 2012 hinwies - nicht, um von einer zweifellosen Unrichtigkeit der Verfügung vom 8. Mai 2006 auszugehen und diese in Wiederwägung zu ziehen. Es liegt vielmehr eine anderweitige Beurteilung des (damaligen) gleichen Sachverhalts durch die Gutachter des Medizinischen Zentrums O._ vor. Zu berücksichtigen ist, dass bei der Annahme zweifelloser Unrichtigkeit Zurückhaltung geboten ist, wenn der Wiedererwägungsgrund eine materielle Anspruchsvoraussetzung betrifft, deren Beurteilung massgeblich auf Schätzung oder Beweiswürdigung beruht, auf Elementen also, die notwendigerweise Ermessenszüge aufweisen. Erscheint die Beurteilung solcher Anspruchsvoraussetzungen (einschliesslich ihrer Teilaspekte wie etwa die psychopathologische Befunderhebung mit der daraus folgenden Diagnose und Einschätzung der Arbeitsfähigkeit) vor dem Hintergrund der Sach- und Rechtslage, wie sie sich im Zeitpunkt der rechtskräftigen Leisstungszusprechung darbot, als vertretbar, scheidet die Annahme zweifelloser Unrichtigkeit aus (Urteil 9C_1031/2010 vom 30. März 2011 E. 3 mit Hinweisen).
Die zweifellose Unrichtigkeit der Verfügung vom 8. Mai 2006 liegt allerdings in einem anderen Aspekt begründet. Weder Dr. med. S._ in seiner Beurteilung vom 16. Dezember 2005 noch die Beschwerdegegnerin bei ihrer Rentenzusprache am 8. Mai 2006 berücksichtigten, dass der Beschwerdeführer bereits damals politisch aktiv war. Entsprechende Tätigkeiten, insbesondere auch der damit verbundene Aufbau eines Netzwerkes und Wahlkämpfe, stehen im klaren Widerspruch zu einer von Dr. med. S._ bescheinigten schweren depressiven Erkrankung mit Ausschluss einer Arbeitsfähigkeit in sämtlichen Tätigkeiten. Im Revisionsverfahren wiesen sowohl der psychiatrische Teilgutachter des Medizinischen Zentrums O._ als auch der RAD-Arzt Dr. med. V._, Facharzt für Psychiatrie und Psychotherapie, in der Stellungnahme vom 10. August 2008 auf diesen Umstand hin. Letzterer gab an, es sei in den amtlichen Mitteilungen nachzulesen, dass der Beschwerdeführer Mitglied des Grossen Rates des Kantons X._ sei. Als Mitglied des Grossen Rates habe er etwa parlamentarische Vorstösse lanciert. Die entsprechende Fähigkeit zu initiativer Handlung sei nicht mit einer schweren oder mittelschweren depressiven Störung vereinbar.
Der Beschwerdeführer wurde gemäss Protokoll des Grossen Rates des Kantons X._ am 7. Februar 2007, also nach Erlass der Verfügung vom 8. Mai 2006, dessen Mitglied. Er rückte auf diesen Zeitpunkt in den Grossen Rat nach, als ein anderes Parteimitglied zurücktrat. Es kann damit aber nicht von einer Verbesserung des Gesundheitszustandes ausgegangen werden, welche den Beschwerdeführer erst ab diesem Zeitpunkt veranlasst hätte, sich politisch zu betätigen. Der Beschwerdeführer war vielmehr bereits vor dem Erlass der Verfügung vom 8. Mai 2006 politisch aktiv. Bereits im Jahr 1999 kandidierte er für den Verfassungsrat X._, wurde damals jedoch nicht gewählt. Nach eigenen Angaben auf der Homepage seiner Partei wählte man ihn im Jahr 2003 in den Bürgergemeinderat von X._. Im Oktober 2004 nahm er an den Wahlen in den Grossen Rat teil. Er wurde damals knapp nicht gewählt, rückte dann aber 2007 nach. Bei der Erneuerungswahl des Bürgergemeinderats vom Juni 2005 wurde er wiedergewählt. Diese Informationen finden sich auf den Homepages des Grossen Rates, des Regierungsrates, des Bürgergemeinderates und in den entsprechenden Medienmitteilungen des Kantons X._. Es handelt sich um offizielle, öffentliche und allgemein zugängliche Informationen, welche im Zeitpunkt der Verfügung vom 8. Mai 2006 notorisch waren (vgl. Urteil 8C_837/2008 vom 26. Juni 2009 E. 2.4), und deren Kenntnis der Beschwerdegegnerin bereits damals zugerechnet werden muss. Wenn sie diese Informationen bei der Rentenzusprache dennoch nicht berücksichtigte, muss dies als zweifellos unrichtig betrachtet werden. Die Voraussetzungen der substituierten Begründung der Wiedererwägung sind damit erfüllt.
6. Der Beschwerdeführer macht verschiedene Einwände gegen das interdisziplinäre Gutachten des Medizinischen Zentrums O._ vom 21. März 2010 geltend.
6.1 Er kritisiert, die Beschwerdegegnerin habe den Gutachterauftrag zweimal geändert. Diese wollte zunächst das Zentrum für Medizinische Begutachtung A._ Zentrum und das Begutachtungszentrum Y._ mit dem Gutachten beauftragen, bevor sie den Gutachterauftrag schliesslich an das Medizinische Zentrum O._ vergab. Zur Begründung dieses Vorgehens ist der Stellungnahme des RAD vom 10. August 2008 zu entnehmen, dass die Suche nach einem geeigneten Begutachtungsinstitut besonders sorgfältig durchgeführt worden sei und deswegen länger als üblich gedauert habe, um wirklich jede Befangenheit auszuschliessen. Nachdem zunächst das angefragte basel-städtische Institut den Auftrag zurückgegeben habe, um nicht in den Verdacht eines möglichen Einflusses wegen der politischen Tätigkeit des Beschwerdeführers zu gelangen, sei ein basel-landschaftliches angefragt worden. Da aber auch dort einige Gutachter mit eigener Praxis in X._ tätig seien, sei ein Gutachten-Institut ausserhalb der Region gesucht worden.
Diese Begründung der Beschwerdegegnerin erweist sich als plausibel und hinreichend, um ihr Vorgehen zu begründen. Auf den Beweiswert des Gutachtens des Medizinischen Zentrums O._ hat dies keinen Einfluss.
6.2 Zum Einwand des Beschwerdeführers, das Medizinische Zentrum O._ sei wirtschaftlich von den IV-Stellen abhängig, nahm das Bundesgericht in <ref-ruling> bereits umfassend Stellung. Es beurteilte Begutachtungen durch die Medizinischen Abklärungsstellen (MEDAS) grundsätzlich als verfassungs- und EMRK-konform (E. 2.1-2.3). Unter Berücksichtigung der mit diesem Urteil aufgestellten verfahrensrechtlichen Korrektive ist das vorliegend nach altem Verfahrensstandard eingeholte Gutachten des Medizinischen Zentrums O._ gestützt auf die spezifischen Umstände des vorliegenden Falles weiterhin als beweiskräftig zu betrachten (vgl. erwähntes Urteil E. 6).
6.3 Der Beschwerdeführer bringt weiter vor, es könne nicht angehen, dass einem externen Gutachten der MEDAS mehr Gewicht zugemessen werde als den Berichten der behandelnden Ärzte. Hierzu ist anzumerken, dass die unterschiedliche Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-)Arztes einerseits und Begutachtungsauftrag des amtlich bestellten fachmedizinischen Experten andererseits (<ref-ruling> E. 4 S. 175) es nicht zu lässt, ein Administrativ- oder Gerichtsgutachten stets infrage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen oder an solchen vorgängig geäusserten abweichenden Auffassungen festhalten. Vorbehalten bleiben Fälle, in denen sich eine abweichende Beurteilung aufdrängt, weil die behandelnden Ärzte wichtige Aspekte benennen, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind (SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.2.1). Die behandelnden Ärzte Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie, Dr. med. L._, Fachärztin für Innere Medizin, und Dr. med. I._, Facharzt für Innere Medizin, nahmen zum Gutachten des Medizinischen Zentrums O._ vom 21. März 2010 Stellung. Neue, nicht berücksichtigte Aspekte konnten sie allerdings nicht aufzeigen. Die Vorinstanz würdigte diese Stellungnahmen. Es kann hierzu auf die Begründung des kantonalen Gerichts verwiesen werden. Gemäss konstanter Rechtsprechung ist ein psychischer Gesundheitsschaden nach einem wissenschaftlich anerkannten Klassifikationssystem durch psychiatrische Fachärzte zu beurteilen (<ref-ruling> E. 1.2 S. 50 f.; <ref-ruling> E. 2.2.3 S. 353 f.). Der Umstand, dass sich der Beschwerdeführer während des hängigen Verfahrens vor dem kantonalen Gericht vom 27. April bis 23. Juni 2011 in der Klinik H._ in stationärer Behandlung begab und dies im Urteil des kantonalen Gerichts vom 29. Juni 2011 nicht berücksichtigt worden war, ist nicht zu beanstanden. Die Verfügung vom 17. August 2010 bildet den Endzeitpunkt des im vorliegenden Verfahrens relevanten Geschehens (<ref-ruling> E. 1 S. 169). Spätere anspruchserhebliche Änderungen des Sachverhalts wären in weiteren Rentenrevisionsverfahren bzw. mittels Neuanmeldung geltend zu machen. Zu ergänzen ist, dass sich die Gutachter des Medizinischen Zentrums O._ bereits mit dem Austrittsbericht der Klinik H._ vom 18. November 2008 eingehend auseinandersetzten und begründet darlegten, dass die dort gestellte Diagnose nicht nachvollziehbar sei. So sei etwa der Psychostatus im Bericht der Klinik H._ vom 18. November 2008 nicht typisch für eine Depression.
6.4 Der Vorwurf des Beschwerdeführers, wonach die Vorinstanz davon ausgehe, dass die Ärzte der Beschwerdegegnerin immer recht hätten und die behandelnden Ärzte dagegen nicht, trifft somit nicht zu. Die Vorinstanz nahm vielmehr eine Würdigung der verschiedenen Arztberichte und des extern eingeholten interdisziplinären medizinischen Gutachtens vor und kam zum Schluss, auf das Gutachten des Medizinischen Zentrums O._ könne abgestellt werden. Diese Würdigung erweist sich nach dem Dargelegten als rechtskonform. Dem Gutachten des Medizinischen Zentrums O._ kommt Beweiswert zu. Unbestritten ist, gestützt auf die vom Gutachten des Medizinischen Zentrums O._ bescheinigte gesundheitliche Einschränkung, der von der Beschwerdegegnerin ermittelte Invaliditätsgrad von 28 %. Die Einstellung der Invalidenrente ist damit im Ergebnis nicht zu beanstanden. Sie ist mittels der substituierten Begründung der Wiederwägung (vgl. E. 5 hievor) zu schützen.
7. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Rechtsvertretung) kann entsprochen werden, da die entsprechenden Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Silvan Ulrich, Aesch, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Januar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Kathriner