Sachverhalt:
A. A.a Der 1963 geborene E._ war bei verschiedenen Arbeitgebern im Baugewerbe tätig. Am 28. September 2002 verdrehte er sich beim Tragen eines Kühlschranks das rechte Knie und meldete sich am 26. März 2004 wegen Kniebeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Basel-Stadt klärte den Sachverhalt ab und sprach ihm mit Verfügung vom 8. Mai 2007 ab 1. April 2005 eine halbe Rente bei einem Invaliditätsgrad von 50 % und ab 1. Februar 2006 eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 100 % zu.
Nach Durchführung eines Revisionsverfahrens hielt die IV-Stelle in der Mitteilung vom 19. November 2007 fest, die Überprüfung des Invaliditätsgrades habe keine Änderung ergeben.
A.b Nach Einleitung eines weiteren Revisionsverfahrens im Januar 2009 und der Einholung eines interdisziplinären medizinischen Gutachtens beim Institut Y._, am 16. Dezember 2009 stellte die IV-Stelle im Vorbescheid vom 29. Januar 2010 die Einstellung der Invalidenrente bei einem Invaliditätsgrad von noch 10 % in Aussicht. Mit Verfügung vom 18. Mai 2010 entschied sie im Sinne ihres Vorbescheides und bestätigte die Einstellung der Rente.
B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 4. Januar 2011 ab.
C. Mit Beschwerde lässt E._ die Aufhebung des vorinstanzlichen Entscheides und die weitere Ausrichtung der Invalidenrente ab 1. Juni 2010 beantragen. Eventualiter sei die Angelegenheit zur weiteren Abklärung und zur neuen Entscheidung an die Vorinstanz oder an die IV-Stelle zurückzuweisen. Ferner wird um unentgeltliche Prozessführung und Verbeiständung ersucht.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Im angefochtenen Entscheid werden die Grundsätze zur Rentenrevision (<ref-law>) sowie zum Beweiswert ärztlicher Berichte (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie eine Verbesserung des Gesundheitsschadens annahm und neu einen rentenbegründenden Invaliditätsgrad verneinte.
3.1 Der ursprünglichen Rentenbeurteilung lagen folgende medizinischen Beurteilungen zugrunde: Nach mehreren arthroskopischen Eingriffen am rechten Knie berichtete Dr. med. B._ im rheumatologischen Gutachten vom 9. Mai 2006 zunächst über einen komplikationslosen Verlauf und stellte ab Juni 2006 eine Arbeitsfähigkeit von 50 % und ab August 2006 eine volle Arbeitsfähigkeit in Aussicht. Dr. med. S._ vom Regionalen Ärztlichen Dienst (RAD) hielt bei seiner Abklärung vom 27. September 2006 allerdings fest, eine Schraube sei gelockert und es habe noch kein Durchbau des Osteotomiespaltes stattgefunden. Er überwies den Beschwerdeführer zur weiteren Abklärung an Prof. Dr. med. D._. Dieser kam am 1. November 2006 zum Schluss, in der Zwischenzeit sei es zum Bruch der gelockerten Schraube mit konsekutivem Nachsinken der Osteotomie gekommen. Wenn die Osteotomie ossär durchgebaut sei, müsste eine Teilarbeitsfähigkeit erreicht werden können. Sollte es nicht zu einer Knochenheilung kommen, werde es leider eine aufwendige Pseudarthrosebehandlung. Gestützt auf diese medizinischen Grundlagen sprach die Beschwerdegegnerin dem Beschwerdeführer ab April 2005 eine halbe und ab Februar 2006 eine ganze Rente zu.
3.2 Im Rahmen eines ersten Revisionsverfahren gab Dr. med. O._ im Bericht vom 2. November 2007 an, der klinische Befund, wie auch der psychische und physische Allgemeinzustand des Beschwerdeführers hätten sich scheinbar verschlechtert. Neu seien auch Knieschmerzen links aufgetreten.
3.3 Im Rahmen des vorliegenden Revisionsverfahrens kam das interdisziplinäre Gutachten des Institut Y._ vom 16. Dezember 2009 zum Schluss, die Befunde am rechten Kniegelenk hätten sich gegenüber den im November 2007 im Universitätsspital X._ erhobenen Befunde verbessert. Der ossäre Durchbau scheine aufgrund der Röntgenbilder abgeschlossen. Die rechtsseitige Tibiaosteotomie sei konsolidiert und die Pseudarthrose könne durch die jüngste radiologische Kontrolle nicht mehr bestätigt werden. Die angegebenen recht diffusen Beschwerden im Bereich der Knie- und Sprunggelenke liessen sich durch die objektivierbaren Befunde und die vorliegenden Bilddokumente keinesfalls vollständig begründen. Die Situation habe sich aus orthopädischer Sicht seit der postoperativen Rentenzusprache deutlich verbessert. Die deutlichen Hinweise auf eine nichtorganische Komponente der Beschwerden sei in der psychiatrischen Untersuchung als Schmerzverarbeitungsstörung diagnostiziert worden. Eine Komorbidität mit einer manifesten Depression sei jedoch nicht festgestellt worden. Die etwas depressive Stimmungslage werde der Schmerzverarbeitungsstörung mit algogener Verstimmung zugeordnet. Aus psychiatrischer Sicht ergebe sich daraus keine Einschränkung der Arbeitsfähigkeit für eine körperlich leichte bis mittelschwere Tätigkeit. Arbeiten auf dem Bau in vorwiegend stehender und gehender Position auf unebenem Gelände seien aus orthopädischer Sicht nicht mehr zumutbar. Insgesamt bestehe jedoch für eine körperlich angepasste, leichte bis intermittierend mittelschwere, wechselbelastende Tätigkeit eine Arbeits- und Leistungsfähigkeit von 100 %.
Die Vorinstanz kam in Würdigung dieses Gutachtens zum Schluss, es sei umfassend sowie inhaltlich begründet und schlüssig. Dies ist nicht zu beanstanden.
3.4 In der Beschwerde an das Bundesgericht wird nichts vorgebracht, was die tatsächlichen Feststellungen der Vorinstanz als offensichtlich unrichtig oder die von ihr daraus gezogenen Schlussfolgerungen als bundesrechtswidrig erscheinen liesse. Namentlich unbehelflich ist der Einwand, der behandelnde Arzt Dr. med. Z._, Facharzt für Physikalische Medizin und Rehabilitation, habe in seinem Arztbericht vom 11. Mai 2009 eine Pseudarthrose und weitere Diagnosen gestellt sowie eine Arbeitsunfähigkeit von 100 % bescheinigt. Entgegen der Auffassung des Beschwerdeführers handelte es sich hierbei nicht um ein medizinisches Gutachten, sondern um eine kurze Stellungnahme des behandelnden Arztes auf dem Formular der Beschwerdegegnerin. Die Gutachter des Instituts Y._ legten in ihrer interdisziplinären Beurteilung ausdrücklich dar, weshalb nicht an dieser Stellungnahme des behandelnden Arztes festgehalten werden könne. Sie verwiesen auf die fehlenden Hinweise für eine Instabilität oder relevante Bewegungseinschränkung im Kniebereich, auf die zahlreichen Inkonsistenzen bei der Untersuchung, die fehlenden Zeichen einer längerdauernden Schonung des rechten Beines und verschiedene anamnestische Angaben, wie den Umstand, dass der Beschwerdeführer zweimal täglich jeweils eine Dreiviertelstunde Spaziergänge absolviere oder mit dem Auto von Basel nach Zürich und zusammen mit der Ehefrau bis nach Montenegro fahre. Das Institut Gutachten des Instituts Y._ stützte sich - im Gegensatz zur Annahme des Beschwerdeführers - nicht auf die gleichen radiologischen Befunde wie Dr. med. Z._ bei seiner Beurteilung im Mai 2009, sondern auf später durchgeführte Röntgenaufnahmen vom 21. Oktober 2009, auf welchen der ossäre Durchbau inzwischen als abgeschlossen schien. In einer 3-Phasenskelettszintigraphie und einer Computertomographie vom 28. Januar 2010 am Universitätsspital X._ wurde diese knöcherne Konsolidierung bestätigt. Der Umstand, dass sich noch eine abgebrochene Schraubenspitze im Bereich des rechten Kniegelenks befindet, wurde weder von den behandelnden Ärzten am Universitätsspital X._ noch von den Gutachtern des Instituts Y._ als relevante Einschränkung oder als Ursache für die geklagten Beschwerden gewertet. Die fehlenden Hinweise einer muskulären Schonung des rechten Beines bestätigen die lediglich geringgradigen degenerativen Befunde in den Kniegelenken. Wenn im Gutachten des Instituts Y._ teilweise die gleichen medizinischen Diagnosen gestellt werden wie in den früheren ärztlichen Beurteilungen, welche der ursprünglichen Rentenzusprache zugrunde lagen, so kann daraus nicht geschlossen werden, es bestehe weiterhin ein Rentenanspruch. Für eine Rentenzusprache ist nicht die medizinische Diagnose entscheidend, sondern deren Auswirkungen auf die Arbeitsfähigkeit. Ein und dieselbe medizinische Diagnose kann Auswirkungen auf die Arbeitsfähigkeit haben oder auch nicht. Eine einmal eingetretene medizinisch bedingte Einschränkung der Arbeitsfähigkeit kann sich wieder verbessern. Gerade vorliegend beruhte die ursprüngliche Rentenzusprache auf einem erst vorläufigen medizinischen Befund, welcher sich inzwischen wieder verbesserte, wie die Gutachter des Instituts Y._ begründet aufgezeigt haben. Medizinische Stellungnahmen, welche Bezug nehmen auf die schlüssige Beurteilung des Gutachtens und diesem widersprechen, liegen keine vor. Der zutreffenden Beweiswürdigung im angefochtenen Entscheid kann somit vollumfänglich beigepflichtet werden. Nicht weiter umstritten ist der, ausgehend von der Arbeitsfähigkeitsbeurteilung des Gutachtens des Instituts Y._, durch die Beschwerdegegnerin in der Folge ermittelte Invaliditätsgrad von 10 %. Die Beschwerde ist daher abzuweisen.
4. Die Beschwerde ist offensichtlich unbegründet, weshalb sie im Verfahren nach <ref-law>, insbesondere ohne Durchführung eines Schriftenwechsels und mit summarischer Begründung, erledigt wird.
5. Das Verfahren ist kostenpflichtig. Das Gesuch um unentgeltliche Rechtspflege wird infolge Aussichtslosigkeit abgewiesen (<ref-law>). Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, der Basler Versicherungen Leistungscenter BVG, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Juni 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner