Sachverhalt: A. A.a Der 1963 geborene E._ war bei verschiedenen Arbeitgebern im Baugewerbe tätig. Am 28. September 2002 verdrehte er sich beim Tragen eines Kühlschranks das rechte Knie und meldete sich am 26. März 2004 wegen Kniebeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Basel-Stadt klärte den Sachverhalt ab und sprach ihm mit Verfügung vom 8. Mai 2007 ab 1. April 2005 eine halbe Rente bei einem Invaliditätsgrad von 50 % und ab 1. Februar 2006 eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 100 % zu. Nach Durchführung eines Revisionsverfahrens hielt die IV-Stelle in der Mitteilung vom 19. November 2007 fest, die Überprüfung des Invaliditätsgrades habe keine Änderung ergeben. A.b Nach Einleitung eines weiteren Revisionsverfahrens im Januar 2009 und der Einholung eines interdisziplinären medizinischen Gutachtens beim Institut Y._, am 16. Dezember 2009 stellte die IV-Stelle im Vorbescheid vom 29. Januar 2010 die Einstellung der Invalidenrente bei einem Invaliditätsgrad von noch 10 % in Aussicht. Mit Verfügung vom 18. Mai 2010 entschied sie im Sinne ihres Vorbescheides und bestätigte die Einstellung der Rente. B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 4. Januar 2011 ab. C. Mit Beschwerde lässt E._ die Aufhebung des vorinstanzlichen Entscheides und die weitere Ausrichtung der Invalidenrente ab 1. Juni 2010 beantragen. Eventualiter sei die Angelegenheit zur weiteren Abklärung und zur neuen Entscheidung an die Vorinstanz oder an die IV-Stelle zurückzuweisen. Ferner wird um unentgeltliche Prozessführung und Verbeiständung ersucht.