Sachverhalt: Sachverhalt: A. A._ (geboren 1967) zog sich am 11. April 1997 bei einem Sturz aus 2 m von einem Gerüst eine Kontusion des linken Hemithorax sowie eine Kniedistorsion rechts zu. In der Folge musste er sich mehreren Knieoperationen unterziehen. Es kamen weitere Leiden hinzu (Läsion am linken Fuss, Lungenaffektion, Hodenzysten, psychische Probleme). Mit Anmeldung vom 8. August 2000 ersuchte A._ die Invalidenversicherung um berufliche Massnahmen sowie eine Rente. Nachdem die IV-Stelle Basel-Stadt verschiedene Arztberichte eingeholt und eine berufliche Abklärung veranlasst hatte, sprach sie ihm mit Verfügung vom 3. September 2003, bestätigt mit Einspracheentscheid vom 28. April 2004, vom 1. September 2000 bis 30. September 2001 sowie vom 1. April 2002 bis 31. Mai 2003 eine ganze Invalidenrente zu; ab 1. Juni 2003 lehnte sie gestützt auf einen Invaliditätsgrad von 27 % einen Rentenanspruch ab. A. A._ (geboren 1967) zog sich am 11. April 1997 bei einem Sturz aus 2 m von einem Gerüst eine Kontusion des linken Hemithorax sowie eine Kniedistorsion rechts zu. In der Folge musste er sich mehreren Knieoperationen unterziehen. Es kamen weitere Leiden hinzu (Läsion am linken Fuss, Lungenaffektion, Hodenzysten, psychische Probleme). Mit Anmeldung vom 8. August 2000 ersuchte A._ die Invalidenversicherung um berufliche Massnahmen sowie eine Rente. Nachdem die IV-Stelle Basel-Stadt verschiedene Arztberichte eingeholt und eine berufliche Abklärung veranlasst hatte, sprach sie ihm mit Verfügung vom 3. September 2003, bestätigt mit Einspracheentscheid vom 28. April 2004, vom 1. September 2000 bis 30. September 2001 sowie vom 1. April 2002 bis 31. Mai 2003 eine ganze Invalidenrente zu; ab 1. Juni 2003 lehnte sie gestützt auf einen Invaliditätsgrad von 27 % einen Rentenanspruch ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. März 2005 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. März 2005 ab. C. A._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es seien die Verfügung vom 3. September 2003 aufzuheben und ihm ab 1. Juni 2003 weiterhin eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.