Sachverhalt:
Sachverhalt:
A. A._ (geboren 1967) zog sich am 11. April 1997 bei einem Sturz aus 2 m von einem Gerüst eine Kontusion des linken Hemithorax sowie eine Kniedistorsion rechts zu. In der Folge musste er sich mehreren Knieoperationen unterziehen. Es kamen weitere Leiden hinzu (Läsion am linken Fuss, Lungenaffektion, Hodenzysten, psychische Probleme). Mit Anmeldung vom 8. August 2000 ersuchte A._ die Invalidenversicherung um berufliche Massnahmen sowie eine Rente. Nachdem die IV-Stelle Basel-Stadt verschiedene Arztberichte eingeholt und eine berufliche Abklärung veranlasst hatte, sprach sie ihm mit Verfügung vom 3. September 2003, bestätigt mit Einspracheentscheid vom 28. April 2004, vom 1. September 2000 bis 30. September 2001 sowie vom 1. April 2002 bis 31. Mai 2003 eine ganze Invalidenrente zu; ab 1. Juni 2003 lehnte sie gestützt auf einen Invaliditätsgrad von 27 % einen Rentenanspruch ab.
A. A._ (geboren 1967) zog sich am 11. April 1997 bei einem Sturz aus 2 m von einem Gerüst eine Kontusion des linken Hemithorax sowie eine Kniedistorsion rechts zu. In der Folge musste er sich mehreren Knieoperationen unterziehen. Es kamen weitere Leiden hinzu (Läsion am linken Fuss, Lungenaffektion, Hodenzysten, psychische Probleme). Mit Anmeldung vom 8. August 2000 ersuchte A._ die Invalidenversicherung um berufliche Massnahmen sowie eine Rente. Nachdem die IV-Stelle Basel-Stadt verschiedene Arztberichte eingeholt und eine berufliche Abklärung veranlasst hatte, sprach sie ihm mit Verfügung vom 3. September 2003, bestätigt mit Einspracheentscheid vom 28. April 2004, vom 1. September 2000 bis 30. September 2001 sowie vom 1. April 2002 bis 31. Mai 2003 eine ganze Invalidenrente zu; ab 1. Juni 2003 lehnte sie gestützt auf einen Invaliditätsgrad von 27 % einen Rentenanspruch ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. März 2005 ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. März 2005 ab.
C. A._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es seien die Verfügung vom 3. September 2003 aufzuheben und ihm ab 1. Juni 2003 weiterhin eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Vorinstanz hat die Bestimmungen und Grundsätze über den zeitlich massgebenden Sachverhalt und das darauf anwendbare Recht (<ref-ruling> mit Hinweisen), den Begriff der Invalidität (<ref-law>; <ref-law>), den Anspruch auf eine Rente der Invalidenversicherung (<ref-law> in der bis 31. Dezember 2003 geltenden Fassung bzw. in der seit 1. Januar 2004 in Kraft stehenden Fassung) und die Bemessung der Invalidität bei Vollzeiterwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> in der bis 31. Dezember 2002 geltenden Fassung bzw. <ref-law>; <ref-ruling> mit Hinweisen) zutreffend dargelegt. Dasselbe gilt für die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> Erw. 4 mit Hinweisen) und den Anforderungen an einen ärztlichen Bericht (<ref-ruling> Erw. 3a mit Hinweis). Darauf wird verwiesen.
1. Die Vorinstanz hat die Bestimmungen und Grundsätze über den zeitlich massgebenden Sachverhalt und das darauf anwendbare Recht (<ref-ruling> mit Hinweisen), den Begriff der Invalidität (<ref-law>; <ref-law>), den Anspruch auf eine Rente der Invalidenversicherung (<ref-law> in der bis 31. Dezember 2003 geltenden Fassung bzw. in der seit 1. Januar 2004 in Kraft stehenden Fassung) und die Bemessung der Invalidität bei Vollzeiterwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> in der bis 31. Dezember 2002 geltenden Fassung bzw. <ref-law>; <ref-ruling> mit Hinweisen) zutreffend dargelegt. Dasselbe gilt für die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> Erw. 4 mit Hinweisen) und den Anforderungen an einen ärztlichen Bericht (<ref-ruling> Erw. 3a mit Hinweis). Darauf wird verwiesen.
2. Ein Auszug der neueren ärztlichen Berichte aus den umfangreichen medizinischen Akten ergibt folgendes Bild:
2.1 Der Kreisarzt stellt am 25. Oktober 2000 eine sicherlich dauernde Beeinträchtigung der Belastbarkeit des rechten Knies, welche eine weitere Tätigkeit als Bauarbeiter ausschliesse, sowie die Notwendigkeit beruflicher Massnahmen im Sinne einer Berufserprobung und Umschulung fest. Abschliessend attestiert er eine medizinisch-theoretische Arbeitsfähigkeit von 50 %. Im kreisärztlichem Bericht vom 30. Juli 2002 wird ein ergussfreies rechtes Kniegelenk mit einer ordentlich guten Bandstabilität, einer Druckdolenz des medialen Kniegelenkspaltes sowie einer retropatellären Schmerzsymptomatik festgehalten. Gesamthaft betrachtet habe sich der Zustand am Kniegelenk gegenüber der letzten kreisärztlichen Untersuchung nicht verändert. Auf Grund der festgestellten Unfallrestfolgen am rechten Kniegelenk seien zukünftig leichte bis knapp mittelschwere, wechselbelastende Tätigkeiten zumutbar, wobei die stehenden und gehenden Intervalle eine Stunde nicht übersteigen sollten; in Frage kämen Kontroll- und Überwachungsfunktionen, leichte industrielle Produktions- oder Montagetätigkeiten sowie Tätigkeiten in einem Kleinteilersatzteillager, Portierdienste, vorwiegend sitzend ausgeführte feinmechanische oder leichte handwerkliche Tätigkeiten. Für all diese Arbeiten sei ein ganztägiger Einsatz zumutbar. Nicht mehr zumutbar seien rein stehende oder gehende Tätigkeiten sowie das repetitive Besteigen von Leitern. Anlässlich der Untersuchung vom 17. Dezember 2003 hält der Kreisarzt an der Diagnose und der Beurteilung der Arbeitsfähigkeit vom 30. Juli 2002 fest.
Im Austrittsbericht der Klinik B._ vom 6. Februar 2001 wird eine beginnende Gonarthrose rechts, gelegentlich intermittierende, belastungs- und atemunabhängige stechende Schmerzen links dorsal im Thorax sowie ein wechselnd auftretend depressives Zustandsbild mit Stresssymptomen bei psychosozial belastender Situation ohne negative Auswirkungen auf die Motivation zur Rehabilitation und Eingliederung diagnostiziert. Die während des stationären Aufenthalts vom 13. Dezember 2000 bis 24. Januar 2001 durchgeführte berufliche Abklärung ergibt eine grosse Motivation des Versicherten und die Empfehlung einer dreimonatigen Abklärung in einer Institution; aus ärztlicher Sicht könne die Wiederaufnahme der angestammten Tätigkeit nicht mehr zugemutet werden, doch bestehe im Rahmen beruflicher Massnahmen eine ganztägige Arbeitsfähigkeit für leichte bis mittelschwere, vorwiegend sitzende Tätigkeiten mit seltenem Treppensteigen und kurzen Gehstrecken.
Die berufliche Abklärung im Spital L._ ergibt einen sehr motivierten Eindruck des Versicherten. Allerdings habe er viele Absenzen verzeichnet (von 7. Januar bis 28. März 2002 20 volle und sechs halbe Arbeitstage). Er sei trotz grossem Einsatz körperlich und psychisch zu wenig belastbar für eine Tätigkeit in der freien Wirtschaft. Der Gesundheitszustand habe sich merklich verschlechtert; von grosser Bedeutung seien die laufenden Abklärungen bezüglich der Lunge. Wegen der eingeschränkten Einsatzmöglichkeiten könne er in der freien Wirtschaft nur eine Leistung von 20 bis 25 % erbringen. Die momentane Leistungsfähigkeit reiche auch nicht für einen geschützten Arbeitsplatz in der mechanischen Werkstatt aus. Eine Anstellung in geschütztem Rahmen sei zu empfehlen.
Dr. med. R._, Facharzt für orthopädische Chirurgie, hält am 30. Oktober 2000 eine beginnende Gonarthrose des rechten Knies bei Status nach mehreren arthroskopischen Eingriffen fest. Der Gesundheitszustand sei besserungsfähig. Nachdem auch der letzte arthroskopische Eingriff im März 2000 trotz fehlendem spezifischem Befund einen schleppenden Verlauf ergeben habe, sei ab 22. August 2000 eine Arbeitsunfähigkeit von 50 % attestiert worden. Da eine volle Arbeitsfähigkeit auf dem Bau nicht mehr erreicht werden dürfte, sei ein Eingliederungsversuch gerechtfertigt. Abschliessend hält Dr. med. R._ sowohl im angestammten Beruf wie auch in einer alternativen Tätigkeit ein halbtägiges Arbeitspensum für möglich. Am 14. Oktober 2002 beurteilt Dr. med. R._ sämtliche körperlich leichten Tätigkeiten, bei denen keine Vorbildung notwendig sei, in wechselnder Stellung (Sitzen, Stehen und Gehen) und ohne Heben und Tragen von Lasten über 5 kg durchgeführt werden könnten, als zumutbar. In Frage kämen ganztägig leichte Montagearbeiten in einer Fabrik, Kontrolltätigkeiten, Verteilen von Post u.ä. Es sei mit einer Reduktion der Leistungsfähigkeit zu rechnen, da der Versicherte wahrscheinlich häufig Pausen benötige. Zudem brauche er wahrscheinlich dauernde psychologische Betreuung. Auf Nachfrage hin präzisiert Dr. med. R._ die Einschränkung der Leistungsfähigkeit auf 25 %; der Umfang hänge von der konkreten Arbeit ab (Schreiben vom 18. November 2002).
Frau Dr. med. K._, Fachärztin für Allgemeine Medizin, diagnostiziert am 8. Mai 2002 eine traumatische Knieverletzung rechts 1997 bei Status nach rezidivierenden Arthroskopien mit chronischer Synovitis, Chondromalazie an verschiedenen Orten im rechten Knie, Lateralisation der Patella, Status nach Teilmeniscectomie und rezidivierenden Blockaden im rechten Knie, bilaterale Rundherde pulmonal unklarer Ätiologie sowie depressiver Entwicklung in Zusammenhang mit den vorgenannten Leiden. Der Versicherte leide seit September 2001 an zunehmender Verschlechterung des Allgemeinzustandes bei psychischer und körperlicher Dekompensation mit Fieberschüben, Nachtschweiss, Schlafstörungen, schweren depressiven Episoden sowie rezidivierenden starken Knieschmerzen rechts. Berufliche Massnahmen seien gescheitert. Eine Anstellung in geschütztem Rahmen sei empfehlenswert. In ihrem Bericht vom 9. April 2003 fügt sie den zuvor erwähnten Diagnosen noch jene des Status nach infiziertem Atherom am Skrotum rechts mit beginnender Faszitis bei Atheromexzision, Skrotalrevison und ausgedehnter Skrotalhautspaltung am 27. Juni 2002 und erhöhter Infektanfälligkeit sowie jene der rezidivierenden Infekte, aktuell Abszesshöhle und umgebendes Ödem bis an die Faszie reichend im subcutanen Fettgewebe über dem Grundgelenk des ersten Strahles am rechten Fuss, an. Der Versicherte sei dauernd voll arbeitsunfähig. Sowohl berufliche Massnahmen wie auch eine Anstellung in geschütztem Rahmen seien auf Grund der schlechten körperlichen und psychischen Situation gescheitert, obwohl er sehr motiviert gewesen wäre.
Am 24. Juni 2002 erstattet Dr. med. S._, Facharzt für Psychiatrie und Psychotherapie, ein Gutachten, und diagnostiziert eine mittelgradig depressive Episode (ICD-10: F32.1), welche keinen Einfluss auf die Arbeitsfähigkeit habe. Im Rahmen seiner Schmerzen, die alle nachvollziehbar seien und nicht wie bei somatischen Schmerzstörungen üblich "wild wuchern" würden, habe der Versicherte eine depressive Störung entwickelt. Trotz Depression und sozialem Rückzug sei es nicht zu einer Symptomausweitung gekommen, sondern es gelinge ihm, seinen Zustand an den Knieschmerzen festzumachen. Die Verzweiflung und bestehende Motivation wiesen deutlich darauf hin, dass er keinen sekundären Krankheitsgewinn beziehe. Es gebe kaum Hinweise, dass die Depression die Schmerzen exazerbieren lasse, und es sei bis dato nicht zu einer Autonomisierung der Schmerzen gekommen. Es liege ein klarer Vektor zwischen primären körperlichen Schmerzen und sekundärer psychischer Störung vor, und es sei davon auszugehen, dass er ohne Schmerzen voll arbeitsfähig wäre.
Am 15. August 2002 diagnostiziert die pneumologische Abteilung des Spitals E._ bilaterale kleine Rundherde pulmonal beidseits, eine spiroergometrisch mittelschwer eingeschränkte körperliche Leistungsfähigkeit, eine chronische Bronchitis sowie den Status nach Knieverletzung rechts und Rippenkontusion. Der Gesundheitszustand sei besserungsfähig, und es seien berufliche Massnahmen sowie eine ergänzende medizinische Abklärung angezeigt. Die Ergebnisse der Echokardiographie und des Positronen-Emissions-Tomogramms seien unauffällig; ein Chemogramm, ein grosses Blutbild, eine Blutsenkung sowie die Schilddrüsenhormone lägen im Normbereich. Die multiplen kleinen Lungenrundherde seien am ehesten Talggranulome bei früherem intravenösem Drogenabusus, was jedoch lediglich eine Hypothese sei und die angegebenen Beschwerden nicht befriedigend erkläre. Schwere körperliche Arbeit sei zur Zeit nicht möglich; in einer körperlich wenig anstrengenden Tätigkeit sei er aber voll arbeitsfähig.
Die orthopädische Abteilung des Spitals C._ hält in ihrem Bericht vom 10. Juni 2003 ein chronisches Schmerzsyndrom am rechten Knie bei Status nach Kniedistorsion 1997 mit konsekutiv insgesamt acht Kniearthroskopien rechts mit lateraler und medialer Teilmeniscectomie, stationärem Rehabilitationsversuch in der Klinik B._ und persistierender Schmerzsymptomatik, zwei freien Gelenkkörpern im hinteren Recessus und fraglicher kleiner Hinterhornläsion des Innenmeniskus im MRI fest. Eine arthroskopische oder allenfalls offene Entfernung der Gelenkkörper sei indiziert, da diese aktuell das einzige fassbare pathologische Korrelat der Beschwerden sein könnten. Bei belasteter Extension des Kniegelenks könne es zu einem Einklemmen sowie Schnapp-Phänomen der beiden freien Gelenkkörper kommen.
Die orthopädisch-traumatologische Abteilung des Spital E._ diagnostiziert am 25. August 2003 eine leichte Gonarthrose am rechten Knie mit geringgradiger Fehlstellung in Valgusposition bei Status nach zahlreichen operativen Eingriffen seit einem Sturz vom Gerüst und empfiehlt eine Aussenranderhöhung des rechten Schuhs um 0.5 cm zur Evaluation einer eventuellen TVO. Am 13. Oktober 2003 hält sie ein chronisches Schmerzsyndrom im rechten Knie bei Status nach multiplen Voroperationen und Revisionseingriffen, einen freien Gelenkkörper im hinteren Recessus sowie einen fraglichen kleinen Hinterhorneinriss am Innenmeniskus fest. Der Versicherte berichte glaubhaft über Beschwerden im Bereich des rechten Kniegelenks. Ein Schnapp-Phänomen erwähne er nicht; eher sei die immer wieder auftretende relative Instabilität nach antero-medial ein Problem. Ein erneuter Eingriff bringe keine Beschwerdeverbesserung.
2.2 Wie sich aus den erwähnten Berichten ergibt, liegen beim Versicherte verschiedenste Leiden vor. Die einzelnen Experten beurteilten die zumutbare Arbeitsfähigkeit vornehmlich unter Berücksichtigung der in ihr Fachgebiet fallenden Beschwerden (vgl. etwa Bericht der pneumologischen Abteilung des Spitals E._ vom 15. August 2002 oder die Beurteilung durch Dr. med. R._). Die Hausärztin attestiert im Gegensatz zu den übrigen Ärzten volle Arbeitsunfähigkeit auf Grund der Gesamtheit seiner Beschwerden. Da das Gericht der Erfahrungstatsache Rechnung tragen soll, wonach Hausärzte mitunter gestützt auf ihre Vertrauensstellung im Zweifel zu Gunsten ihrer Patienten aussagen (<ref-ruling> Erw. 3b/cc mit Hinweisen), kann nicht unbesehen auf die Berichte von Frau Dr. med. K._ abgestellt werden. Es kann aber auch nicht die Invaliditätsbemessung der Unfallversicherung übernommen werden, weil der Versicherte an einer Vielzahl von Beschwerden leidet, die nicht unfallkausal sind und deshalb die Erwerbsfähigkeit im Rahmen der Invalidenversicherung beeinflussen können. In diesem Zusammenhang sind einerseits die Berichte der Hausärztin sowie die Ergebnisse der beruflichen Abklärung im Spital L._ zu erwähnen; andererseits ist festzuhalten, dass bei einigen Leiden - abgesehen von der Einschätzung durch die Hausärztin - keine Beurteilung der Arbeitsfähigkeit erfolgt ist (z.B. erhöhte Infektanfälligkeit, Fieberschübe, Fussläsion, Hodenzysten). Angesichts der diversen, die verschiedensten Körperteile sowie die Psyche betreffenden Leiden mit unterschiedlicher oder unklarer Ätiologie drängt sich somit eine interdisziplinäre Begutachtung auf. Die Experten werden hierbei ein eventuelles Zusammenspiel der Leiden sowie dessen Auswirkung auf die Arbeitsfähigkeit zu untersuchen haben.
Abschliessend bliebt festzuhalten, dass die Aufhebung der Rente vom 1. Oktober 2001 bis 31. März 2002 zu Recht nicht beanstandet wird. Allerdings ist darauf hinzuweisen, dass dies entgegen der Darstellung der IV-Stelle in der Begründung ihrer Verfügung vom 3. September 2003 und im Einspracheentscheid vom 28. April 2004 nicht infolge voller Arbeitsfähigkeit und damit gestützt auf <ref-law> erfolgt; vielmehr befand sich der Versicherte in dieser Zeit in einem praktischen Arbeitsversuch im Rahmen beruflicher Massnahmen der Invalidenversicherung, sodass er Anspruch auf Taggelder der Invalidenversicherung anstelle einer IV-Rente und Taggeldern der Unfallversicherung hatte (<ref-law> in Verbindung mit <ref-law> und <ref-law>; vgl. auch Abrechnung zur Verfügung vom 3. September 2003).
Abschliessend bliebt festzuhalten, dass die Aufhebung der Rente vom 1. Oktober 2001 bis 31. März 2002 zu Recht nicht beanstandet wird. Allerdings ist darauf hinzuweisen, dass dies entgegen der Darstellung der IV-Stelle in der Begründung ihrer Verfügung vom 3. September 2003 und im Einspracheentscheid vom 28. April 2004 nicht infolge voller Arbeitsfähigkeit und damit gestützt auf <ref-law> erfolgt; vielmehr befand sich der Versicherte in dieser Zeit in einem praktischen Arbeitsversuch im Rahmen beruflicher Massnahmen der Invalidenversicherung, sodass er Anspruch auf Taggelder der Invalidenversicherung anstelle einer IV-Rente und Taggeldern der Unfallversicherung hatte (<ref-law> in Verbindung mit <ref-law> und <ref-law>; vgl. auch Abrechnung zur Verfügung vom 3. September 2003).
3. Im vorliegenden Verfahren geht es um die Bewilligung oder Verweigerung von Versicherungsleistungen, weshalb von der Auferlegung von Gerichtskosten abzusehen ist (Art. 134 OG). Dem Prozessausgang entsprechend ist dem Beschwerdeführer eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Rechtspflege, einschliesslich der unentgeltlichen Verbeiständung, erweist sich damit als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 17. März 2005 und der Einspracheentscheid der IV-Stelle Basel-Stadt vom 28. April 2004 aufgehoben und die Sache wird an die IV-Stelle Basel-Stadt zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf eine Invalidenrente neu verfüge.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 17. März 2005 und der Einspracheentscheid der IV-Stelle Basel-Stadt vom 28. April 2004 aufgehoben und die Sache wird an die IV-Stelle Basel-Stadt zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf eine Invalidenrente neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle Basel-Stadt hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle Basel-Stadt hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Sozialversicherungsgericht Basel-Stadt wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Sozialversicherungsgericht Basel-Stadt wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Ausgleichskasse des Basler Volkswirtschaftsbundes und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. Dezember 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Vorsitzende der III. Kammer: Die Gerichtsschreiberin: