Sachverhalt:
Mit Verfügung vom 28. Januar 2004 lehnte die IV-Stelle Basel-Stadt das Gesuch des L._ (geb. 1974) um Zusprechung einer IV-Rente ab. Daran hielt sie mit Einspracheentscheid vom 14. April 2005 fest.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 20. April 2006 ab.
L._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine ganze IV-Rente auszurichten. Eventuell sei ein neues Gutachten einzuholen. Zudem ersucht er um unentgeltliche Verbeiständung.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Eidgenössische Versicherungsgericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung beim Eidgenössischen Versicherungsgericht hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 beim Eidgenössischen Versicherungsgericht hängig war, richtet sich dessen Kognition noch nach Art. 132 Abs. 1 OG.
1. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Eidgenössische Versicherungsgericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung beim Eidgenössischen Versicherungsgericht hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 beim Eidgenössischen Versicherungsgericht hängig war, richtet sich dessen Kognition noch nach Art. 132 Abs. 1 OG.
2. Das kantonale Gericht hat die gesetzlichen Vorschriften zu den Begriffen der Invalidität (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) sowie die Rechtsprechung zu Bedeutung (<ref-ruling> Erw. 1c) und Beweiswert ärztlicher Unterlagen (<ref-ruling> Erw. 3a), zu den geistigen Gesundheitsschäden (AHI 2001 S. 227 [Urteil P. vom 31. Januar 2000, I 138/98]) und zur Bedeutung der Drogensucht im Rahmen der Invaliditätsbemessung (AHI 2001 S. 228) richtig dargelegt. Darauf wird verwiesen.
2. Das kantonale Gericht hat die gesetzlichen Vorschriften zu den Begriffen der Invalidität (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) sowie die Rechtsprechung zu Bedeutung (<ref-ruling> Erw. 1c) und Beweiswert ärztlicher Unterlagen (<ref-ruling> Erw. 3a), zu den geistigen Gesundheitsschäden (AHI 2001 S. 227 [Urteil P. vom 31. Januar 2000, I 138/98]) und zur Bedeutung der Drogensucht im Rahmen der Invaliditätsbemessung (AHI 2001 S. 228) richtig dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob der medizinische Sachverhalt rechtsgenüglich abgeklärt ist, und bejahendenfalls, welcher Invaliditätsgrad sich daraus ergibt.
Die Vorinstanz hat das Gutachten des Dr. med. W._, Spezialarzt für Psychiatrie und Psychotherapie FMH, vom 3. Januar 2004 sorgfältig zusammengefasst und richtig gewürdigt. Demnach besteht in einer leichten Tätigkeit eine vollzeitliche Arbeitsfähigkeit mit einer um 30% reduzierten Leistung. Dagegen vermag der Bericht des PD Dr. med. O._, Ärztlicher Leiter der Arztpraxis X._, vom 6. September 2005 nicht aufzukommen. Einerseits erging dieser Bericht nach dem Datum des Einspracheentscheides vom 14. April 2005, welches die zeitliche Grenze der richterlichen Überprüfungsbefugnis bildet (<ref-ruling> Erw. 1). Anderseits hat sich die Vorinstanz mit diesem Beleg eingehend auseinandergesetzt und richtig erwogen, weshalb ihm nicht gefolgt werden kann. Darauf wird verwiesen. Weiterer Abklärungen bedarf es nicht.
Die Vorinstanz hat das Gutachten des Dr. med. W._, Spezialarzt für Psychiatrie und Psychotherapie FMH, vom 3. Januar 2004 sorgfältig zusammengefasst und richtig gewürdigt. Demnach besteht in einer leichten Tätigkeit eine vollzeitliche Arbeitsfähigkeit mit einer um 30% reduzierten Leistung. Dagegen vermag der Bericht des PD Dr. med. O._, Ärztlicher Leiter der Arztpraxis X._, vom 6. September 2005 nicht aufzukommen. Einerseits erging dieser Bericht nach dem Datum des Einspracheentscheides vom 14. April 2005, welches die zeitliche Grenze der richterlichen Überprüfungsbefugnis bildet (<ref-ruling> Erw. 1). Anderseits hat sich die Vorinstanz mit diesem Beleg eingehend auseinandergesetzt und richtig erwogen, weshalb ihm nicht gefolgt werden kann. Darauf wird verwiesen. Weiterer Abklärungen bedarf es nicht.
4. Das Verfahren ist kostenlos (Art. 134 OG in der bis Ende Juni 2006 gültig gewesenen Fassung). Die unentgeltliche Verbeiständung kann wegen Aussichtslosigkeit (dazu <ref-ruling> Erw. 2.3.1) nicht gewährt werden.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 31. Oktober 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber:
i.V.