Sachverhalt: Mit Verfügung vom 28. Januar 2004 lehnte die IV-Stelle Basel-Stadt das Gesuch des L._ (geb. 1974) um Zusprechung einer IV-Rente ab. Daran hielt sie mit Einspracheentscheid vom 14. April 2005 fest. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 20. April 2006 ab. L._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine ganze IV-Rente auszurichten. Eventuell sei ein neues Gutachten einzuholen. Zudem ersucht er um unentgeltliche Verbeiständung. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.