Sachverhalt: Sachverhalt: A. Mit Verfügung vom 17. Januar 2003 lehnte die IV-Stelle Basel-Stadt das Leistungsbegehren des 1960 geborenen L._ vom 28. März 2001 ab, da ein rentenausschliessender Invaliditätsgrad von lediglich 22 % ausgewiesen sei. Sie stützte sich dabei insbesondere auf ein Gutachten des Dr. med. B._ (vom 14. November 2002). Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 2. Juni 2003) A. Mit Verfügung vom 17. Januar 2003 lehnte die IV-Stelle Basel-Stadt das Leistungsbegehren des 1960 geborenen L._ vom 28. März 2001 ab, da ein rentenausschliessender Invaliditätsgrad von lediglich 22 % ausgewiesen sei. Sie stützte sich dabei insbesondere auf ein Gutachten des Dr. med. B._ (vom 14. November 2002). Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 2. Juni 2003) B. Die dagegen erhobene Beschwerde, mit welcher die Zusprechung einer halben Invalidenrente beantragt wurde, wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 17. Dezember 2003 ab. B. Die dagegen erhobene Beschwerde, mit welcher die Zusprechung einer halben Invalidenrente beantragt wurde, wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 17. Dezember 2003 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt L._ die vorinstanzlichen Rechtsbegehren erneuern. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.