Sachverhalt: Sachverhalt: A. B._, geboren 1962, arbeitete nach diversen Temporäreinsätzen als Schweisser von August 2001 bis zu seiner Entlassung per Ende Juli 2002 als Chauffeur für den Behindertentransport. Bereits am 10. August 2000 hatte er sich bei der Invalidenversicherung zum Leistungsbezug angemeldet. Neben Abklärungen erwerblicher Natur holte die IV-Stelle Basel-Stadt in der Folge mehrere Berichte (teilweise mit Vorakten) des Hausarztes Dr. med. Z._, Arzt für Allgemeine Medizin FMH, ein und veranlasste eine Begutachtung durch das Spital X._, Klinik für Rheumatologie und Rehabilitation (Gutachten vom 2. September 2002 mit psychiatrischem Gutachten des Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 13. August 2002). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 12. Dezember 2002 den Anspruch auf Rente sowie berufliche Massnahmen ab, und erachtete B._ in der zuletzt ausgeübten Tätigkeit als Chauffeur vollständig arbeitsfähig. A. B._, geboren 1962, arbeitete nach diversen Temporäreinsätzen als Schweisser von August 2001 bis zu seiner Entlassung per Ende Juli 2002 als Chauffeur für den Behindertentransport. Bereits am 10. August 2000 hatte er sich bei der Invalidenversicherung zum Leistungsbezug angemeldet. Neben Abklärungen erwerblicher Natur holte die IV-Stelle Basel-Stadt in der Folge mehrere Berichte (teilweise mit Vorakten) des Hausarztes Dr. med. Z._, Arzt für Allgemeine Medizin FMH, ein und veranlasste eine Begutachtung durch das Spital X._, Klinik für Rheumatologie und Rehabilitation (Gutachten vom 2. September 2002 mit psychiatrischem Gutachten des Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 13. August 2002). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 12. Dezember 2002 den Anspruch auf Rente sowie berufliche Massnahmen ab, und erachtete B._ in der zuletzt ausgeübten Tätigkeit als Chauffeur vollständig arbeitsfähig. B. Unter Beilage eines Kurzberichtes des Dr. med. H._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 27. November 2002 liess B._ Beschwerde gegen die Verfügung der IV-Stelle erheben. In der Folge wollte die Verwaltung bei Dr. med. F._ eine Verlaufsabklärung durchführen lassen, worauf B._ die Mitwirkung verweigerte, weil der Arzt vorbefasst und deshalb befangen sei. Mit Entscheid vom 26. November 2003 wies das Sozialversicherungsgericht Basel-Stadt die Beschwerde ab, nachdem es einen Bericht des Dr. med. H._ vom 7. Mai 2003 zu den Akten genommen hatte. B. Unter Beilage eines Kurzberichtes des Dr. med. H._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 27. November 2002 liess B._ Beschwerde gegen die Verfügung der IV-Stelle erheben. In der Folge wollte die Verwaltung bei Dr. med. F._ eine Verlaufsabklärung durchführen lassen, worauf B._ die Mitwirkung verweigerte, weil der Arzt vorbefasst und deshalb befangen sei. Mit Entscheid vom 26. November 2003 wies das Sozialversicherungsgericht Basel-Stadt die Beschwerde ab, nachdem es einen Bericht des Dr. med. H._ vom 7. Mai 2003 zu den Akten genommen hatte. C. B._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm eine ganze Rente der Invalidenversicherung zuzusprechen, eventualiter sei die Sache zur Durchführung einer Oberexpertise an die Vorinstanz zurückzuweisen, subeventualiter sei die Sache zur Verlaufsbegutachtung durch Dr. med. F._ an die Vorinstanz zurückzuweisen. Ferner lässt er die Gewährung der unentgeltlichen Prozessführung und Verbeiständung beantragen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.