Sachverhalt:
A. Der 1967 geborene B._ meldete sich am 6. Oktober 2003 unter Hinweis auf die Folgen eines Arbeitsunfalls, den er am 31. August 2002 erlitten hatte, bei der Invalidenversicherung zum Leistungsbezug an. Die Schweizerische Unfallversicherungsanstalt (SUVA), welche die gesetzlichen Leistungen erbracht hatte, sprach B._ für die Folgen des Unfalls mit Verfügung vom 13. Juni 2006, bestätigt mit Einspracheentscheid vom 1. Februar 2007, auf der Grundlage einer Erwerbsunfähigkeit von 31 % ab 1. Mai 2006 eine Invalidenrente zu. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 27. Februar 2008 ab.
Die Invalidenversicherung zog die Akten der SUVA bei und veranlasste eine psychiatrische Begutachtung (Expertise des Dr. med. S._ vom 13. Februar 2007). Eine fachärztliche Abklärung nahm in der Folge auch der Psychiater Dr. med. V._ vom Regionalärztlichen Dienst (RAD) vor (Bericht vom 21. November 2007). Mit Verfügung vom 16. März 2009 sprach die IV-Stelle Basel-Stadt B._ rückwirkend ab 1. August 2003 bei einem Invaliditätsgrad von 100 % eine bis 31. März 2006 befristete ganze Invalidenrente zu.
B. B._ liess Beschwerde führen mit den Anträgen, unter teilweiser Aufhebung der Verfügung der IV-Stelle sei ihm über den 31. März 2006 hinaus weiterhin eine ganze Invalidenrente, eventuell eine Rente aufgrund eines tieferen Invaliditätsgrades, zu gewähren; ferner seien weitere medizinische Abklärungen in Auftrag zu geben. Mit Entscheid vom 26. August 2009 wies das Sozialversicherungsgericht Basel-Stadt die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides und der Verfügung der IV-Stelle sei ihm über den 31. März 2006 hinaus weiterhin eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zur Durchführung weiterer medizinischer Abklärungen und neuer Entscheidung über den Rentenanspruch ab 1. April 2006 an das Sozialversicherungsgericht oder die IV-Stelle zurückzuweisen. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung und Verbeiständung.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Die Vorinstanz hat zutreffend festgehalten, dass im Fall der rückwirkenden Zusprechung einer befristeten Invalidenrente die revisionsrechtlichen Bestimmungen (<ref-law>; <ref-law>) sinngemäss anwendbar sind. Die Befristung der Rente ist nur zulässig, wenn sich die Erwerbsfähigkeit in anspruchserheblichem Ausmass verbessert hat (vgl. <ref-ruling> E. 4a S. 126; ZAK 1984 S. 133; Urteile 9C_233/2009 vom 6. Mai 2009, 9C_734/2008 vom 24. November 2008 und I 79/07 vom 17. Januar 2008).
3. 3.1 Die Vorinstanz gelangte in Würdigung der Arztberichte und Gutachten zur Auffassung, der Beschwerdeführer sei in einer leichten Tätigkeit lediglich noch zu 10 % in seiner Arbeitsfähigkeit eingeschränkt. Die depressive Symptomatik habe sich bis Dezember 2005 gebessert, wie dies namentlich aus dem Bericht über die stationäre Begutachtung in der Klinik B._ im Dezember 2005 hervorgehe. Ab diesem Zeitpunkt bis zur Begutachtung durch RAD-Arzt Dr. V._ im November 2007, der zwar vereinzelte depressive Symptome festgestellt, aber die vollständigen diagnostischen Kriterien einer depressiven Störung als nicht erfüllt erachtet hat, hätten sich hinsichtlich der depressiven Störung keine wesentlichen Änderungen ergeben.
3.2 Der Beschwerdeführer bestreitet, dass sich sein Gesundheitszustand ab Dezember 2005 wesentlich verbessert habe und er seither in der Lage sei, leidensangepasste Tätigkeiten mit einer Leistungsfähigkeit von 90 % auszuüben. Zu beachten sei zunächst, dass die SUVA für die somatischen Unfallfolgen eine Invalidenrente auf der Grundlage einer Erwerbsunfähigkeit von 31 % zugesprochen hat. Für die psychischen Unfallfolgen habe sie mangels adäquaten Kausalzusammenhangs keine Leistungen erbracht. Im Gutachten der Klinik B._ vom 6. Dezember 2005 sei festgehalten worden, dass der überwiegende Teil seiner Beeinträchtigungen durch ein psychiatrisch-psychosomatisches Zustandsbild hervorgerufen werde. Gutachter Dr. med. S._ habe zwar keine genaueren Angaben zum Grad der Arbeitsunfähigkeit gemacht, aber festgestellt, dass der Versicherte sich seit dem Unfall in einem sehr ähnlichen Zustand präsentiere, "keinen Wank" in Richtung Verbesserung gemacht habe und somit eine Chronifizierung vorliege. Unberücksichtigt geblieben seien sodann auch die neuropsychologischen Störungen. Angesichts des komplexen Beschwerdebildes und des Umstandes, dass der Beschwerdeführer ausser von Dr. S._ nur von versicherungsinternen Ärzten abgeklärt wurde, dränge sich eine polydisziplinäre Begutachtung durch eine neutrale Stelle auf.
3.3 Weder der Psychiater der Klinik B._, Dr. K._ (Abklärungsbericht vom 3. November 2005), noch der von der Invalidenversicherung beauftragte Gutachter Dr. med. S._, Basel (Expertise vom 13. Februar 2007), nahmen Stellung zum Grad der Arbeitsunfähigkeit. Einzig RAD-Psychiater Dr. V._ äusserte sich gestützt auf eine persönliche Untersuchung unter Beizug eines albanischsprachigen Dolmetschers zu den diesbezüglichen Beeinträchtigungen. Er hielt fest, aus rein psychiatrischer Sicht liege aufgrund der Distraktion durch die Schmerzen eine maximal 10 %ige Einschränkung der Leistungsfähigkeit vor. Diese sei indessen bereits in der somatischen Teilarbeitsunfähigkeit mit eingeschlossen.
Wenn die Vorinstanz im Rahmen ihrer Beweiswürdigung auf die Einschätzung des RAD-Arztes abgestellt hat, ist darin weder eine offensichtlich unrichtige oder unvollständige noch eine auf einer Bundesrechtsverletzung beruhende Feststellung des rechtserheblichen medizinischen Sachverhalts zu erblicken. Gemäss <ref-law> stehen die regionalen ärztlichen Dienste den IV-Stellen zur Beurteilung der medizinischen Voraussetzungen des Leistungsanspruchs zur Verfügung. Sie setzen die für die Invalidenversicherung nach <ref-law> massgebende funktionelle Leistungsfähigkeit der Versicherten fest, eine zumutbare Erwerbstätigkeit auszuüben. <ref-law> hält sodann fest, dass die Regionalen Ärztlichen Dienste die medizinischen Voraussetzungen des Leistungsanspruchs beurteilen. Auf Stellungnahmen des RAD kann abgestellt werden, wenn sie den allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht genügen (Urteil 9C_323/2009 vom 14. Juli 2009).
3.4 Dies trifft hier zu. Die persönliche Untersuchung des RAD-Psychiaters Dr. V._ entspricht den Erfordernissen einer fachärztlichen Begutachtung. Sie beruht auf der Kenntnis der Vorakten und leuchtet in der Beschreibung der medizinischen Zusammenhänge ein. Ebenso sind die Schlussfolgerungen begründet. In der Beschwerde werden keine stichhaltigen Argumente vorgetragen, welche die auf den Bericht des Regionalen Ärztlichen Dienstes gestützte Sachverhaltsfeststellung der Vorinstanz als offensichtlich unrichtig erscheinen lassen könnten. Vielmehr beschränkt sich der Beschwerdeführer in diesem Zusammenhang im Wesentlichen auf eine im Rahmen der geltenden Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässige appellatorische Kritik an der vorinstanzlichen Beweiswürdigung. Der Versicherte hat sich namentlich entgegenhalten zu lassen, dass er von drei Psychiatern einlässlich untersucht wurde und von keinem der Ärzte psychiatrische Diagnosen gestellt wurden, die eine höhere Arbeitsunfähigkeit als 10 % zur Folge hätten, so dass unter diesem Gesichtswinkel keine offensichtlich unrichtige, insbesondere keine unvollständige Sachverhaltsermittlung vorliegt.
3.5 Nicht gefolgt werden kann dem Beschwerdeführer auch insoweit, als er eine Verletzung von <ref-law> rügt. Die Vorinstanz hat einlässlich begründet, dass der nach dem Unfall diagnostizierte psychische Gesundheitsschaden bis Dezember 2005 sich wesentlich verbesserte. Gestützt auf das Gutachten des Dr. med. K._ und die Einschätzung des RAD-Psychiaters Dr. V._, wonach die Einschränkung der Arbeitsfähigkeit nur 10 % betrage, lässt sich die Annahme, dass eine revisionsrechtliche Änderung im Gesundheitszustand eingetreten sei, nicht als offensichtlich unrichtig oder sonstwie bundesrechtswidrig bezeichnen.
4. Gestützt auf einen Einkommensvergleich ermittelte das kantonale Gericht einen Invaliditätsgrad von rund 37 %, ab Dezember 2005, was gemäss angefochtenem Entscheid die verfügte rückwirkende Aufhebung der Invalidenrente auf den 31. März 2006 rechtfertigte. Der Beschwerdeführer macht einzig geltend, vom hypothetischen Invalideneinkommen (Tabellenlohn) sei ein leidensbedingter Abzug vorzunehmen. Die Frage, ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, hängt nach der Rechtsprechung von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalles ab (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationali-tät/Aufenthaltskategorie und Beschäftigungsgrad), welche nach pflicht-gemässem Ermessen gesamthaft zu schätzen sind. Dabei erlaubt ein Abzug vom statistischen Lohn von insgesamt höchstens 25 %, den verschiedenen Merkmalen, die das Erwerbseinkommen zu beein-flussen vermögen, Rechnung zu tragen (<ref-ruling> E. 5b/aa - cc S. 79 f.).
Wie das Sozialversicherungsgericht dargelegt hat, und worauf zu verweisen ist, sind keine Merkmale gegeben, welche einen Abzug vom Tabellenlohn zu begründen vermögen. Den leidensbedingten Einschränkungen wird durch die Festlegung eines reduzierten Arbeitspensums von 90 % in einer leichten Tätigkeit hinreichend Rechnung getragen, während nicht ersichtlich ist, inwiefern Alter, Dienstjahre, Nationalität und Aufenthaltskategorie im Zusammenhang mit einem Abzug vom hypothetischen Invalideneinkommen im vorliegenden Fall von Belang sein könnten.
5. Dem Gesuch um unentgeltliche Rechtspflege, einschliesslich der unentgeltlichen Verbeiständung, ist statt zu geben, da die gesetzlichen Voraussetzungen (Art. 64 Abs. 1 und 2 BGG) erfüllt sind. Der Beschwerdeführer wird darauf hingewiesen, dass er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Dr. Andreas Bernoulli wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Januar 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer