Sachverhalt: A. Der 1954 geborene, seit 1976 in der Schweiz als angelernter Bauarbeiter tätige A._ meldete sich am 27. Januar 2000 unter Hinweis auf Rückenbeschwerden und Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Zudem hatte er 1999 einen Unfall mit einer Fussverletzung erlitten. Eine erste Verfügung vom 28. August 2001, mit welcher ihm die IV-Stelle des Kantons Basel-Stadt ab 1. Mai 2000 eine halbe Rente zugesprochen hatte, wurde auf Beschwerde hin vom Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 26. August 2002 wegen Verletzung des rechtlichen Gehörs aufgehoben und zur Durchführung eines zweiten Vorbescheidverfahrens an die IV-Stelle zurückgewiesen. Nach einem erneuten Beschwerdeverfahren, mit welchem sich A._ gegen eine verfügte Begutachtung wehrte (abweisender Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 27. August 2003) und weiteren medizinischen Abklärungen, insbesondere der Einholung von Gutachten der psychiatrischen Poliklinik des Universitätsspitals X._ vom 9. Mai 2005 sowie des Spitals Y._, Rheumatologische Universitätsklinik, vom 8. Februar/17. März 2005 und vom 29. April/3./10. Juni 2006 sowie dem Beizug der SUVA-Akten sprach die IV-Stelle nach Erlass des Vorbescheids vom 2. August 2006 A._ mit Verfügung vom 13. Februar 2007 ab März 2003 eine ganze und ab Juni 2005 eine Dreiviertelsrente der Invalidenversicherung zu, wobei sie auf die Rückforderung der ausbezahlten halben Rente vom Mai 2000 bis Februar 2003 verzichtete. B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 14. Mai 2008 teilweise gut, hob die Verfügung der IV-Stelle Basel-Stadt vom 13. Februar 2007 auf und wies die Sache zum Erlass einer neuen Verfügung im Sinne der Erwägungen zurück. Dabei setzte es den Anspruch auf eine halbe Rente ab Mai 2000 fest, auf eine ganze Rente ab Juni 2002 und auf eine Dreiviertelsrente ab August 2006. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 14. Mai 2008 sei aufzuheben und es sei ihm auch für die Zeit ab August 2006 eine ganze Rente zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen. Zudem lässt er um unentgeltliche Rechtspflege ersuchen. Das kantonale Gericht und die IV-Stelle schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen und die beigeladene Pensionskasse der Firma Z._ verzichten auf eine Vernehmlassung.