Sachverhalt:
A. Der 1954 geborene, seit 1976 in der Schweiz als angelernter Bauarbeiter tätige A._ meldete sich am 27. Januar 2000 unter Hinweis auf Rückenbeschwerden und Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Zudem hatte er 1999 einen Unfall mit einer Fussverletzung erlitten. Eine erste Verfügung vom 28. August 2001, mit welcher ihm die IV-Stelle des Kantons Basel-Stadt ab 1. Mai 2000 eine halbe Rente zugesprochen hatte, wurde auf Beschwerde hin vom Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 26. August 2002 wegen Verletzung des rechtlichen Gehörs aufgehoben und zur Durchführung eines zweiten Vorbescheidverfahrens an die IV-Stelle zurückgewiesen. Nach einem erneuten Beschwerdeverfahren, mit welchem sich A._ gegen eine verfügte Begutachtung wehrte (abweisender Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 27. August 2003) und weiteren medizinischen Abklärungen, insbesondere der Einholung von Gutachten der psychiatrischen Poliklinik des Universitätsspitals X._ vom 9. Mai 2005 sowie des Spitals Y._, Rheumatologische Universitätsklinik, vom 8. Februar/17. März 2005 und vom 29. April/3./10. Juni 2006 sowie dem Beizug der SUVA-Akten sprach die IV-Stelle nach Erlass des Vorbescheids vom 2. August 2006 A._ mit Verfügung vom 13. Februar 2007 ab März 2003 eine ganze und ab Juni 2005 eine Dreiviertelsrente der Invalidenversicherung zu, wobei sie auf die Rückforderung der ausbezahlten halben Rente vom Mai 2000 bis Februar 2003 verzichtete.
B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 14. Mai 2008 teilweise gut, hob die Verfügung der IV-Stelle Basel-Stadt vom 13. Februar 2007 auf und wies die Sache zum Erlass einer neuen Verfügung im Sinne der Erwägungen zurück. Dabei setzte es den Anspruch auf eine halbe Rente ab Mai 2000 fest, auf eine ganze Rente ab Juni 2002 und auf eine Dreiviertelsrente ab August 2006.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 14. Mai 2008 sei aufzuheben und es sei ihm auch für die Zeit ab August 2006 eine ganze Rente zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen. Zudem lässt er um unentgeltliche Rechtspflege ersuchen.
Das kantonale Gericht und die IV-Stelle schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen und die beigeladene Pensionskasse der Firma Z._ verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Mit Blick auf diese Kognitionsregelung ist nur zu prüfen, ob der angefochtene Gerichtsentscheid in Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hiezu gehört insbesondere auch die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (Urteile 9C_534/2007 vom 27. Mai 2008, E. 1 mit Hinweis auf Ulrich Meyer, N 58-61 zu Art. 105, in: Niggli/Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar Bundesgerichtsgesetz, Basel 2008; Seiler/von Werdt/ Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N. 24 zu Art. 97). Ferner darf das Bundesgericht weder zu Gunsten noch zu Ungunsten der Parteien über deren Begehren hinausgehen (Art. 107 Abs. 1 BGG).
2. 2.1 Nach Art. 28 IVG [SR 831.20] besteht der Anspruch auf eine ganze Rente, wenn die versicherte Person mindestens 70 %, derjenige auf eine Dreiviertelsrente, wenn sie mindestens 60 % invalid ist. Bei einem Invaliditätsgrad von mindestens 50 % besteht Anspruch auf eine halbe Rente und bei einem Invaliditätsgrad von mindestens 40 % ein solcher auf eine Viertelsrente. Bis zum 31. Dezember 2003 bestand nach der bis dahin geltenden Fassung von Art. 28 Abs. 1 IVG (AS 1987 447) der Anspruch auf eine ganze Rente, wenn die versicherte Person mindestens zu zwei Dritteln, derjenige auf eine halbe Rente, wenn sie mindestens zur Hälfte invalid war. Bei einem Invaliditätsgrad von mindestens 40 % bestand Anspruch auf eine Viertelsrente. In Härtefällen hatte die versicherte Person nach Art. 28 Abs. 1bis IVG bereits bei einem Invaliditätsgrad von mindestens 40 % Anspruch auf eine halbe Rente.
Gemäss Art. 29 Abs. 1 IVG in der bis 31. Dezember 2007 geltenden Fassung (AS 1987 447) entstand der Rentenanspruch frühestens in dem Zeitpunkt, in dem der Versicherte mindestens zu 40 Prozent bleibend erwerbsunfähig geworden war (lit. a) oder während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 Prozent arbeitsunfähig gewesen war (lit. b).
2.2 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Insbesondere ist die Rente nicht nur bei einer wesentlichen Änderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes sich erheblich verändert haben (<ref-ruling> E. 3.5 S. 349 mit Hinweisen). Dagegen stellt die bloss unterschiedliche Beurteilung der Auswirkungen eines im Wesentlichen unverändert gebliebenen Gesundheitszustandes auf die Arbeitsfähigkeit für sich allein genommen keinen Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG und aArt. 41 IVG dar (Urteil 9C_562/2008 vom 3. November 2008 E. 2.1 mit Hinweisen, 9C_1025/2008 vom 19. Januar 2009). Gemäss Art. 88a Abs. 1 IVV ist bei einer Verbesserung der Erwerbsfähigkeit die anspruchsbeeinflussende Änderung für die Herabsetzung oder Aufhebung der Leistung von dem Zeitpunkt an zu berücksichtigen, in dem angenommen werden kann, dass sie voraussichtlich längere Zeit dauern wird; sie ist in jedem Fall zu berücksichtigen, nachdem sie ohne wesentliche Unterbrechung drei Monate angedauert hat und voraussichtlich weiterhin andauern wird. Die Herabsetzung oder Aufhebung der Renten erfolgt, von hier nicht interessierenden Ausnahmen abgesehen, frühestens vom ersten Tag des zweiten der Zustellung der Verfügung folgenden Monats an (Art. 88bis Abs. 2 lit. a IVV). Bei einer Verschlechterung der Erwerbsfähigkeit ist die anspruchsbeeinflussende Änderung zu berücksichtigen, sobald sie ohne wesentliche Unterbrechung drei Monate angedauert hat. Artikel 29bis IVV ist sinngemäss anwendbar (Art. 88a Abs. 2 IVV). Zeitliche Vergleichsbasis für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades bilden die letzte rechtskräftige Verfügung oder der letzte rechtskräftige Einspracheentscheid, welche oder welcher auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruht (<ref-ruling> E. 5.4 S. 114; vgl. auch <ref-ruling> E. 3.2.3 S. 75 ff.).
Diese Revisionsbestimmungen sind nach der Rechtsprechung bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar, weil noch vor Erlass der ersten Rentenverfügung eine anspruchsbeeinflussende Änderung eingetreten ist mit der Folge, dass dann gleichzeitig die Änderung mitberücksichtigt wird (vgl. <ref-ruling> E. 4a S. 126; ZAK 1984 S. 133; Urteile 9C_233/2009 vom 6. Mai 2009, 9C_734/2008 vom 24. November 2008 und I 79/07 vom 17. Januar 2008; siehe auch <ref-ruling> E. 2.2 S. 165).
2.3 Die am 1. Januar 2008 in Kraft getretenen materiellen Änderungen des IVG und der IVV im Rahmen der 5. IV-Revision (Bundesgesetz vom 6. Oktober 2006 und Verordnung vom 28. September 2007) sind nach den allgemeinen übergangsrechtlichen Grundsätzen vorliegend nicht anwendbar (vgl. <ref-ruling>, 129 V 1 E. 1.2 S. 4).
3. 3.1 In Frage steht allein die Höhe des Rentenanspruchs ab August 2006 unter revisionsrechtlichem Blickwinkel. Während die IV-Stelle die ganze Rente ab Juni 2005 auf eine Dreiviertelsrente herabsetzte, ordnete die Vorinstanz die Herabsetzung auf eine Dreiviertelsrente erst auf August 2006 an. Der Beschwerdeführer wendet sich gegen die Herabsetzung der Rente ab August 2006, da eine Verbesserung des Gesundheitszustandes nicht ausgewiesen sei und deshalb kein Revisionsgrund vorliege.
Im Rahmen der engen Kognition (vgl. E. 1 hievor) und auf Grund der Bindung an die Parteibegehren (Art. 107 Abs. 1 BGG; vgl. E. 1 hievor) ist mit Blick auf die Anträge des Beschwerdeführers einzig zu prüfen, ob unter revisionsrechtlichen Gesichtspunkten die Herabsetzung der ganzen auf eine Dreiviertelsrente ab 1. August 2006 zulässig war, sich also, wie die Vorinstanz angenommen hat, der Gesundheitszustand des Versicherten im massgeblichen Vergleichszeitraum in revisionsrechtlich relevanter Weise verbessert hat. Nicht zu prüfen ist demgegenüber, ob die Vorinstanz den Zeitpunkt der Erhöhung auf eine ganze Rente zu Recht auf Juni 2002 vorverlegt hat, auch wenn dieser als Referenzpunkt zur Festsetzung des Vergleichszeitraumes dient (siehe dazu unten E. 3.6).
3.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Analoges gilt auch für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne verändert hat (Urteil I 865/06 vom 12. Oktober 2007 E. 4). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2); es ist also vom Bundesgericht frei zu überprüfen, ob das kantonale Gericht eine inhaltsbezogene, umfassende, sorgfältige und objektive Beweiswürdigung vorgenommen hat (Art. 95 lit. a BGG; <ref-ruling> E. 4.1 S. 400; Urteil 9C_566/2008). Gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (Urteil 9C_833/2007 vom 4. Juli 2008 E. 2.2; zu den Anforderungen vgl. <ref-ruling> E. 3a S. 352).
3.3 Das kantonale Gericht stellte fest, auf Grund der Akten könnten drei verschiedene Perioden unterschieden werden: In einer ersten Phase dominierten somatische Leiden, in einer zweiten Phase machten sich auch psychische Beschwerden bemerkbar und in einer dritten Phase hätten sich die somatischen Krankheitsbilder zurückgebildet, wobei in psychischer Hinsicht dagegen weiterhin eine erhebliche Krankheitskomponente bestehe. Ebenso schwierig zu fixieren wie der Beginn der Verschlechterung des Gesundheitszustandes - der per März 2002 anzunehmen sei - sei auch die Verbesserung der somatischen Verfassung. Noch im November 2004 scheine der SUVA-Kreisarzt der Ansicht zu sein, dass der Beschwerdeführer unfall- und krankheitsbedingt vollständig arbeitsunfähig sei. Erst im April/Juli 2006 beurteile das Spital Y._ den Beschwerdeführer in leichter bis mittelschwerer Arbeit zu 100% arbeitsfähig. Daneben bestehe offensichtlich weiterhin eine erhebliche, 60%ige psychisch bedingte Arbeitsunfähigkeit. Ausgehend vom Untersuchungsdatum des 24. April 2006 im Spital Y._ sei von einer Verbesserung ab diesem Zeitpunkt auszugehen, weshalb gemäss Art. 88a IVV per August 2006 eine erneute Veränderung des Rentenanspruchs zu prüfen sei.
Der Beschwerdeführer wendet dagegen ein, ein Revisionsgrund liege nicht vor. Im Gutachten des Spitals Y._ vom April/Juni 2006 werde eine "Rückbildung" der somatischen Krankheitsbilder im Vergleich zum Gutachten vom Februar/März 2005 nicht beschrieben. Es werde keine Verbesserung des Gesundheitszustandes bescheinigt, sondern es lägen bloss unterschiedliche Beurteilungen der Arbeitsfähigkeit vor, was nicht allein mit der Berücksichtigung der psychosozialen Situation im früheren Gutachten erklärt werden könne.
3.4 Die revisionsweise Anpassung der Invalidenrente, hier die von der Vorinstanz angenommene Herabsetzung der Rente, setzt nach Art. 17 ATSG Tatsachenänderungen im massgeblichen Vergleichszeitraum voraus, hier also eine Verbesserung des Gesundheitszustandes (vgl. E. 2.2 hievor). Die Vorinstanz hat zwar unter Verweis auf das Gutachten des Spitals Y._ vom April/Juni 2006 festgestellt, in einer dritten Phase hätten sich die somatischen Krankheitsbilder zurückgebildet. Sie hat jedoch weder den massgeblichen Vergleichszeitraum genannt, für welchen die gemäss Art. 17 ATSG erforderliche Tatsachenänderung geprüft werden muss, noch anhand der ärztlichen Diagnosen - von denen sie aus somatischer Sicht keine erwähnt hat - einen Vergleich des Gesundheitszustandes des Beschwerdeführers für einen bestimmten Zeitraum vorgenommen und insofern den massgeblichen Sachverhalt hinsichtlich der für eine Revision erforderlichen Verbesserung des Gesundheitszustandes des Beschwerdeführers unvollständig festgestellt, so dass das Bundesgericht nicht gebunden ist. Ohnehin freier Überprüfung zugänglich ist im bundesgerichtlichen Verfahren die Rechtsfrage, ob mit verbindlichen vorinstanzlichen Sachverhaltsfeststellungen ein Revisionstatbestand begründbar ist, wobei der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums zu prüfen ist, wenn eine erhebliche Änderung des Sachverhalts vorliegt (<ref-ruling> E. 4b S. 200; SVR 2004 IV Nr. 17 S. 53, I 526/02 E. 2.3; vgl. auch <ref-ruling> E. 2d S. 417 f.; AHI 2002 S. 164, I 652/00 E. 2a).
3.5 Die Frage, ob sich die vorinstanzlich angeordnete Herabsetzung der ganzen auf eine Dreiviertelsrente mit einer Verbesserung von Gesundheitszustand und Arbeitsfähigkeit begründen lässt, kann indessen offen bleiben, weil selbst bei deren Bejahung der Invaliditätsgrad noch 70 % erreicht, wie sich aus dem Nachfolgenden ergibt.
4. Die Vorinstanz hat den von ihr beim Invalideneinkommen gewährten Abzug von 10 % - die IV-Stelle hatte noch von einem Abzug abgesehen - damit begründet, auf Grund aller relevanten Umstände, insbesondere der langen Arbeitsabsenz des Versicherten, erscheine ein Abzug von 10 % als angemessen. Im Rahmen der Ermessensausübung nicht ausdrücklich gewürdigt hat das kantonale Gericht den Umstand, dass dem Versicherten bloss noch ein teilzeitlicher Arbeitseinsatz von 40 % zumutbar ist. Ebensowenig wurden die zusätzlichen Einschränkungen (keine Überkopfarbeiten, kein Heben von schweren Lasten und kein überwiegendes Gehen über längere Strecken) erwähnt. Dagegen wendet der Beschwerdeführer ein, die Vorinstanz habe den leidensbedingten Abzug von 10 % ungenügend begründet; neben der langen Arbeitskarenz seien auch das Alter, die mangelnden persönlichen und beruflichen Fähigkeiten des Versicherten sowie insbesondere die Teilzeitbeschäftigung von 40 % zu berücksichtigen.
4.1 Die Frage, ob ein Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, ist rechtlicher Natur; die Bestimmung der konkreten Höhe eines solchen Abzuges dagegen ist Ermessensfrage, die unter Herrschaft des BGG nur auf Ermessensunter- oder -überschreitung und -missbrauch als Formen rechtsfehlerhafter (Art. 95 lit. a BGG) Ermessensbetätigung hin überprüft werden kann (<ref-ruling> E. 3.3 S. 399; vgl. auch <ref-ruling> E. 5.3 S. 328). Der Abzug hat nicht automatisch, sondern dann zu erfolgen, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer dieser Merkmale ihre gesundheitlich bedingte (Rest-)Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann. Bei der Bestimmung der Höhe des Abzugs vom Tabellenlohn sodann ist nicht in der Weise vorzugehen, dass für jedes in Betracht fallende Merkmal separat eine Reduktion vorgenommen wird, weil damit Wechselwirkungen ausgeblendet würden. Vielmehr ist der Einfluss aller Merkmale auf das Invalideneinkommen (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen. Dabei ist der Abzug auf insgesamt höchstens 25 % zu begrenzen (126 V 75 E. 5b/aa-cc S. 79 f.).
4.2 Wird berücksichtigt, dass teilzeitbeschäftigte Männer im Vergleich zu Vollzeitangestellten erfahrungsgemäss überproportional tiefer entlöhnt werden, dass die Rechtsprechung das Kriterium der Teilzeitarbeit bei der ermessensweisen Festsetzung des Abzugs vom Tabellenlohn als grundsätzlich beachtlich einstuft (vgl. <ref-ruling> E. 4.2.3 S. 481) und dass Männer mit einem Beschäftigungsgrad von 50 % bis 74 % im hier massgebenden Anforderungsniveau 4 gemäss LSE 2002, Tabelle T8* (S. 28) 10.09 % weniger als vollzeitbeschäftigte Mitarbeiter (>=90 %) verdienten (10.04 % gemäss LSE 2006, T2*, S. 16), kann es - mit Blick auf eine willkürfreie und rechtsgleiche Ermessensbetätigung (vgl. SVR 2008 IV Nr. 49 S. 163. E. 1.3 [9C_404/2007] mit weiteren Hinweisen) - entgegen der Auffassung der Vorinstanz nicht bei einem minimalen Abzug von 10 % bleiben. Denn die von der Vorinstanz sonst relevierten lohnmindernden Umstände dürfen nicht unberücksichtigt gelassen werden, weshalb sich ein höherer Abzug von 15% aufdrängt.
Damit ergibt sich nach der vorinstanzlichen Invaliditätsbemessung, welche anderweitig zu keinen Weiterungen Anlass gibt und auf die verwiesen wird, ein Invaliditätsgrad von 70.1% und damit weiterhin Anspruch auf eine ganze Rente.
5. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG). Das Gesuch um unentgeltliche Rechtspflege, einschliesslich Verbeiständung, ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 14. Mai 2008 wird dahingehend abgeändert, dass der Beschwerdeführer ab 1. August 2006 Anspruch auf eine ganze Invalidenrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Basel-Stadt zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Pensionskasse der Firma Z._ und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Juli 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke