Sachverhalt:
A. Der 1960 geborene J._ war bei der Firma Y._ AG als Fassadenisoleur tätig, als er am 22. September 1999 von einem Baugerüst stürzte. Die SUVA sprach ihm mit Verfügung vom 9. Oktober 2001 eine Invalidenrente der Unfallversicherung gestützt auf einen Invaliditätsgrad von 30 % zu. Am 5. September 2000 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärung der gesundheitlichen und erwerblichen Verhältnisse lehnte die IV-Stelle Basel-Stadt mit Verfügung vom 23. Juni 2003 den Anspruch auf eine Invalidenrente ab und hielt mit Einspracheentscheid vom 11. Dezember 2003 daran fest. Eine dagegen von J._ erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 23. August 2004 gut und wies die Sache zur Durchführung einer interdisziplinären Begutachtung an die IV-Stelle zurück. Nach Einholung eines Gutachtens des Ärztlichen Begutachtungsinstituts GmbH (ABI) vom 28. Oktober 2005 lehnte die IV-Stelle den Anspruch auf eine Invalidenrente am 9. Februar 2006 verfügungsweise erneut ab und hielt mit Einspracheentscheid vom 22. Mai 2007 daran fest.
B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 2. April 2008 teilweise gut, verpflichtete die IV-Stelle zur Ausrichtung einer Viertelsrente und wies die Sache zur Prüfung und Festlegung des Rentenbeginns an die IV-Stelle zurück.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des vorinstanzlichen Entscheides.
J._ lässt auf Abweisung der Beschwerde schliessen und eventualiter um unentgeltliche Prozessführung und Verbeiständung ersuchen. Die beigeladene Basler Versicherungen verzichten auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen (BSV) beantragt Abweisung (recte Gutheissung) der Beschwerde und Aufhebung des angefochtenen Entscheids.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Rente der Invalidenversicherung hat. Dabei steht einzig in erwerblicher Hinsicht in Frage, ob im Rahmen des Einkommensvergleichs bei dem nach den Tabellenlöhnen gemäss LSE 2000 bestimmten Invalideneinkommen ein Abzug vorzunehmen ist.
2.1 Die Vorinstanz erwog dazu, Dr. med. F._ sei im Gutachten vom 15. Juli 2002 grundsätzlich von einer vollen Arbeitsfähigkeit ausgegangen. Im Einspracheentscheid vom 1. Dezember 2003, der sich unter anderem auf Dr. med. F._ abgestützt habe und dann vom Gericht aufgehoben worden sei, sei ein Leidensabzug von 20 % in Erwägung gezogen worden. Dr. med. G._, der das psychiatrische Teilgutachten des ABI erstellt habe, rede nunmehr von einer Verschlechterung des Zustandes gegenüber 2002, was zu der erwähnten Leistungseinschränkung von 20 % führe. Wenn die IV-Stelle dem Beschwerdeführer nun statt eines 20%igen Leidensabzuges eine Leistungseinschränkung von 20 % zubillige, sei der festgestellten Verschlechterung nicht Rechnung getragen worden. Das errechnete Invalideneinkommen sei darum leidensbedingt um 20 % zu vermindern, was zu einem Betrag von Fr. 35'610.- und verglichen mit dem Valideneinkommen von Fr. 61'152.- zu einem Invaliditätsgrad von 41.8 % führe.
2.2 Dagegen wendet die beschwerdeführende IV-Stelle ein, es bestehe kein Anlass für die Vornahme eines Abzuges. Dem Versicherten seien immer noch selbst mittelschwere Tätigkeiten intermittierend zumutbar. Die Reduktion der Leistungsfähigkeit um 20 % berücksichtige ausdrücklich die Einschränkung aus psychiatrischer Sicht. Alter (Jahrgang 1960), Nationalität und Aufenthaltskategorie (Niederlassungsbewilligung) sowie Dauer der Betriebszugehörigkeit rechtfertigten keinen Abzug. Es liege lediglich eine reduzierte Leistungsfähigkeit vor, d.h. dass der Versicherte ein Vollzeitpensum mit entsprechend reduzierter Leistung wahrnehmen könne. Die Vorinstanz habe sich mit diesen bereits in der Verfügung vom 9. Februar 2006 angestellten Erwägungen nicht auseinandergesetzt und stattdessen in willkürlicher Weise einen - weit übersetzten - Abzug von 20 % vorgenommen.
3. 3.1 Praxisgemäss ist durch einen entsprechenden Abzug vom Tabellenlohn der Tatsache Rechnung zu tragen, dass persönliche und berufliche Merkmale, wie Art und Ausmass der leidensbedingten Einschränkung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad Auswirkungen auf die Höhe des Lohnes der versicherten Person haben können (<ref-ruling> E. 3b/aa S. 323). Die Frage, ob eine (behinderungsbedingt oder anderweitig begründete) Kürzung statistisch ermittelter Lohnansätze nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, ist rechtlicher Natur (<ref-ruling> E. 3.3 S. 399), folglich vom Bundesgericht frei zu prüfen. Sie ist zu bejahen, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer dieser Merkmale ihre gesundheitlich bedingte (Rest-)Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (Urteile 8C_778/2007 vom 29. Mai 2008 E. 5.2.1 und 9C_382/2007 vom 13. November 2007, E. 4.1 und 4.2 mit Hinweisen).
Der Abzug ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen. Er kann maximal 25 % betragen (<ref-ruling> E. 5b/aa-cc S. 79 ff.; Urteile 8C_778/2007 vom 29. Mai 2008 E. 5.2.2 und 9C_603/2007 vom 8. Januar 2008, E. 4.2.3, mit Hinweis). Das Ausmass eines solchen Abzugs betrifft daher eine Frage des Ermessens, das als solches nicht zu überprüfen ist (Art. 95 und 97 BGG), sondern von der bundesgerichtlichen Kognition einzig im Hinblick auf rechtsfehlerhafte Ermessensüberschreitung, -unterschreitung oder -missbrauch erfasst wird (<ref-ruling> E. 3.3 S. 399; Urteil 9C_382/2007 vom 13. November 2007, E. 4.1). Ermessensmissbrauch ist gegeben, wenn die Behörde zwar im Rahmen des ihr eingeräumten Ermessens bleibt, sich aber von unsachlichen, dem Zweck der massgebenden Vorschriften fremden Erwägungen leiten lässt oder allgemeine Rechtsprinzipien, wie das Verbot von Willkür und von rechtsungleicher Behandlung, das Gebot von Treu und Glauben sowie den Grundsatz der Verhältnismässigkeit verletzt (<ref-ruling> E. 2 S. 152 mit Hinweisen).
3.2 Gemäss Gesamtbeurteilung im Gutachten des ABI vom 28. Oktober 2005 besteht aus rheumatologischer Sicht eine normale Arbeitsfähigkeit. Dabei wurde im rheumatologischen Teilgutachten bemerkt, die Einhaltung einer fixierten Körperposition (längeres Stehen oder Sitzen am Ort) sollte vermieden werden, ebenso die Durchführung von stereotypen fliessbandähnlichen Arbeiten oder die Notwendigkeit von repetitivem Bücken und Tragen von schweren Lasten; ideal seien wechselbelastende Tätigkeiten, wo der Versicherte seine Arbeitsposition selbstständig ändern könne, ohne relevanten Zeitdruck, auch seien in Bezug auf die subjektive Kraftminderung des rechten Armes repetitive stark belastende Tätigkeiten [mit] dem rechten Arm insbesondere über der Horizontale zu vermeiden. Aus psychiatrischer Sicht bestehe eine Einschränkung der Leistungsfähigkeit von 20 %, die auf die leichte depressive Episode und die anhaltende somatoforme Schmerzstörung zurückzuführen sei. Aus internistischer Sicht bestehe auf Grund des insulinpflichtigen Diabetes keine zumutbare Arbeitsfähigkeit für körperlich schwerbelastende berufliche Tätigkeiten. Auch sollten Tätigkeiten mit Sturzgefahr, wie z.B. die zuletzt ausgeübte Tätigkeit als Fassadenisolationsmonteur sowie das Betätigen von Maschinen mit Verletzungsgefahr vermieden werden. Insgesamt seien dem Versicherten körperlich leichte bis intermittierend mittelschwere, wechselbelastende berufliche Tätigkeiten unter den genannten Einschränkungen ganztägig zumutbar mit einer Leistungseinbusse von maximal 20 %.
Wenn die Vorinstanz im Gegensatz zur IV-Stelle zur Auffassung gelangt ist, ein leidensbedingter Abzug sei grundsätzlich vorzunehmen, lässt sich das bei dieser Aktenlage nicht beanstanden. Zwar fallen weder das Alter des 1960 geborenen Versicherten noch sein Ausländerstatus (Niederlassungsbewilligung) in diesem Zusammenhang ins Gewicht (vgl. ebenso Urteil 8C_778/2007 E. 5.2.3). Jedoch sind die Voraussetzungen für die Vornahme eines Abzuges - entgegen der Auffassung der IV-Stelle - insofern grundsätzlich erfüllt, als beim Versicherten auch im Rahmen der Restleistungsfähigkeit aus rheumatologischer Sicht wie auch auf Grund des Diabetes zusätzliche besonderen Anforderungen an die Tätigkeit bestehen und sich der Versicherte infolge seiner Beschwerden im Vergleich zu voll leistungsfähigen Arbeitnehmern bei gleichem Arbeitspensum möglicherweise mit einem geringeren Lohn begnügen müssen wird (vgl. Urteil des Eidgenössischen Versicherungsgerichts I 64/03 vom 18. November 2003, E. 5.2.2; vgl. auch Urteil des Bundesgerichts 9C_603/2007 vom 8. Januar 2008, E. 4.2.3).
3.3 Hingegen hat die Vorinstanz bei der Festsetzung der Höhe des Abzuges das ihr zustehende Ermessen (vgl. E. 3.1 hievor) insofern rechtsfehlerhaft ausgeübt, als sie den Abzug von 20 % allein damit begründet hat, dass ansonsten der von Dr. med. G._ festgestellten Verschlechterung nicht Rechnung getragen werde. Abgesehen davon, dass der psychiatrische Gutachter ohnehin nur eine geringfügige Verschlechterung festgestellt hat, geht es nicht an, einen Abzug ohne nähere Begründung mit Bezug auf die massgebenden Kriterien (<ref-ruling> E. 5b/aa-cc S. 80) vorzunehmen. Art und Ausmass der leidensbedingten Einschränkungen vermögen bei diesem 1960 geborenen Versicherten, der mit einer Leistungseinschränkung von maximal 20 % noch vollzeitlich tätig sein kann, zudem über einen - wenn auch ausländischen - Berufsabschluss mit Zusatzausbildung verfügt und schliesslich auch noch mittelschwere Tätigkeiten zu verrichten vermag, einen Abzug von 20 % klarerweise nicht zu begründen. Ein Abzug von höchstens 10 % (vgl. Urteile 8C_5/2008 vom 29. Januar 2008 E.3.3.3 und I 402/06 vom 11. Juni 2007 E. 4.5) ergibt ein Invalideneinkommen von Fr. 40'060.- und damit im Vergleich zum Valideneinkommen von Fr. 61'152.- einen Invaliditätsgrad von 34.5 %. Somit besteht kein Anspruch auf eine Invalidenrente.
4. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdegegner auferlegt (Art Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen, die Aussichtslosigkeit in dieser Verfahrenslage nicht zu prüfen ist und die anwaltliche Vertretung geboten war (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372). Es wird indessen auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 2. April 2008 aufgehoben.
2. Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt und vorläufig auf die Gerichtskasse genommen.
4. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Advokat Beat Walther, Binningen, für das Verfahren vor dem Bundesgericht aus der Gerichtskasse eine Entschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. März 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke