Sachverhalt:
A. Der 1964 geborene S._ arbeitete von 1990 bis 2002 als Hilfsarbeiter bei der Firma J._ AG und nebenbei von 1998 bis 2002 beim Reinigungsdienst der Firma X._ AG. Am 31. Januar 2003 meldete er sich zum Bezug von Leistungen bei der Invalidenversicherung an. Nachdem berufliche Massnahmen in Form eines Arbeitstrainings gescheitert war, klärte die IV-Stelle Basel-Stadt die medizinischen Verhältnisse ab und verneinte mit Verfügung vom 10. Juni 2005 einen Anspruch auf Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades.
Gegen diese Verfügung erhob S._ Einsprache, die die IV-Stelle mit Einspracheentscheid vom 5. Mai 2006 abwies.
B. Die hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. Oktober 2006 gut und sprach S._ für die Zeit ab 1. April 2003 bei einem Invaliditätsgrad von 45% eine Viertelsrente zu.
C. S._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, es sei ihm eine ganze Invalidenrente zuzusprechen.
Die überdies beantragte unentgeltliche Rechtspflege hat das Bundesgericht mit Entscheid vom 24. Oktober 2007 abgewiesen.

Erwägungen:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (Art. 132 Abs. 1 BGG; <ref-ruling> E. 1.2).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Die Vorinstanz hat die massgebenden Bestimmungen über die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG), die Methode des Einkommensvergleichs für die Bemessung des Invaliditätsgrades bei Erwerbstätigen (Art. 16 ATSG i. V. m. Art. 28 Abs. 2 IVG) zutreffend dargestellt. Gleiches gilt hinsichtlich der Rechtsprechung zum Beweiswert von Arztberichten und Gutachten (<ref-ruling> E. 3. S. 353) und zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) sowie zu den zulässigen Abzügen von den herangezogenen Tabellenlöhnen (<ref-ruling> E. 5b S.79). Darauf wird verwiesen.
4. Streitig und zu prüfen ist die Höhe der dem Beschwerdeführer zugesprochenen Invalidenrente.
4.1 Das kantonale Gericht hat namentlich gestützt auf das Gutachten von Dr. med. B._, Spezialarzt FMH für Rheumatologie physikalische Medizin und Rehabilitation, vom 20. Mai 2005 und den Arztbericht von Dr. med. F._, FMH Innere Medizin Rheumatologie, vom 16. Februar 2005, festgestellt, der Beschwerdeführer sei für schwere körperbelastende Tätigkeiten, insbesondere als Hilfsarbeiter auf dem Bau, als arbeitsunfähig anzusehen, für leichte und mittelschwere Arbeiten liege jedoch eine Arbeitsfähigkeit von 75% vor.
4.2 Der Beschwerdeführer macht geltend, die Vorinstanz habe die medizinischen Akten nicht richtig gewürdigt und seine Arbeitsfähigkeit falsch eingeschätzt.
Da es sich bei der gerichtlichen Bestimmung der Arbeitsfähigkeit um eine Sachverhaltsfeststellung handelt, kann das Bundesgericht nur prüfen, ob diese offensichtlich unrichtig oder unvollständig ist, oder unter Verletzung wesentlicher Verfahrensbestimmungen getroffen wurde.
Das kantonale Gericht hat in Anwendung der Grundsätze zur Würdigung medizinischer Berichte und Gutachten zu allen einschlägigen ärztlichen Einschätzungen Stellung genommen und in nachvollziehbarer Weise dargelegt, warum sie der Einschätzung der Arbeitsfähigkeit von Dr. med. B._ folgt. Somit liegt weder eine offensichtlich unrichtige Sachverhaltsfeststellung vor, noch sind die vorinstanzlichen Feststellungen das Ergebnis willkürlicher Beweiswürdigung. Im Verzicht auf zusätzliche Beweisvorkehren liegt ebenfalls keine Bundesrechtsverletzung, zumal sich auch Dr. med. F._ in seinem Bericht vom 25. Januar 2004 - entgegen dem Einwand in der Beschwerde - einzig für den Versuch der medikamentösen Behandlung mit dem Antidepressivum Tricyclicum aussprach, welches in erster Linie bei depressiven Verstimmungen eingesetzt werde, das jedoch auch die Nervenleitungsfunktionen stabilisieren würde. Hinweise auf eine psychische Erkrankung finden sich in der gesamten medizinischen Aktenlage jedoch keine.
5. Der Beschwerdeführer rügt sodann die Höhe des ihm gewährten Abzuges auf dem hypothetischen Invalideneinkommen und beantragt, es sei ihm ein Abzug von 25% zu gewähren.
5.1 Die Bestimmung eines leidenbedingten Abzuges ist eine Ermessensfrage. Überprüft werden kann die Höhe des Abzuges daher nur im Hinblick auf rechtsfehlerhafte Ermessensbetätigung, d.h. Ermessensüberschreitung oder -missbrauch.
Angesichts der 75%igen Arbeitsfähigkeit des Beschwerdeführers und der Unmöglichkeit der Verrichtung von Schwerarbeit erscheint die Gewährung eines Abzugs von 10% als sachgerecht. Es wird nichts vorgebracht, was einen höheren Abzug rechtfertigen würde. Eine rechtsfehlerhafte Ermessensbetätigung der Vorinstanz liegt jedenfalls nicht vor.
6. Das Verfahren ist kostenpflichtig (Art. 134 Satz 2 OG in der seit 1. Juli 2006 geltenden Fassung). Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, dem Bundesamt für Sozialversicherungen und der Ausgleichskasse Basel-Stadt schriftlich mitgeteilt.
Luzern, 3. Januar 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla