Sachverhalt: A. Der 1964 geborene S._ arbeitete von 1990 bis 2002 als Hilfsarbeiter bei der Firma J._ AG und nebenbei von 1998 bis 2002 beim Reinigungsdienst der Firma X._ AG. Am 31. Januar 2003 meldete er sich zum Bezug von Leistungen bei der Invalidenversicherung an. Nachdem berufliche Massnahmen in Form eines Arbeitstrainings gescheitert war, klärte die IV-Stelle Basel-Stadt die medizinischen Verhältnisse ab und verneinte mit Verfügung vom 10. Juni 2005 einen Anspruch auf Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades. Gegen diese Verfügung erhob S._ Einsprache, die die IV-Stelle mit Einspracheentscheid vom 5. Mai 2006 abwies. B. Die hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 17. Oktober 2006 gut und sprach S._ für die Zeit ab 1. April 2003 bei einem Invaliditätsgrad von 45% eine Viertelsrente zu. C. S._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, es sei ihm eine ganze Invalidenrente zuzusprechen. Die überdies beantragte unentgeltliche Rechtspflege hat das Bundesgericht mit Entscheid vom 24. Oktober 2007 abgewiesen.