Sachverhalt:
A. Der 1957 geborene M._ war zuletzt ab 19. August 2002 als Konstruktionsschlosser bei der N._ AG tätig und wurde von Dr. med. B._ ab 7. Februar 2003 als Bauspengler zu 100 % arbeitsunfähig geschrieben. Am 16. März 2004 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abbruch der beruflichen Massnahmen sowie Abklärung der erwerblichen und medizinischen Verhältnisse verneinte die IV-Stelle des Kantons Zürich mit Vorbescheid vom 24. August 2006 und Verfügung vom 27. Oktober 2006 einen Rentenanspruch des Versicherten.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Juli 2008 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ beantragen, das angefochtene Urteil sei dahingehend abzuändern, dass der Beginn der für die sozialversicherungsrechtlichen Leistungsansprüche relevanten Arbeitsunfähigkeit in die Zeit der Anstellung beim früheren Arbeitgeber vorverlegt und dem Versicherten eine leidensangepasste Rente zugesprochen werde. Gleichzeitig ersucht er um Gewährung der unentgeltlichen Rechtspflege.
D. Mit Verfügung vom 4. November 2008 wies das Schweizerische Bundesgericht, I. sozialrechtliche Abteilung, das Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde ab.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. 2.1 Die streitige Verfügung datiert vom 27. Oktober 2006, weshalb die am 1. Januar 2008 in Kraft getretenen Änderungen des IVG vom 6. Oktober 2006 und der IVV vom 28. September 2007 (5. IV-Revision) nicht anwendbar sind (<ref-ruling> E. 1 S. 356).
2.2 Das kantonale Gericht hat die gesetzlichen Bestimmungen zum Invaliditätsbegriff (<ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>) sowie zur Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der Einkommensvergleichsmethode (<ref-law>) zutreffend dargelegt. Richtig sind auch die Ausführungen über die Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) sowie über den Beweiswert und die Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
3. 3.1 Nach umfassender Würdigung der medizinischen Aktenlage hat die Vorinstanz, insbesondere gestützt auf das polydisziplinäre Gutachten des medizinischen Zentrums X._ vom 30. Juni 2006, erkannt, dass der Beschwerdeführer in einer leichten, in wechselnder Position durchführbaren Arbeit ohne repetitives Heben von Gewichten über 5 kg 100%ig arbeitsfähig ist. Die erwähnte Expertise, welche auf rheumatologischen und psychiatrischen Teilgutachten beruht, erfüllt - wie das kantonale Gericht dargelegt hat - die Anforderungen der Rechtsprechung. Insbesondere setzt sie sich auch mit den übrigen medizinischen Berichten auseinander. Die Einschätzung des noch vorhandenen Leistungsvermögens durch das kantonale Gericht zählt zur vorinstanzlichen Sachverhaltsermittlung, welche einer letztinstanzlichen Überprüfung grundsätzlich entzogen ist ( <ref-ruling> E. 3.2 S. 397 ff.). Eine im Sinne von <ref-law> offensichtlich unrichtige Feststellung des rechtserheblichen Sachverhalts, die einer Korrektur durch das Bundesgericht zugänglich wäre, ist nicht ersichtlich.
3.2 Daran vermögen die Vorbringen des Beschwerdeführers nichts zu ändern. Soweit er geltend macht, dass er zwischenzeitlich in psychiatrischer Hinsicht schwer erkrankt sei, ist darauf hinzuweisen, dass im massgebenden Zeitpunkt des Verfügungserlasses gestützt auf das Gutachten des medizinischen Zentrums X._ vom 30. Juni 2006 eine Einschränkung der Arbeitsfähigkeit aus rein psychiatrischer Sicht zu verneinen war. Die Vorinstanz hatte somit keinen Anlass, diesbezüglich weitere medizinische Abklärungen zu treffen. Die Frage, ob sich nach Verfügungserlass der psychische Gesundheitszustand und damit die Arbeitsfähigkeit des Versicherten allenfalls verschlechtert hat, ist nicht Gegenstand des vorliegenden Verfahrens, sondern könnte allenfalls im Rahmen einer Neuanmeldung vorgebracht werden (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV).
3.3 Hinsichtlich des für die Invaliditätsbemessung massgebenden Einkommensvergleichs rügt der Beschwerdeführer lediglich die Höhe des vom Invalideneinkommen gewährten Abzuges von 10 %. Diesbezüglich ist darauf hinzuweisen, dass die Höhe des leidensbedingten Abzuges eine typische Ermessensfrage beschlägt und letztinstanzlicher Korrektur somit nur dort zugänglich ist, wo das Ermessen rechtsfehlerhaft ausgeübt wurde. In der Festlegung des Abzuges von 10 % ist keine solche Fehlerhaftigkeit zu erblicken.
3.4 Nach Gesagtem muss es bei der verfügten, vorinstanzlich bestätigten Rentenablehnung sein Bewenden haben.
4. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach <ref-law> erledigt.
5. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Dezember 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Kopp Käch