Sachverhalt:
A. Der 1962 geborene P._ war zuletzt im Jahr 1999 als Gruppenleiter bei der Firma R._ AG tätig und anschliessend arbeitslos. Nachdem er am 21. Januar 2001 beim Skifahren auf den Rücken gestürzt war, meldete er sich am 26. September 2001 unter Hinweis auf eine seit dem Unfall bestehende Diskushernie bei der Invalidenversicherung zum Leistungsbezug (Umschulung, Rente) an.
Die Schweizerische Unfallversicherungsanstalt (SUVA) hatte P._ mit Verfügung vom 31. Juli 2002 ab 1. September 2002 eine Invalidenrente entsprechend einer Erwerbsunfähigkeit von 27 % zugesprochen, hob diese Verfügung auf Einsprache hin jedoch auf und gewährte dem Versicherten mit Verfügung vom 24. Juli 2003 ab 1. September 2002 eine Invalidenrente aufgrund einer Erwerbsunfähigkeit von nunmehr 58 %.
Mit Verfügung vom 5. Dezember 2002 hatte die IV-Stelle des Kantons Zürich - ausgehend von einem Invaliditätsgrad von 27 % - einen Leistungsanspruch von P._ verneint. Nachdem das Sozialversicherungsgericht des Kantons Zürich eine hiegegen erhobene Beschwerde mit Entscheid vom 18. November 2003 in dem Sinne gutgeheissen hatte, als es die Sache zur ergänzenden medizinischen Abklärung und neuen Verfügung an die IV-Stelle zurückwies, liess diese den Versicherten im Zentrum X._ polydisziplinär abklären. Gestützt auf das Gutachten vom 10. Januar 2006 verneinte die IV-Stelle mit Verfügung vom 7. April 2006 - ausgehend von einem Invaliditätsgrad von 24 % - erneut einen Leistungsanspruch. Mit Einspracheentscheid vom 14. August 2006 hielt sie an ihrem Standpunkt fest.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 7. Dezember 2007 ab.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei ihm eine Invalidenrente entsprechend einem Erwerbsunfähigkeitsgrad von 70 %, zumindest aber von 58 % gemäss Verfügung der SUVA vom 23. (recte 24.) Juli 2003 zuzusprechen, eventualiter sei die Angelegenheit zur Neubeurteilung des
Invaliditätsgrades und der sich daraus ergebenden Rente an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen. Eine freie Überprüfung des vorinstanzlichen Entscheides in tatsächlicher Hinsicht hat ebenso zu unterbleiben wie eine Prüfung der Ermessensbetätigung nach den Grundsätzen zur Angemessenheitskontrolle. Auch besteht Bindung an die Parteianträge (nicht publ. E. 1.2 und 2.2 des Urteils <ref-ruling>).
2. Das kantonale Gericht hat die massgebenden gesetzlichen Bestimmungen zum Begriff der Invalidität (<ref-law>; <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law> in der bis zum 31. Dezember 2003 gültig gewesenen und in der seit 1. Januar 2004 geltenden Fassung) und zur Invaliditätsbemessung bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>) sowie die Rechtsprechung zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) und zum Beweiswert sowie zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Ebenfalls richtig wiedergegeben hat die Vorinstanz die Rechtsprechung, wonach somatoforme Schmerzstörungen nur ausnahmsweise eine Invalidität im Rechtssinne begründen (<ref-ruling> E. 4 S. 70 ff. mit Hinweisen, 131 V 49 E. 1.2 S. 50 f.; <ref-ruling> ff. und 396 ff.; vgl. auch Urteil I 176/06 vom 26. Februar 2007, E. 5.2, publ. in: SVR 2008 IV Nr. 1 S. 1). Darauf wird verwiesen.
3. Streitig ist der Anspruch des Beschwerdeführers auf eine Invalidenrente und diesbezüglich vorab die Frage der Bindungswirkung der Invaliditätsschätzung der Unfallversicherung für die Invalidenversicherung.
Während die Vorinstanz gestützt auf <ref-ruling> - vorbehältlich triftiger Gründe für eine Abweichung - von einer grundsätzlichen Bindungswirkung der rechtskräftigen Invaliditätsbemessung der Unfallversicherung für die Invalidenversicherung ausgeht, eine solche jedoch im konkreten Fall verneint, weil die Festsetzung des Invaliditätsgrades durch die SUVA auf Vergleichsverhandlungen beruht habe, sieht der Beschwerdeführer in der Feststellung, der von der SUVA ermittelte Invaliditätsgrad sei für die Invalidenversicherung nicht verbindlich, eine Verletzung von Bundesrecht. Letzteres trifft nicht zu. Nach der neusten Rechtsprechung (<ref-ruling>) besteht für die Invalidenversicherung keine Bindungswirkung an die Invaliditätsschätzung der Unfallversicherung im Sinne von <ref-ruling> und ist die IV-Stelle dementsprechend nicht zur Einsprache gegen die Verfügung und zur Beschwerde gegen den Einspracheentscheid des Unfallversicherers über den Rentenanspruch als solchen oder den Invaliditätsgrad berechtigt. Im erwähnten Bundesgerichtsurteil wurde dargelegt, dass der <ref-ruling> zu Grunde liegende koordinationsrechtliche Gesichtspunkt bereits dadurch an Bedeutung verloren habe, dass in <ref-ruling> eine Bindungswirkung der Invaliditätsschätzung der Invalidenversicherung für die Unfallversicherung verneint wurde. Da einerseits weder der Invaliditätsbemessung der Invalidenversicherung noch derjenigen der Unfallversicherung Priorität zukomme und andrerseits die Voraussetzungen für eine Rente in diesen Sozialversicherungszweigen trotz des grundsätzlich gleichen Invaliditätsbegriffs verschieden seien, sei auch eine Bindungswirkung im umgekehrten Sinn zu verneinen (<ref-ruling> E. 6.2 S. 554). Wohl schliesst das Bundesgericht in <ref-ruling> E. 6.4 S. 555 f. nicht aus, dass die IV-Stellen oder im Beschwerdefall die kantonalen Gerichte die Unfallversicherungsakten beiziehen und (u. a.) gestützt darauf den Invaliditätsgrad für den Bereich der Invalidenversicherung bestimmen können (vgl. Urteil 8C_206/2007 vom 27. März 2008 E. 3.3), doch ist im Ergebnis nicht zu beanstanden, dass die Vorinstanz vorliegend den Invaliditätsgrad der SUVA nicht übernahm, zumal die Invaliditätsbemessung der Unfallversicherung - wie der Beschwerdeführer selber einräumt - auf einer Übereinkunft der Parteien bezüglich der medizinischen Abklärungen beruhte. Bei einer auf Vergleich beruhenden Festsetzung des Invaliditätsgrades durch die Unfallversicherung war rechtsprechungsgemäss bereits vor <ref-ruling> keine Bindungswirkung für die Invalidenversicherung gegeben, selbst wenn bekannt war, von welchen Überlegungen sich der Unfallversicherer bei der vergleichsweisen Einigung hat leiten lassen (<ref-ruling> E. 2b S. 292 mit Hinweis; vgl. auch Urteil I 168/06 vom 31. Juli 2007, E. 4.1).
4. Streitig und zu prüfen sind sodann der Gesundheitszustand und die Einschränkung in der Arbeitsfähigkeit.
4.1 In sorgfältiger und einlässlicher Würdigung der Aktenlage hat das kantonale Gericht zunächst festgehalten, dass der Beschwerdeführer in seiner zuletzt ausgeübten Tätigkeit im Reinigungsdienst bereits aus somatischer Sicht nicht mehr arbeitsfähig ist. Bezüglich Arbeitsfähigkeit in einer Verweisungstätigkeit hat es im Wesentlichen gestützt auf das - bezüglich medizinischer Befunderhebung und Diagnosen zu Recht allseits als beweiskräftig anerkannte - polydisziplinäre Gutachten des Zentrums X._ vom 10. Januar 2006 festgestellt, dass als psychisches Leiden eine anhaltende somatoforme Schmerzstörung mit dysfunktionalem Schmerzbewältigungsmuster bei beeindruckbarer Persönlichkeit vorliegt. Hinsichtlich des verbleibenden Leistungsvermögens ist die Vorinstanz zum Schluss gelangt, dass aus psychischer Sicht trotz der festgestellten Beeinträchtigungen keine Einschränkung der Arbeitsfähigkeit vorliegt. Der anderslautenden Einschätzung im polydisziplinären Gutachten, wonach dem Beschwerdeführer psychiatrischerseits eine wesentliche Einschränkung der Arbeitsfähigkeit attestiert wurde, könne im Lichte der Rechtsprechung zur nur ausnahmsweise invalidisierenden Wirkung somatoformer Schmerzstörungen (vgl. E. 2 hievor) nicht gefolgt werden. So ergebe sich aus den festgestellten medizinischen Befunden und Diagnosen, dass die beim Versicherten diagnostizierte somatoforme Schmerzstörung weder von einer krankheitswertigen psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer begleitet sei noch die Mehrzahl der übrigen rechtsprechungsgemässen Kriterien einer (ausnahmsweise) unzumutbaren Schmerzüberwindung erfüllt seien. Die Beschwerden an der HWS und LWS erreichten nicht das geforderte Ausmass chronischer körperlicher Begleiterkrankungen, von einem sozialen Rückzug in allen Belangen des Lebens und von einem therapeutisch nicht mehr beeinflussbaren Krankheitsverlauf sowie in jeglicher Hinsicht gescheiterten Behandlungen könne nicht gesprochen werden und es bestehe kein Grund zur Annahme eines primären Krankheitsgewinns im Sinne einer körperlichen Reaktion auf einen innerseelischen Konflikt, sondern eher eines sekundären Krankheitsgewinns. Vor diesem Hintergrund - so die Vorinstanz - liege kein Ausnahmefall der Unzumutbarkeit einer willentlichen Schmerzüberwindung sowie eines Wiedereinstiegs in den Arbeitsprozess und demnach in psychischer Hinsicht kein invalidisierender Gesundheitsschaden vor.
4.2 Der Beschwerdeführer beanstandet die vorinstanzlich festgestellten medizinischen Befunde und Diagnosen - nach Lage der Akten zu Recht - nicht. Er rügt jedoch, das kantonale Gericht sei in Missachtung bundesrechtlicher Beweisgrundsätze von der Einschätzung der Arbeitsfähigkeit im Polydisziplinären Gutachten abgewichen, da es Aufgabe der begutachtenden Fachperson der Psychiatrie sei, die erwähnten Kriterien zu prüfen und die noch zumutbare Arbeitsfähigkeit aufzuzeigen.
4.2 Der Beschwerdeführer beanstandet die vorinstanzlich festgestellten medizinischen Befunde und Diagnosen - nach Lage der Akten zu Recht - nicht. Er rügt jedoch, das kantonale Gericht sei in Missachtung bundesrechtlicher Beweisgrundsätze von der Einschätzung der Arbeitsfähigkeit im Polydisziplinären Gutachten abgewichen, da es Aufgabe der begutachtenden Fachperson der Psychiatrie sei, die erwähnten Kriterien zu prüfen und die noch zumutbare Arbeitsfähigkeit aufzuzeigen.
4.3 4.3.1 Der Umstand, dass das polydisziplinäre Gutachten des Zentrums X._ vom 10. Januar 2006 bezüglich der Darlegung der medizinischen Situation und Lebensumstände der Versicherten unstrittig voll beweiskräftig ist, bedeutet nicht, dass auch die dortige Einschätzung der Restarbeitsfähigkeit für die Belange der Invalidenversicherung ohne weiteres massgeblich ist (<ref-ruling> E. 2.2.4 und 2.2.5 S. 355; vgl. auch Urteil 9C_636/2007 vom 28. Juli 2008, E. 3.3.1). Invalidenversicherungsrechtlich ist bei der Beurteilung der Frage, ob eine anhaltende somatoforme Schmerzstörung oder ein sonstiger vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand (<ref-ruling> E. 3.2 S. 399; Urteil I 683/06 vom 29. August 2007, E. 2.2) mit invalidisierender Wirkung vorliegt, zunächst die - aufgrund der medizinischen Aktenlage zu prüfende - Tatfrage entscheidend, ob respektive inwieweit bei der versicherten Person nebst der allein nicht invalidisierenden (<ref-ruling> E. 2.2.3 S. 354) anhaltenden somatoformen Schmerzstörung zusätzliche psychische Beeinträchtigungen im Sinne des rechtsprechungsgemässen Kriterienkatalogs (s. <ref-ruling> E. 1.2 S. 50 f. mit Hinweisen) vorliegen, welche einer adäquaten Schmerzbewältigung objektiv entgegenstehen. Alsdann ist zu beurteilen, ob eine allenfalls festgestellte psychische Komorbidität hinreichend erheblich ist und einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten. Die abschliessende Beantwortung dieser Frage ist rechtlicher Natur (vgl. Urteile 9C_636/2007 vom 28. Juli 2008, E. 3.3.1 und I 683/06 vom 29. August 2007, E. 2.2) und obliegt damit nicht den Ärztinnen und Ärzten, sondern den rechtsanwendenden Behörden.
4.3.2 Das kantonale Gericht hat das tatsächliche Vorliegen der rechtsprechungsgemäss relevanten Umstände einer (ausnahmsweise) unzumutbaren Schmerzüberwindung richtigerweise im Wesentlichen gestützt auf die allseits anerkannten Darlegungen zur medizinischen Situation im polydisziplinären Gutachten vom 10. Januar 2006 sowie auch auf die Berichte des behandelnden Arztes Dr. S._ vom 14. Juni 2004 und der SUVA-Ärzte Dr. C._ vom 17. März 2003 sowie Dr. O._ vom 7. Mai 2002 geprüft. Dabei hat es in Übereinstimmung mit diesen Unterlagen und damit weder offensichtlich unrichtig noch in rechtsfehlerhafter Beweiswürdigung festgestellt, dass neben der somatoformen Schmerzstörung keine die Arbeitsfähigkeit einschränkende psychiatrische Diagnose und somit keine hinreichend ausgeprägte Psychopathologie vorliegt, um eine eigenständige psychische Komorbidität von erheblicher Schwere, Dauer und Intensität bejahen zu können. Unter dem Blickwinkel von <ref-law> ist diese Feststellung umso weniger zu beanstanden, als im Gutachten des Zentrums X._ auf das im Vordergrund stehende subjektive Schmerzerleben des Versicherten, auf die von seiner Persönlichkeit her wenig günstigen Voraussetzungen zum Umgang mit den Schmerzen sowie auf die seit langem bestehenden psychosozialen Konflikte hingewiesen wurde. Auch die weiteren kriterienspezifischen Tatsachenfeststellungen des kantonalen Gerichts - konkret: es könne nicht von einem mangelnden sozialen Rückzug aus allen Belangen des Lebens gesprochen werden, es lägen weder chronische körperliche Begleiterkrankungen im geforderten Ausmass noch ein therapeutisch nicht mehr beeinflussbarer Krankheitsverlauf sowie in jeder Hinsicht gescheiterte Behandlungen vor und es bestehe kein Grund zur Annahme eines ausgeprägten, therapeutisch nicht mehr angehbaren primären Krankheitsgewinns im Sinne einer körperlichen Reaktion auf einen innerseelischen Konflikt - stützen sich allesamt auf die sachbezüglichen Aussagen in den oben erwähnten medizinischen Akten und werden in der Beschwerde inhaltlich zu Recht nicht in Frage gestellt. In zutreffender Anwendung der Rechtsprechung zu somatoformen Schmerzstörungen hat die Vorinstanz erwogen, dass die im polydisziplinären Gutachten aus psychiatrischer Sicht attestierte Einschränkung der Arbeitsfähigkeit im Lichte der medizinischen Tatsachenfeststellungen nicht zu überzeugen vermag und ein invalidisierendes psychisches Geschehen aus rechtlicher Sicht verneint werden muss. Dem kantonalen Gericht kann insbesondere auch keine bundesrechtswidrige, den Untersuchungsgrundsatz verletzende antizipierte Beweiswürdigung vorgeworfen werden, indem es keinen Zusatzbericht beim ZMB eingeholt habe. Die für die Prüfung einer ausnahmsweise invalidisierenden Wirkung der somatoformen Schmerzstörung relevanten medizinischen Fakten und persönlichen Umstände (Diagnosen, Begleiterkrankungen, Therapiebestrebungen, soziale Rückzugstendenzen, Krankheitsgewinn usw.) sind nach dem unter E. 4.3.1 hievor Gesagten rechtsgenüglich erstellt und im Übrigen unbestritten. Bei diesem verbindlich feststehenden Sachverhalt vermöchte auch eine weitere fachärztliche Arbeitsunfähigkeitsbescheinigung nichts daran zu ändern, dass es an einem hinreichend ausgeprägten (psycho)pathologischen Substrat fehlt, um einen invalidisierenden psychischen Gesundheitsschaden bejahen zu können. Entgegen dem Eventualstandpunkt des Beschwerdeführers besteht mithin kein Anlass für eine Rückweisung der Streitsache zwecks weiterer medizinischer Abklärungen.
4.4 Was die somatisch bedingte Einschränkung in der Arbeitsfähigkeit in einer Verweisungstätigkeit anbelangt, hat das kantonale Gericht dargelegt, dass weder das Gutachten des Zentrums X._ vom 10. Januar 2006 noch der Bericht des Dr. S._ vom 14. Juni 2004 hinsichtlich der im Entscheid des Sozialversicherungsgerichts vom 18. November 2003 noch als ungenügend abgeklärt bezeichneten Schulterbeschwerden eine die Arbeitsfähigkeit beeinflussende Diagnose ergeben hat. Es stellte daher in Würdigung sämtlicher, auch der bereits dem Entscheid vom 18. November 2003 zu Grunde gelegten medizinischen Akten fest, dass der Beschwerdeführer aus somatischen Gründen in einer leidensangepassten Tätigkeit voll und in einer weniger optimal angepassten Beschäftigung 70 % arbeitsfähig ist, wobei er im Rahmen der Schadenminderungspflicht gehalten sei, die Resterwerbsfähigkeit bestmöglich auszunutzen. Diese Feststellung tatsächlicher Art wird in der Beschwerde nicht bestritten und ist nach Gesagtem für das Bundesgericht verbindlich. Sie ist der Invaliditätsbemessung zu Grunde zu legen.
5. Hinsichtlich der Festlegung der erwerblichen Auswirkungen der gesundheitlichen Beeinträchtigung schliesslich wird der auf der Basis des vorstehend umschriebenen Zumutbarkeitsprofils durchgeführte, auf das Jahr 2004 bezogene Einkommensvergleich, welcher unter Berücksichtigung eines leidensbedingten Abzuges von 15 % einen Invaliditätsgrad von 28 % ergab, weder in tatsächlicher noch in rechtlicher Hinsicht beanstandet. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (vgl. E. 1 hievor). Die Beschwerde ist demzufolge abzuweisen.
6. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. September 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Kopp Käch