Sachverhalt:
Mit Verfügung vom 26. Juni 2006 sprach die IV-Stelle des Kantons Zürich dem 1952 geborenen P._, der vom 18. Mai 1979 bis 29. Februar 2004, zuletzt als Vorarbeiter, bei der Batigroup AG tätig war, gestützt auf einen Invaliditätsgrad von 48 % ab 1. April 2005 eine Viertelsrente zu. Auf Einsprache sowohl des Versicherten wie auch der Pensionskasse der Batigroup (nunmehr: Implenia Vorsorge B) hin verneinte die IV-Stelle das Vorliegen eines rentenbegründenden Invaliditätsgrades und stellte die Zahlung der bis zu diesem Zeitpunkt ausgerichteten Viertelsrente mit sofortiger Wirkung ein (Entscheid vom 3. Mai 2007).
Die hiegegen von P._ erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Oktober 2008 ab.
P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm mindestens eine halbe Invalidenrente zu gewähren. Eventuell sei die Sache an das kantonale Gericht zwecks Vornahme der erneuten medizinischen und erwerblichen Abklärungen zurückzuweisen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von Art. 95 lit. a BGG dar (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N 24 zu Art. 97).
2. 2.1 Das kantonale Gericht hat in Würdigung des medizinischen Dossiers, insbesondere gestützt auf das Gutachten des Instituts X._ vom 22. Dezember 2005, erwogen, dass in einer körperlich leichten bis mittelschweren Tätigkeit in wechselnder Position und ohne längerdauernde Zwangshaltungen der unteren Wirbelsäule eine vollzeitliche Arbeitsfähigkeit mit einer Leistungseinbusse von 20 %, entsprechend einer zumutbaren Arbeitsfähigkeit von 80 %, bestehe. Da der Versicherte wegen erfolgter leidensfremder Kündigung nicht mehr an seinem früheren Arbeitsplatz tätig wäre, sei der im Baugewerbe mutmasslich erzielte Lohn anhand der statistischen Tabellenlöhne zu ermitteln, was für das Jahr 2005 ein Einkommen von Fr. 67'443.15 ergebe. Unter Berücksichtigung eines Einkommens aus Nebenerwerb als Hauswart von Fr. 7935.45 im Jahr 2005 betrage das Valideneinkommen gesamthaft Fr. 75'378.60. Für das Invalideneinkommen sei auf den Zentralwert für die mit einfachen und repetitiven Aufgaben beschäftigten Männer abzustellen, woraus für das Jahr 2005 ein Einkommen von Fr. 57'750.85 resultiere. Unter Berücksichtigung der Leistungseinbusse von 20 % und eines zusätzlichen Abzuges von 5 % vom Tabellenlohn belaufe sich das Invalideneinkommen für die Haupterwerbstätigkeit auf Fr. 43'890.65. Da die Nebenerwerbstätigkeit als Hauswart weiterhin zumutbar sei, sei ihm ein zusätzliches Invalideneinkommen von Fr. 6348.35 (80 % von Fr. 7935.45) anzurechnen. Insgesamt belaufe sich das Invalideneinkommen auf Fr. 50'239.-. Verglichen mit dem hypothetischen Valideneinkommen von Fr. 75'378.60 resultiere eine Einkommenseinbusse von Fr. 25'139.60, was einen Invaliditätsgrad von 33,35 % ergebe.
2.2 Die tatsächlichen Feststellungen des kantonalen Gerichts sind nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Namentlich hat das kantonale Gericht eingehend begründet, weshalb es für die Beurteilung der Arbeitsfähigkeit auf das Gutachten des Instituts X._ vom 22. Dezember 2005 abgestellt hat. Diese Schlussfolgerung ist nach der Aktenlage nicht offensichtlich unrichtig, noch ist darin eine unvollständige Sachverhaltsfeststellung oder eine Verletzung des Untersuchungsgrundsatzes zu erblicken. Da keine erheblichen Zweifel an Vollständigkeit und/oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen (vgl. Urteil 8C_364/2007 vom 19. November 2007, E. 3.2), hat das kantonale Gericht zu Recht von Beweisweiterungen abgesehen. Das Gutachten des Instituts X._ vom 22. Dezember 2005 entspricht den Anforderungen der Rechtsprechung (<ref-ruling> E. 3a S. 352 mit Hinweis). Es berücksichtigt die geklagten Leiden, stützt sich auf die Vorakten, leuchtet in der Beurteilung der medizinischen Zusammenhänge ein und enthält eine nachvollziehbare Begründung der Schlussfolgerungen, warum seitens der ärztlichen Sachverständigen keine höheren Einschränkungen der Arbeitsfähigkeit attestiert wurden. Von einer willkürlichen Beweiswürdigung durch die Vorinstanz kann deshalb nicht gesprochen werden, auch nicht hinsichtlich der Leistungseinbusse in der Nebentätigkeit als Hauswart.
2.3 Die Ermittlung eines Invaliditätsgrades von weniger als 40 % aufgrund der Einkommensvergleichsmethode ist bundesrechtskonform. Für das Valideneinkommen hat das kantonale Gericht zu Recht nicht auf den zuletzt bei der früheren Arbeitgeberin verdienten Lohn abgestellt, weil der Beschwerdeführer diese Stelle nach den verbindlichen Feststellungen des kantonalen Gerichts aus invaliditätsfremden Gründen verloren hat und als Gesunder nicht mehr an der bisherigen langjährigen Arbeitsstelle tätig wäre. Das Vorgehen des kantonalen Gerichts entspricht der höchstrichterlichen Rechtsprechung (Urteil des Eidgenössischen Versicherungsgerichts vom 28. Januar 2004, I 95/03, E. 4.2.2). Es besteht kein Anlass, von dieser Rechtsprechung abzugehen. Der beruflichen Qualifikation und langjährigen Berufserfahrung als Vorarbeiter hat die Vorinstanz mit der Anerkennung des Anforderungsniveaus 3 Rechnung getragen. Wenn in der Beschwerde die von 2000 bis 2003 bei der früheren Arbeitgeberin bezogenen Löhne aufgelistet werden (S. 3), geht dies an der Sache vorbei, weil es für die Festlegung des Valideneinkommens nicht auf die "effektiven Löhne" sondern auf die hypothetischen Einkünfte ankommt, welche die versicherte Person ohne Gesundheitsschaden mit überwiegender Wahrscheinlichkeit erzielen würde (Art. 16 ATSG; SVR 2009 IV Nr. 6 S. 11). Diese Anforderung gilt für alle Versichertenkategorien in gleicher Weise, weshalb von einer EMRK-rechtlich erheblichen Diskriminierung von Angehörigen körperlich belastender Berufe nicht die Rede sein kann. Im Falle des Beschwerdeführers ist es unwahrscheinlich, dass er nach der - von der Vorinstanz verbindlich als nicht leidensbedingt erfolgt festgestellten - Entlassung auf den 29. Februar 2004 weiterhin das bisherige Lohnniveau erreicht hätte.
Soweit der Beschwerdeführer geltend macht, der Abzug vom Tabellenlohn sei auf 50 % festzusetzen, kann ihm nicht gefolgt werden. Bei der Höhe des Abzugs handelt es sich um eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nurmehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 3.3 S. 399). Der Beschwerdeführer legt nicht dar, welche Aspekte und Kriterien das kantonale Gericht und die IV-Stelle bei der konkreten Festsetzung der Höhe des Abzugs nicht berücksichtigt oder ausser Acht gelassen haben. Auch in diesem Zusammenhang sind entgegen der Auffassung des Beschwerdeführers keine Gründe ersichtlich, um von der Rechtsprechung (<ref-ruling>) zur maximal zulässigen Höhe des Abzugs von 25 % abzuweichen. Eine Verletzung der Wirtschaftsfreiheit oder sonstiger Grundrechte liegt sodann nicht vor. Die Ermittlung des Invaliditätsgrades beruht auf einer mängelfreien Feststellung des Sachverhalts und korrekten Anwendung von Gesetz und Rechtsprechung.
3. Der Beschwerdeführer hat als unterliegende Partei die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Juli 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer