Sachverhalt: Mit Verfügung vom 26. Juni 2006 sprach die IV-Stelle des Kantons Zürich dem 1952 geborenen P._, der vom 18. Mai 1979 bis 29. Februar 2004, zuletzt als Vorarbeiter, bei der Batigroup AG tätig war, gestützt auf einen Invaliditätsgrad von 48 % ab 1. April 2005 eine Viertelsrente zu. Auf Einsprache sowohl des Versicherten wie auch der Pensionskasse der Batigroup (nunmehr: Implenia Vorsorge B) hin verneinte die IV-Stelle das Vorliegen eines rentenbegründenden Invaliditätsgrades und stellte die Zahlung der bis zu diesem Zeitpunkt ausgerichteten Viertelsrente mit sofortiger Wirkung ein (Entscheid vom 3. Mai 2007). Die hiegegen von P._ erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Oktober 2008 ab. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm mindestens eine halbe Invalidenrente zu gewähren. Eventuell sei die Sache an das kantonale Gericht zwecks Vornahme der erneuten medizinischen und erwerblichen Abklärungen zurückzuweisen.