Sachverhalt:
A. Der 1968 geborene C._ war seit 1. Juli 1997 als Gärtner-Vorarbeiter bei der Firma H._ GmbH tätig. Am 6. November 2007 meldete er sich unter Hinweis auf eine Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich traf Abklärungen in erwerblicher und medizinischer Hinsicht. U.a. zog sie ein von der Basler Versicherungs-Gesellschaft veranlasstes Gutachten des Zentrums X._ vom 19. Februar 2008 und einen Bericht des Spitals T._ vom 22. Juli 2008 bei. Am 1. September 2008 trat C._ bei der Firma H._ GmbH ein neues Anstellungsverhältnis mit geändertem Arbeitsbereich und zu einem tieferen Lohn an. Mit Verfügung vom 8. Januar 2009 lehnte die IV-Stelle das Invalidenrentengesuch da ein Invaliditätsgrad von 33 % vorliege.
B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Februar 2010 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine halbe Invalidenrente, eventuell eine Viertelsrente, zuzusprechen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. 2.1 In Würdigung der medizinischen Unterlagen, insbesondere des Gutachtens des Zentrums X._ vom 19. Februar 2008 und der Berichte des Spitals T._, gelangte die Vorinstanz zum Schluss, dem Beschwerdeführer sei die bisher ausgeübte Tätigkeit nicht mehr zumutbar. Hingegen falle die von ihm gemäss neuem Arbeitsvertrag vom 1. September 2008 mit der Firma H._ GmbH zu 100 % verrichtete, leichtere Tätigkeit mit angepasstem Pflichtenheft aufgrund seines Gesundheitszustandes in Betracht. Für die Ermittlung des hypothetischen Einkommens ohne Invalidität (Valideneinkommen) im Rahmen des Einkommensvergleichs ging das kantonale Gericht von den Angaben der Arbeitgeberfirma aus, wonach ein Gartenbau-Vorarbeiter zwischen Fr. 75'000.- bis Fr. 80'000.- im Jahr verdiene, und setzte das Valideneinkommen dementsprechend auf Fr. 78'000.- fest (13 x Fr. 6'000.-). Als Invalideneinkommen zog die Vorinstanz den vom Beschwerdeführer an seiner neuen Arbeitsstelle erzielten Lohn von Fr. 49'400.- im Jahr (13 x Fr. 3'800.-) heran. Verglichen mit dem Valideneinkommen von Fr. 78'000.- resultierte ab 1. September 2008 ein Invaliditätsgrad von aufgerundet 37 %. Für die Zeitspanne ab März 2008 bis August 2008 ermittelte das kantonale Gericht anhand der Tabellenlöhne gemäss Lohnstrukturerhebung 2008 des Bundesamtes für Statistik einen Invaliditätsgrad von 38,49 %.
2.2 Der Beschwerdeführer wendet ein, die Vorinstanz habe bei der Bemessung des Valideneinkommens zu Unrecht die ihm ausgerichtete Spesenentschädigung von Fr. 6'000.- im Jahr nicht als Einkommen anerkannt. Ferner sei es nicht zulässig, den gegenwärtigen Verdienst als Invalideneinkommen zu berücksichtigen; es handle sich nicht um ein stabiles Arbeitsverhältnis. Weiter sei im Lohn von Fr. 49'400.- ein Spesenanteil enthalten, beziehe er doch weiterhin eine nicht separat ausgewiesene Spesenentschädigung von Fr. 500.- im Monat.
2.3 Den Darlegungen der Vorinstanz zu den erwerblichen Auswirkungen des Gesundheitsschadens des Versicherten ist beizupflichten. Der vom kantonalen Gericht vorgenommene Einkommensvergleich lässt sich, soweit einer letztinstanzlichen Überprüfung zugänglich (vgl. dazu <ref-ruling> E. 3.3 S. 399), nicht beanstanden. Da es sich bei der Spesenentschädigung nicht um massgebenden Lohn im Sinne der AHV-Gesetzgebung handelt, gilt sie nicht als Erwerbseinkommen nach <ref-law>. Die Behauptung des Versicherten, auch im Invalideneinkommen sei eine Spesenentschädigung in der Höhe von monatlich Fr. 500.- enthalten, findet in den gestützt auf den Arbeitsvertrag vom 1. September 2008, welcher einen Bruttolohn von Fr. 3'800.- mit gleich hoher Gratifikation, zahlbar im Dezember ausweist, getroffenen verbindlichen Feststellungen der Vorinstanz keine Grundlage. Dass das Sozialversicherungsgericht sodann den rechtserheblichen Sachverhalt in diesem Punkt offensichtlich unrichtig oder sonst wie unter Verletzung von Bundesrecht festgehalten habe, kann nach der Aktenlage nicht gesagt werden. Soweit die Vorinstanz aufgrund des Pflichtenhefts des Beschwerdeführers, des Arbeitsvertrages und in Würdigung der weiteren massgebenden Umstände darlegt, das neue, am 1. September 2008 angetretene Arbeitsverhältnis mit der Firma H._ GmbH sei als stabil zu betrachten und der vereinbarte Monatslohn von Fr. 3'800.- (x 13) enthalte keine Soziallohnkomponente, welche beim Invalideneinkommen ausser Acht zu lassen wäre, sodass das erzielte Einkommen rechtsprechungsgemäss als Invalideneinkommen herangezogen werden könne, verletzt sie weder Bundesrecht noch liegt eine offensichtlich unrichtige Sachverhaltsfeststellung vor (E. 1 hievor). Der Einkommensvergleich ab 1. September 2008, der einen Invaliditätsgrad von rund 37 % ergab, ist ebenso wenig einer Kritik zugänglich wie derjenige für die Zeitspanne ab März bis August 2008, bei welchem anhand der Tabellenlöhne und unter Berücksichtigung eines leidensbedingten Abzuges von 20 % ein Invaliditätsgrad von 38,49 % resultierte, womit sich ebenfalls kein rentenbegründender Invaliditätsgrad ergab.
3. Dem Prozessausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Mai 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer