Sachverhalt: A. Der 1968 geborene C._ war seit 1. Juli 1997 als Gärtner-Vorarbeiter bei der Firma H._ GmbH tätig. Am 6. November 2007 meldete er sich unter Hinweis auf eine Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich traf Abklärungen in erwerblicher und medizinischer Hinsicht. U.a. zog sie ein von der Basler Versicherungs-Gesellschaft veranlasstes Gutachten des Zentrums X._ vom 19. Februar 2008 und einen Bericht des Spitals T._ vom 22. Juli 2008 bei. Am 1. September 2008 trat C._ bei der Firma H._ GmbH ein neues Anstellungsverhältnis mit geändertem Arbeitsbereich und zu einem tieferen Lohn an. Mit Verfügung vom 8. Januar 2009 lehnte die IV-Stelle das Invalidenrentengesuch da ein Invaliditätsgrad von 33 % vorliege. B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Februar 2010 ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine halbe Invalidenrente, eventuell eine Viertelsrente, zuzusprechen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.