Sachverhalt: A. A.a. Der 1962 geborene A._ arbeitete als Chauffeur bei der B._ AG. Im Juli 2009 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in beruflicher und medizinischen Hinsicht, darunter einer Begutachtung durch Dr. med. C._, Facharzt FMH für Rheumatologie und Innere Medizin (Expertise vom 30. April 2010), wies die IV-Stelle des Kantons Zürich das Rentenbegehren mit Verfügung vom 22. Juni 2010 ab. Diese wurde rechtskräftig. A.b. Auf Neuanmeldung im März 2011 hin zog die IV-Stelle wiederum verschiedene Arztberichte bei und veranlasste eine bidisziplinäre Begutachtung durch die Dres. med. D._, Facharzt FMH für Rheumatologie, und E._, Facharzt FMH für Psychiatrie und Psychotherapie (Expertise vom 26. Oktober 2011). Mit Verfügung vom 7. September 2012 verneinte sie erneut einen Leistungsanspruch. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Dezember 2013 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm eine angemessene Invalidenrente in der Höhe von 60 % auszurichten, eventualiter sei die Sache zur Einholung eines psychiatrischen Gutachtens an die Verwaltung zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.