Sachverhalt:
A.
A.a. Der 1962 geborene A._ arbeitete als Chauffeur bei der B._ AG. Im Juli 2009 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in beruflicher und medizinischen Hinsicht, darunter einer Begutachtung durch Dr. med. C._, Facharzt FMH für Rheumatologie und Innere Medizin (Expertise vom 30. April 2010), wies die IV-Stelle des Kantons Zürich das Rentenbegehren mit Verfügung vom 22. Juni 2010 ab. Diese wurde rechtskräftig.
A.b. Auf Neuanmeldung im März 2011 hin zog die IV-Stelle wiederum verschiedene Arztberichte bei und veranlasste eine bidisziplinäre Begutachtung durch die Dres. med. D._, Facharzt FMH für Rheumatologie, und E._, Facharzt FMH für Psychiatrie und Psychotherapie (Expertise vom 26. Oktober 2011). Mit Verfügung vom 7. September 2012 verneinte sie erneut einen Leistungsanspruch.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Dezember 2013 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm eine angemessene Invalidenrente in der Höhe von 60 % auszurichten, eventualiter sei die Sache zur Einholung eines psychiatrischen Gutachtens an die Verwaltung zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> und <ref-law>). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_999/2010 vom 14. Februar 2011 E. 1 und 9C_735/2010 vom 21. Oktober 2010 E. 3; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1).
Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen S. 5). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 mit Hinweis S. 246).
2.
Das kantonale Gericht hat die Grundlagen über die Invalidität (<ref-law>; <ref-law>), die Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>) sowie zu den Voraussetzungen und zum Umfang des Rentenanspruchs (<ref-law> [in der seit 1. Januar 2008 in Kraft stehenden Fassung]) richtig dargelegt. Gleiches gilt in Bezug auf die Grundsätze zur Neuanmeldung (<ref-law>) und den dabei geltenden Regeln der Rentenrevision (<ref-law>; <ref-ruling> E. 3.5 S. 349, 117 V 198 E. 3a je mit Hinweisen) sowie zu den dabei massgebenden Vergleichszeitpunkten (<ref-ruling> E. 5 S. 110 ff.). Richtig sind auch die Ausführungen über den invalidisierenden Charakter psychischer Gesundheitsschäden (<ref-ruling> E. 1.2 S. 50 f.; <ref-ruling> ff., 396 ff.), die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 mit Hinweis) und den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232 mit Hinweis). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht stellte nach eingehender Würdigung der medizinischen Unterlagen entscheidend auf die Expertise der Dres. med. D._ und E._ vom 26. Oktober 2011 ab. Dieses erfülle grundsätzlich sämtliche Anforderungen an ein beweistaugliches Gutachten. Nach Lage der Akten habe sich der physische Gesundheitszustand des Beschwerdeführers seit der rechtskräftigen Verfügung vom 22. Juni 2010 nicht in anspruchsbeeinflussender Weise verschlechtert. Die Diagnosen seien unverändert. Soweit eine eingeschränkte Arbeitsfähigkeit in einer angepassten Tätigkeit bescheinigt werde, handle es sich bloss um eine andere Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes. Hingegen weise der Versicherte mittlerweile auch einen psychischen Gesundheitsschaden auf. Gemäss erwähntem Gutachten sei dem Beschwerdeführer trotzdem eine angepasste 100%ige Tägigkeit zumutbar, da er zwar gesundheitliche Beeinträchtigungen hinnehmen müsse, eine die Arbeitsfähigkeit massgeblich weiter einschränkende Verschlechterung des Gesundheitszustandes aber nicht ausgewiesen sei. Bei diesem Ergebnis erübrige sich hinsichtlich der diagnostizierten anhaltenden somatoformen Schmerzstörung die Prüfung der sogenannten "Foerster-Kriterien". Trotzdem prüfte die Vorinstanz diese und verneinte die Voraussetzungen zur Annahme einer ausnahmsweisen Unüberwindbarkeit des Schmerzsyndroms.
3.2. Die Einwendungen des Beschwerdeführers erschöpfen sich weitgehend in einer appellatorischen, im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässigen Kritik an der vorinstanzlichen Beweiswürdigung. Im Lichte der eingangs erwähnten Beweisregeln und Grundsätze zur Beweiswürdigung ist die vorinstanzliche Sachverhaltsfeststellung und die entsprechende Beweiswürdigung nicht mangelhaft im Sinne von <ref-law>. Die Vorinstanz setzte sich eingehend mit dem Gutachten vom 26. Oktober 2011, aber auch mit den Berichten der Psychiater, Dr. med. F._, vom 21. Februar 2011 und pract. med. G._ vom 5. Oktober 2012 auseinander und begründete einleuchtend, weshalb sie bei zumutbarer Willensanstrengung von einer vollständigen Arbeitsfähigkeit in einer angepassten Tätigkeit ausgeht. Das kantonale Gericht hat sich mit der unterschiedlichen Diagnosestellung und Einschätzung der Arbeitsfähigkeit durch die behandelnden Spezialärzte befasst und ausführlich dargelegt, weshalb kein invalidenversicherungsrechtlich relevanter psychischer Gesundheitsschaden vorliegt. Namentlich hat es die diagnostizierte Anpassungsstörung nicht per se als invalidisierendes psychisches Leiden qualifiziert (Urteile 9C_4/2013 vom 19. Dezember 2013 E. 2.2; 8C_1055/2010 vom 17. Februar 2011 E. 4.3; 9C_408/2010 E. 4.3 mit Hinweisen; 8C_322/2010 vom 9. August 2010 E. 5.2). Der Beschwerdeführer zeigt nicht auf, inwiefern die Erwägungen der Vorinstanz schlechterdings unhaltbar wären.
3.3. Obwohl das kantonale Gericht eine massgebliche Verschlechterung des Gesundheitszustandes seit der letzten rechtskräftigen Abweisung des Rentengesuchs verneinte, prüfte es angesichts der diagnostizierten anhaltenden somatoformen Schmerzstörung in Anwendung der Rechtsprechung gemäss BGE <ref-ruling> anhand der sogenannten "Foerster-Kriterien", ob die dadurch verursachte vorübergehende Einschränkung in der Arbeitsfähigkeit ausnahmsweise unüberwindbar sei. Es gelangte zum Schluss, dem Versicherten sei unter Aufbietung allen guten Willens zumutbar, seine Schmerzen zu überwinden und die verbliebene Arbeitskraft zu verwerten: Eine psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer sei nicht ausgewiesen. Zwar könne ausnahmsweise auch eine leichte depressive Episode eine solche darstellen. Es sei aber der konkrete Sachverhalt zu beurteilen. Vorliegend habe der behandelnde Psychiater in seinem jüngsten Bericht vom 5. Oktober 2012 nur noch eine Schmerzproblematik, aber keine depressive Symptomatik mehr erwähnt. Auch die weiteren Kriterien welche die Überwindbarkeit der somatoformen Schmerzstörung ausschliessen würden, seien nicht gegeben. Es liege keine schwere somatische Erkrankung vor. Hinzu komme eine erhebliche Diskrepanz hinsichtlich des Schmerzäusserungsverhaltens bei der rheumatologischen Untersuchung in beobachteten und abgelenkten Situationen. Und schliesslich seien nach Ansicht der Gutachter auch die therapeutischen Möglichkeiten nicht ausgeschöpft. Damit lägen die Kriterien nicht in genügender Intensität und Konstanz vor, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (<ref-ruling> E. 1.2 S. 66 mit Hinweis). Diese Beurteilung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis (vgl. zu deren Umfang insbesondere bei somatoformen Schmerzstörungen: SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2) entgegen der Vorbringen in der Beschwerde nicht zu beanstanden.
4.
Da sich gemäss angefochtenem Entscheid im massgeblichen Zeitraum am Gesundheitszustand und beim Grad der Arbeitsunfähigkeit keine wesentliche Änderung ergeben haben, erübrigt es sich, eine Invaliditätsbemessung mit Einkommensvergleich vorzunehmen. Mangels invalidenversicherungsrechtlich relevanter Verschlechterung des Gesundheitszustands besteht nach wie vor kein Rentenanspruch.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Juli 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Schüpfer