Sachverhalt:
A.
Der 1956 geborene G._ meldete sich am 28. August 2009 unter Hinweis auf Rücken- und Nackenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Er arbeitete bis dahin als Hilfsmaler bei der Firma Q._ AG. Die IV-Stelle des Kantons Zürich klärte in der Folge die Verhältnisse in beruflich-erwerblicher sowie in medizinischer Hinsicht ab. Sie veranlasste unter anderem eine bidisziplinäre Begutachtung durch Dr. med. et Dr. sc. nat. ETH S._, Fachärztin für Innere Medizin und Rheumatologie FMH, (Teilgutachten vom 13. Januar 2011) und Dr. med. A._, Fachärztin für Psychiatrie und Psychotherapie, (Teilgutachten vom 5. Januar 2011). Gestützt darauf stellte die IV-Stelle am 28. Januar 2011 vorbescheidweise die Rentenablehnung mangels anspruchsbegründender Invalidität in Aussicht. In der Folge musste G._ vom 14. Februar 2011 bis 25. März 2011 und wiederum vom 2. November 2011 bis 16. Januar 2012 stationär in der Klinik X._ für Psychiatrie und Psychotherapie hospitalisiert werden. Die jeweiligen Austrittsberichte datieren vom 13. April 2011 und vom 13. Februar 2012. Am 3. April 2012 verfügte die IV-Stelle im Sinne des Vorbescheids.
B.
G._ erhob hiegegen Beschwerde mit dem Antrag auf Zusprechung einer Invalidenrente, eventuell auf Einholung eines erneuten somatischen und psychiatrischen Gutachtens. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 26. September 2013 ab.
C.
G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und seine vorinstanzlichen Rechtsbegehren um Zusprechung einer Invalidenrente und Einholung eines umfassenden medizinischen Gutachtens erneuern.
Die IV-Stelle beantragt Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Es wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 1.4.1 S. 254).
1.2. Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose und die ärztliche Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die auf Grund der medizinischen Untersuchungen gerichtlich konstatierte Arbeits (un) fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), die sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Demgegenüber handelt es sich bei der Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> um eine letztinstanzlich frei beurteilbare Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 8C_162/2013 vom 17. Juli 2013 E. 1.2 am Ende mit Hinweisen).
2.
Letztinstanzlich lässt der Versicherte einen neuen Bericht seiner behandelnden Psychiaterin, Dr. med. B._ vom 11. November 2013 einreichen. Als neues Beweismittel (echtes Novum) bleibt dieser Bericht im letztinstanzlichen Verfahren unbeachtlich (<ref-ruling> E. 2.1 S. 343 f.; Urteil 5A_115/2012 vom 20. April 2012 E. 4.2.2).
3.
Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
Das kantonale Gericht hat die Bestimmungen und Grundsätze zu den Begriffen Invalidität (<ref-law>, <ref-law>) und Erwerbsunfähigkeit (<ref-law>), zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (<ref-law>), zum Rentenbeginn, zum Untersuchungsgrundsatz sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten (<ref-ruling> E. 4 S. 261; vgl. ferner <ref-ruling> E. 4 S. 99) zutreffend dargelegt. Darauf wird verwiesen.
4.
Die Vorinstanz stellte zunächst gestützt auf das rheumatologische Gutachten der Dr. med. et Dr. sc. nat. S._ fest, es liege objektiv kein wesentlicher pathologischer Befund vor. Bildgebend sei einzig eine massive Osteochondrose L4/5 ohne Kompression der neuralen Strukturen gefunden worden. Die Tätigkeit als Hilfsmaler mit der Notwendigkeit von ergonomisch ungünstigen Rückenhaltungen und Heben von Lasten über 15 kg sei dem Versicherten seit dem 4. Mai 2009 nicht mehr zumutbar. Hingegen sei ihm eine der eingeschränkten Funktion der Lendenwirbelsäule adaptierte Tätigkeit vollumfänglich möglich. Es habe für eine solche nie eine längerfristige Arbeitsunfähigkeit bestanden. Hinsichtlich des psychischen Gesundheitszustandes stützte sich das kantonale Gericht auf das Gutachten der Dr. med. A._ vom 5. Januar 2011. Der Beschwerdeführer leide demnach an einer rezidivierenden mittelgradigen Episode einer depressiven Störung. Aus psychiatrischer Sicht bestehe in der Tätigkeit als Maler seit Ende 2009 eine 40%ige Arbeitsunfähigkeit. Für gut strukturiere Routinearbeiten, ohne ständige Zusammenarbeit mit anderen und ohne Leistungsdruck, aber der Möglichkeit, sich zu zusätzlichen Pausen zurückzuziehen, beziffere sich die Arbeitsunfähigkeit in rückenadaptierten Tägigkeiten auf 30 %. Für den Zeitpunkt des hypothetischen Rentenbeginns am 1. Mai 2010 ermittelte die Vorinstanz bei einem Valideneinkommen von Fr. 62'051.- und einem Invalideneinkommen von Fr. 38'533.- unter Berücksichtigung eines sogenannten leidensbedingten Abzuges in der Höhe von 10 % einen Invaliditätsgrad von 38 % und wies den Anspruch auf eine Invalidenrente ab.
5.
5.1. Der Beschwerdeführer kritisiert zunächst die vorinstanzliche Würdigung des rheumatologischen Gutachtens der Dr. med. et Dr. sc. nat. S._. Seine Einwendungen erschöpfen sich dabei weitgehend in einer im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässigen appellatorischen Kritik. Insbesondere genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2b). Der Versicherte beschränkt sich bezüglich des materiellen Gehalts der Begründung über weite Teile auf Wiederholungen der Vorbringen im kantonalen Verfahren. Die Vorinstanz setzte sich indessen eingehend mit den Berichten der genannten Gutachterin sowie mit jenen der behandelnden Ärzte, namentlich mit jenem von Dr. med. H._ vom 17. September 2009, auseinander und legte einleuchtend dar, weshalb auf das Gutachten abgestellt werden kann. Das gilt auch hinsichtlich der nicht substanziiert vorgetragenen Vorwürfe über ein unkorrektes Verhalten der Gutachterin. Inwiefern die Nationalität eines zur Begutachtung beigezogenen Übersetzers für die Erhebung objektiver somatischer Befunde von Bedeutung sein sollte, ist für das Gericht nicht ersichtlich. Auf die entsprechenden Vorbringen in der Beschwerde ist nicht weiter einzugehen. Bei dieser Sachlage hat die Vorinstanz in zulässiger Beweiswürdigung auf weitere Abklärungen des somatischen Gesundheitszustandes verzichtet.
5.2. Weiter lässt der Versicherte vorbringen, das Gutachten S._/A._ umfasse nur seinen Gesundheitszustand bis zum Januar 2011, wohingegen die Verfügung vom April 2012 datiere. In diesem Zeitraum sei er zweimal stationär psychiatrisch behandelt worden. Sein diesbezüglicher Gesundheitszustand habe sich klar verschlechtert, was im angefochtenen Entscheid zu wenig berücksichtigt worden sei.
5.2.1. In ihrem Gutachten vom 5. Januar 2011 hatte Dr. med. A._ eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, mit somatischem Syndrom (ICD-10 F33.11), seit Ende 2009 diagnostiziert. Diese Diagnose habe Auswirkung auf die Arbeitsfähigkeit. Zusätzlich kämen eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4) bei Belastung in Zusammenhang mit der Arbeit (ICD-10 Z56.6), Probleme in der Beziehung zum Ehepartner (ICD-10 Z63.0) sowie kranke und psychisch gestörte Familienangehörige (ICD-10 Z63.7) dazu, welche ohne Auswirkung auf die Arbeitsfähigkeit blieben. Sowohl im Austrittsbericht der Klinik X._ vom 29. April 2011 als auch in jenem vom 13. Februar 2012 werden neben den bereits im Gutachten angeführten Nebendiagnosen bezüglich der Familienprobleme eine rezidivierende depressive Störung, gegenwärtig schwere Episode, ohne psychotische Symptome gestellt.
5.2.2. Das kantonale Gericht hält unter anderem unter Berufung auf die Stellungnahme der Dr. med. A._ vom 18. Juli 2011 zum ersten Austrittsbericht der Klinik X._ fest, ein erheblicher familiärer Konflikt sei Auslöser für den freiwilligen stationären Klinikeintritt gewesen. Diese Belastungen könnten versicherungsmedizinisch nicht als Gesundheitsschaden beurteilt werden. Die behandelnden Ärzte der Klinik X._ würden in ihrer Einschätzung offenbar auf das in der Medizin weit verbreitete bio-psycho-soziale Krankheitsmodell abstellen. Insoweit als Dr. med. A._ von einer mittelgradigen Episode einer depressiven Störung ausgegangen sei, stehe dies damit nicht in Widerspruch zu der Diagnosestellung der Klinik X._, weil die Gutachterin die psychosozialen Belastungsfaktoren ausgeschieden habe.
5.2.3. Dieser Beurteilung kann nicht gefolgt werden. Die Invalidenversicherung ist eine finale Versicherung, das heisst, es wird nicht nach der Art und Genese eines Gesundheitsschadens gefragt, welcher die Erwerbsunfähigkeit verursacht. Der Gesundheitszustand ist folglich immer gesamtheitlich zu betrachten. Selbst eine Erwerbsunfähigkeit, deren psychogene krankhafte Grundlage (auch) durch eine soziokulturelle Überforderung verursacht worden ist, fällt in den Geltungsbereich der Invalidenversicherung, vorausgesetzt es handelt sich um ein verselbstständigtes psychisches Leiden. Eine rentenbegründende Invalidität kann damit nicht allein mit dem Hinweis auf das Vorhandensein soziokultureller oder psychosozialer Belastungsfaktoren verneint werden (<ref-ruling> E. 3.2.1 S. 281, 127 V 294 E. 5a S. 299; vgl. ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl., 2010, S. 24 und 27 mit Hinweisen).
5.2.4. Die Widersprüche zwischen den fachärztlichen Einschätzungen und Diagnosen sind mit dem vorinstanzlichen Hinweis auf die soziokulturelle (Mit-) Ursache der psychischen Erkrankung des Beschwerdeführers nicht ausgeräumt. Mit den vorhandenen medizinischen Akten lassen sich die Diagnosen und die Arbeitsfähigkeit im Zeitpunkt der Rentenverfügung nicht verlässlich beurteilen. Es ist nicht ersichtlich, welchen Schweregrad die depressive Erkrankung unabhängig ihrer Genese aufweist, ab welchem Zeitpunkt allenfalls eine Verschlechterung eingetreten ist und ob es sich um ein verselbstständigtes, von der psychosozialen Belastungssituation klar zu unterscheidendes Leiden handelt. Es bedarf dazu weiterer psychiatrischer Abklärung. Indem das kantonale Gericht davon abgesehen hat, hat es den rechtserheblichen Sachverhalt ungenügend abgeklärt und somit den Untersuchungsgrundsatz verletzt. Dies führt dazu, dass der angefochtene Entscheid aufzuheben und die Sache zur Einholung eines psychiatrischen Gerichtsgutachtens und zum neuen Entscheid über die Beschwerde an die Vorinstanz zurückzuweisen ist. In diesem Sinne ist die letztinstanzliche Beschwerde teilweise gutzuheissen.
6.
Bei diesem Verfahrensausgang ist die IV-Stelle kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 26. September 2013 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. April 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Schüpfer