Sachverhalt:
A.
Der 1959 geborene A._ meldete sich im Februar 2014 unter Hinweis auf Depressionen, eine posttraumatische Belastungsstörung (nachfolgend: PTBS) und ein Kriegstrauma bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte verschiedene Abklärungen aus medizinischer Sicht und holte bei Dr. med. B._ ein psychiatrisches Gutachten ein, das vom 19. Juli 2017 datiert. Mit Verfügung vom 16. Mai 2018 verneinte sie einen Rentenanspruch, da keine invalidenversicherungsrechtlich relevante Einschränkung der Arbeitsfähigkeit ausgewiesen sei.
B.
Die dagegen erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Januar 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des angefochtenen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen und neuem Entscheid an die Vorinstanz zurückzuweisen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es einen Rentenanspruch verneinte.
2.1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law> i.V.m. <ref-law>), den Anspruch auf eine Invalidenrente (<ref-law>) sowie betreffend die Beweiswürdigung und den Beweiswert medizinischer Berichte und Gutachten (vgl. <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) zutreffend dargelegt. Korrekt sind auch die Ausführungen zur Beurteilung der Invalidität bei psychischen Leiden anhand der sog. Standardindikatoren (<ref-ruling>; <ref-ruling> und 418). Darauf wird verwiesen.
Zu ergänzen ist, dass seit <ref-ruling> E. 5.2 S. 345 ff. auch die PTBS in den Anwendungsbereich des strukturierten Beweisverfahrens fällt (vgl. Urteil 9C_273/2018 vom 28. Juni 2018 E. 6.1.2).
2.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Frei überprüfbare Rechtsfragen sind hingegen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten. Gleiches gilt für die Frage, ob und in welchem Umfang die Feststellungen in einem medizinischen Gutachten anhand der rechtserheblichen Indikatoren auf eine Arbeitsunfähigkeit schliessen lassen (vgl. <ref-ruling> E. 7 S. 308 f.).
3.
Die Vorinstanz hat der psychiatrischen Expertise des Dr. med. B._ vom 19. Juli 2017 Beweiskraft zuerkannt, wonach aufgrund der beim Beschwerdeführer diagnostizierten leichten depressiven Störung (ICD-10 F32.0) in der zuletzt ausgeübten Tätigkeit als Recyclist eine 90%ige und für angepasste Tätigkeiten eine vollständig erhaltene Arbeitsfähigkeit bestehe. Das kantonale Gericht hat erwogen, die fehlenden Befunde und festgestellten Inkonsistenzen sprächen gegen das Vorliegen einer PTBS (ICD-10 F43.1). Auf eine (eigene) Indikatorenprüfung gemäss <ref-ruling> hat es verzichtet und einen invalidisierenden psychischen Gesundheitsschaden verneint.
4.
Was der Beschwerdeführer dagegen vorbringt, verfängt nicht:
4.1. Soweit er vorab moniert, das psychiatrische Gutachten des Dr. med. B._ missachte die mit <ref-ruling> begründeten Grundsätze eines strukturierten Beweisverfahrens, dringt er nicht durch. Im Gegenteil äusserte sich der psychiatrische Gutachter schlüssig zu Schweregrad und Ausprägung der diagnoserelevanten Befunde, zum Behandlungs- und Eingliederungserfolg, zum ausgewiesenen Leidensdruck, zu den persönlichen Ressourcen, zum sozialen Kontext sowie zur Konsistenz, wobei er die subjektiven Angaben des Versicherten einbezog. Nach verbindlicher Sachverhaltsfeststellung (vgl. E. 1) des kantonalen Gerichts traf Dr. med. B._ ausserdem eigene Abklärungen zu den Umständen der Arbeitsaufgabe, wobei ihm ein Lebenslauf mit Angaben zu den bisherigen beruflichen Tätigkeiten sowie diverse Arztzeugnisse zur Verfügung standen. Das explizit am IV-Rundschreiben Nr. 339 vom 9. September 2015 orientierte Gutachten trägt damit sämtlichen Indikatoren Rechnung und entspricht den normativen Vorgaben. Insbesondere was die in der Beschwerde kritisierte Aufgabenverteilung zwischen medizinischem Sachverständigen und rechtsanwendenden Stellen betrifft, ist eine Verletzung von Bundesrecht weder erkennbar noch beschwerdeweise substanziiert dargelegt (vgl. <ref-ruling> E. 3.2.1 S. 363 f. mit Hinweis auf <ref-ruling> E. 5.2 S. 306 f. und 140 V 193 E. 3.2 S. 195).
4.2. Im Weiteren enthält die Beschwerde Tatsachenrügen, die im Lichte der gesetzlichen Kognition (vgl. E. 1) nicht zu hören sind. Der Beschwerdeführer beschränkt sich im Kern darauf, das bereits im kantonalen Verfahren Vorgebrachte zu wiederholen, hinsichtlich der gutachterlichen Diagnosestellung, den von Dr. med. B._ festgestellten Inkonsistenzen und der Latenzzeit die eigene Sichtweise darzulegen und daraus von der Vorinstanz abweichende Schlüsse zu ziehen. Dem angefochtenen Entscheid ist insbesondere klar zu entnehmen, weshalb die Diskrepanz zwischen den geschilderten Beschwerden und der intakten Möglichkeit einer Alltagsbewältigung und die offenkundig nicht ausgeschöpften Therapiemöglichkeiten therapeutischer und medikamentöser Art ins Gewicht fallen. Darauf kann verwiesen werden. Demgegenüber war, anders als der Beschwerdeführer anzunehmen scheint, weder für die Einschätzungen des Gutachters noch für die Beurteilung der Vorinstanz von entscheidender Bedeutung, ob der Haushalt nur mit Qualitätseinbussen erledigt werden kann, was genau unter den unternommenen Ferienreisen zu verstehen ist oder wie die in der psychiatrischen Expertise beschriebenen Kontakte mit Kollegen im Detail aussehen. Dass das kantonale Gericht offen gelassen hat, ob die Ferienaufenthalte des Beschwerdeführers in Kroatien, dem Land der nach eigenen Angaben erlebten traumatischen Kriegserfahrungen, für sich alleine gegen das Vorliegen einer PTBS sprechen, verletzt vor diesem Hintergrund kein Bundesrecht. Auch anhand der sonstigen in diesem Zusammenhang erhobenen Einwände lässt sich keine willkürliche Beweiswürdigung begründen. Hinsichtlich der vom kantonalen Gericht übernommenen medizinisch-psychiatrischen Feststellungen zur Latenz begnügt sich der Beschwerdeführer schliesslich damit, rein appellatorische Kritik zu üben, worauf nicht weiter einzugehen ist.
4.3. Hinzu kommt, dass den von Versicherungsträgern im Verfahren nach <ref-law> eingeholten, den Anforderungen der Rechtsprechung entsprechenden Gutachten externer Spezialärzte voller Beweiswert zuerkannt werden darf, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 4.4 S. 470; Urteil 9C_18/2019 vom 14. Juni 2019 E. 2.2 mit Hinweisen). Solche vermag der Beschwerdeführer nicht aufzuzeigen. Vielmehr hat die Vorinstanz die abweichenden Einschätzungen des Psychiatrischen Spitals C._ (Austrittsbericht vom 24. Januar 2014) und des behandelnden Psychiaters Dr. med. D._ (Berichte vom 16. Juni 2014, 8. Mai 2015, 28. Januar 2016 und 9. November 2019) einbezogen. Mit Blick auf den Bericht des Dr. med. D._ vom 9. November 2019 ist - abgesehen davon, dass die Vorinstanz auch dazu Stellung genommen hat - darauf hinzuweisen, dass grundsätzlich der Sachverhalt zu beurteilen ist, wie er sich bis zum Verfügungszeitpunkt (hier: 16. Mai 2018) entwickelt hat (<ref-ruling> E. 1b S. 366). Mithin ist dem Unterschied zwischen Behandlungs- und Begutachtungsauftrag Rechnung zu tragen (BGE <ref-ruling> E. 3b/cc S. 353; Urteil 9C_804/2018 vom 23. Januar 2019 E. 2.2). Inwieweit der zentrale vorinstanzliche Schluss, die beim Beschwerdeführer diagnostizierte leichte depressive Episode führe nicht zu einer relevanten Arbeitsunfähigkeit, wohingegen aufgrund fehlender Befunde und Inkonsistenzen insbesondere keine PTBS vorliege, bundesrechtswidrig sein soll, ist nicht ersichtlich. Sämtliche weiteren Vorbringen vermögen daran nichts zu ändern.
4.4. Nach dem Gesagten beruhen die vorinstanzliche Beweiswürdigung und Sachverhaltsfeststellung nicht auf einer Rechtsverletzung; sie sind nicht offensichtlich unrichtig (unhaltbar, willkürlich: <ref-ruling> E. 6.3 S. 375; <ref-ruling> E. 8.1 S. 153) und bleiben daher für das Bundesgericht verbindlich (E. 1). Damit durfte das kantonale Gericht von ergänzenden medizinischen Abklärungen - insbesondere der verlangten Einholung eines Gerichtsgutachtens - absehen, ohne Bundesrecht zu verletzen (antizipierende Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94). Die Beschwerde ist unbegründet.
5.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. April 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Grünenfelder