Sachverhalt:
A.
A.a. Der 1967 geborene und zuletzt bei den Verkehrsbetrieben Zürich als Busführer tätig gewesene A._ hatte im Juni 2011 einen Auffahrunfall erlitten. Im Dezember 2011 meldete er sich unter Hinweis auf Schmerzen im Nacken, an der Hals- und Lendenwirbelsäule sowie verschiedenen psychischen Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle) veranlasste eine polydisziplinäre (allgemeininternistische, orthopädische, neurologische, neuropsychologische, psychiatrische) Begutachtung in der Ärztliches Begutachtungsinstitut GmbH (ABI; Expertise vom 14. Oktober 2013). Gestützt darauf verneinte sie mit Verfügung vom 29. Januar 2015 einen Rentenanspruch bei einem Invaliditätsgrad von 29 %. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab, soweit es darauf eintrat (Urteil vom 31. Oktober 2016). Das Bundesgericht wies die hiegegen gerichtete Beschwerde mit Urteil 9C_21/2017 vom 22. Februar 2018 ab.
A.b. Noch während des laufenden kantonalen Beschwerdeverfahrens machte A._ eine Verschlechterung seines Gesundheitszustands geltend und meldete sich nochmalig bei der Invalidenversicherung zum Leistungsbezug an. Nachdem die IV-Stelle dieses Verfahren bis zum Abschluss des hängigen Gerichtsverfahrens sistiert hatte, wies sie das neue Leistungsbegehren mangels Revisions- bzw. Neuanmeldungsgrunds ab (Verfügung vom 25. Januar 2019).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 9. Juli 2020 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm unter Aufhebung des angefochtenen Urteils rückwirkend eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache an die Vorinstanz bzw. an die IV-Stelle zurückzuweisen, damit diese ihm nach ergänzenden Abklärungen rückwirkend eine angemessene Invalidenrente zuspreche.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. <ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die vollständige Feststellung rechtserheblicher Tatsachen sowie die Beachtung des Untersuchungsgrundsatzes und der Anforderung an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (<ref-ruling> E. 5.1; Urteil 8C_449/2014 vom 11. Dezember 2014 E. 3).
2.
Streitig und zu prüfen ist, ob die vorinstanzlich bestätigte Leistungsablehnung nach Neuanmeldung vor Bundesrecht standhält.
2.1. Das kantonale Gericht hat die Bestimmungen und Grundlagen zu den Begriffen der Invalidität (<ref-law>, <ref-law>) und der Erwerbsunfähigkeit (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a) zutreffend dargelegt. Gleiches gilt für die bei der Neuanmeldung analog anwendbaren Revisionsregeln (<ref-law>; <ref-ruling> E. 2.3; <ref-ruling> E. 5.3 in fine). Darauf wird verwiesen.
2.2. Die Vorinstanz verneinte eine anspruchsrelevante gesundheitliche Verschlechterung im massgebenden Beurteilungszeitraum. Weiter schloss sie in antizipierter Beweiswürdigung, dass diesbezüglich von weiteren Abklärungen kein anderes Ergebnis zu erwarten sei.
3.
3.1. Der Beschwerdeführer rügt, das angefochtene Urteil sei aufzuheben, weil die Vorinstanz die im Neuanmeldungsverfahren zu klärende Frage einer wesentlichen Änderung in den tatsächlichen Verhältnissen unter Berücksichtigung eines falschen Beurteilungszeitraums betrachtet habe. So habe sie die im Zwischenbericht der Psychiatrie B._ vom 20. April 2016 von Dr. med. C._ gestellten Diagnosen mit denjenigen verglichen, die in den aktuellen Berichten der Psychiatrie B._ gestellt würden. Massgebend sei aber einzig eine allfällig eingetretene Veränderung seit der rentenabweisenden Verfügung vom 29. Januar 2015. Mit dieser verkürzten Darstellung der vorinstanzlichen Erwägungen lässt der Beschwerdeführer ausser Acht, dass das kantonale Gericht explizit den 29. Januar 2015 als massgeblichen ersten Vergleichszeitpunkt nannte. In der Folge prüfte und verneinte die Vorinstanz eine seither eingetretene relevante Veränderung. Zur Begründung wies sie insbesondere auf die Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) vom 29. August und vom 6. Dezember 2018 hin, wonach sich die objektivierbaren psychopathologischen Befunde nicht wesentlich von den seit 2013 bekannten unterscheiden würden. Davon, dass die Vorinstanz einen falschen Beurteilungszeitraum gewählt hätte, kann somit keine Rede sein. Daran ändert nichts, dass sie im Rahmen ihre Beweiswürdigung unter anderem folgerte, es würden sich auch aus den Berichten der Psychiatrie B._ im Verlauf ab dem 20. April 2016 keine relevanten Veränderungen ergeben. Die ausdrückliche Bezugnahme auf den Bericht der Psychiatrie B._ vom 20. April 2016 und die darin diagnostizierte rezidivierende depressive Episode mit mittelgradigen bis schweren Episoden erfolgte auch deshalb, weil die Vorinstanz den entsprechenden Bericht bereits im Urteil vom 31. Oktober 2016 berücksichtigt hatte. Daneben führte das kantonale Gericht aber auch aus, gemäss aktueller Beurteilung des Dr. med. C._ hätten sämtliche aufgeführten Diagnosen bereits am 29. Januar 2015 bzw. schon davor - konkret schon seit der Kindheit bzw. seit 2011, 2012 oder 2014 - bestanden.
3.2. Der Beschwerdeführer stellt sich unter Hinweis auf verschiedene Berichte ihn behandelnder Ärzte (vorwiegend auf jene des Dr. med. C._) auf den Standpunkt, sein psychischer Gesundheitszustand und insbesondere seine Depression hätten sich seit Dezember 2015 deutlich verschlechtert. Seine diesbezüglichen Ausführungen beschränken sich indessen auf eine - teils wörtliche - Zitierung der entsprechenden Berichte sowie auf die Darlegung seiner eigenen, von der Vorinstanz abweichenden Beweiswürdigung, was nach dem Dargelegten (vgl. E. 1 hievor) nicht genügt. Dass und inwiefern die vorinstanzlichen Schlussfolgerungen offensichtlich unrichtig oder anderweitig bundesrechtswidrig sein sollen, legt er nicht substanziiert dar bzw. macht derlei gar nicht geltend. Das Bundesgericht bleibt deshalb an die vorinstanzliche Beweiswürdigung gebunden. Nichts anderes gilt in Bezug auf die vom Bundesgericht ebenfalls nur eingeschränkt überprüfbare (<ref-ruling> E. 3 mit Hinweisen) antizipierte Beweiswürdigung. Im Verzicht auf weitere Abklärungen ist deshalb keine Verletzung des Untersuchungsgrundsatzes zu erblicken (<ref-ruling> E. 5.3).
3.3. Der Beschwerdeführer wendet ein, der RAD-Arzt Dr. med. D._ verfüge als Facharzt für Orthopädie, Chirurgie und Traumatologie nicht über die hier fragliche (namentliche psychiatrische) Qualifikation. Diesbezüglich hat bereits die Vorinstanz erwogen, dass der RAD-Arzt keinen Untersuchungsbericht im Sinne von <ref-law> erstellt habe und deshalb kein spezifischer Facharzttitel notwendig gewesen sei (zur Aufgabe des RAD vgl. Art. 59 Abs. 2 und 2bis IVG; <ref-law>; <ref-ruling> E. 3.3.2; SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 2.2). Weiterungen dazu erübrigen sich, nachdem der Beschwerdeführer auf diese Erwägungen keinerlei Bezug nimmt. Dr. med. D._ verfasste aber auch keinen internen Bericht im Sinne von <ref-law>, worin er den medizinischen Sachverhalt selber gewürdigt hätte und wofür er der vom Beschwerdeführer mit Hinweis auf das Urteil 9C_904/2009 vom 7. Juni 2010 geforderten "im Einzelfall gefragten persönlichen und fachlichen Qualifikationen" bedurft hätte (vgl. zum Ganzen Urteil 9C_550/2020 vom 30. November 2020 E. 5.3 mit Hinweisen). Der RAD-Arzt übte im vorliegenden Fall vielmehr eine beratende Funktion gegenüber der Verwaltung aus (<ref-law>; <ref-law>). Bei seiner Stellungnahme handelte es sich mithin nicht um eine eigenständige medizinische Einschätzung und damit Grundlage für die Beurteilung des Leistungsanspruchs, sondern um eine Hilfestellung an die Verwaltung bei deren Vornahme bzw. bei der Klärung der Frage nach einer namhaften Veränderung des Gesundheitszustands seit der Verfügung vom 29. Januar 2015. Eines spezifischen Facharzttitels bedurfte Dr. med. D._ dafür nicht.
4.
Wie in der Beschwerde zu Recht ausgeführt, gibt Anlass zur Rentenrevision von Invalidenrenten jede Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen (<ref-ruling> E. 2.2).
4.1. Der Beschwerdeführer verweist auf das Urteil 8C_380/2019 vom 11. Oktober 2019 E. 4.1 und macht sinngemäss geltend, eine Revision könne sich auch dann rechtfertigen, wenn sich der Sachverhalt in Punkten verändert habe, welche seinerzeit bei der Indikatorenprüfung relevant gewesen seien. In besagtem Urteil hatte das Bundesgericht erwogen, dass ein früher nicht gezeigtes Verhalten einer versicherten Person unter Umständen eine im Sinne von <ref-law> relevante Tatsachenänderung darstellen könne, wenn es sich auf den Invaliditätsgrad und damit auf den Umfang des Rentenanspruchs auszuwirken vermöge. Dies treffe etwa zu bei Versicherten mit einem Beschwerdebild im Sinne von <ref-ruling>, wenn ein Ausschlussgrund vorliege, d.h. die Leistungseinschränkung auf Aggravation oder einer ähnlichen Konstellation beruhe, die eindeutig über die blosse (unbewusste) Tendenz zur Beschwerdenausweitung und -verdeutlichung hinausgehe. Mit Urteil 9C_113/2021 vom 23. Juni 2021 E. 4.3 hielt das Bundesgericht zudem fest, dass umgekehrt Grund für eine Revision oder Neuanmeldung auch sein könne, dass eine zuvor bestehende Beweislosigkeit - die sich als Ausfluss der materiellen Beweislast grundsätzlich zu Lasten der versicherten Person auswirkt (<ref-ruling> E. 4.3) - entfalle. Beide Urteile sind für den vorliegenden Fall nicht einschlägig, hat die Vorinstanz doch weder einen Ausschlussgrund bejaht noch war der Rentenanspruch seinerzeit wegen Beweislosigkeit verneint worden.
4.2. Der Beschwerdeführer vermag aber auch anderweitig nicht darzulegen, inwiefern sich im vorliegenden Fall die tatsächlichen Verhältnisse in einer relevanten Art geändert haben sollen. Dies gilt namentlich für seine nicht näher ausgeführten - lediglich unter Hinweis auf die "aufgelisteten Arztberichte" getätigten - Behauptungen, mittlerweile sei ein sozialer Rückzug belegt und seit Ende 2015 habe er sich an sämtliche therapeutischen und medikamentösen Vorgaben gehalten (zur Begründungs- und Rügepflicht vgl. E. 1.1 hievor). Selbst wenn dieser Darstellung in tatsächlicher Hinsicht gefolgt werden könnte, enthielte die Beschwerde keinerlei Ausführungen dazu, inwiefern die behaupteten Veränderungen geeignet wären, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen.
5.
Mit Blick auf das Gesagte verletzte die Vorinstanz kein Bundesrecht, indem sie eine anspruchsrelevante Veränderung im massgebenden Beurteilungszeitraum verneinte und auf weitere Abklärungen verzichtete.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. September 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Williner