Sachverhalt:
A.
Der 1962 geborene A._ arbeitete seit Oktober 2008 als Executiv IT-Supporter bei der B._ AG. Nach einem zerebralen Insult im Jahr 2011 reduzierte er sein Pensum auf 80 %. Im Frühjahr 2018 stellte ihn die Arbeitgeberin aus betrieblichen Gründen frei.
Im September 2018 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Er machte diverse Beschwerden (Streifung im Sommer 2011, Arterienverschluss, Tinnitus, motorische Störungen, Schmerzen im Daumensattelgelenk, Dupturen, Konzentrationsschwierigkeiten, Gedächtnis- und Sehstörungen, Frozen Shoulder, Broken Heart Syndrom, Schulter- und Nackenschmerzen) und eine Arbeitsunfähigkeit ab dem 27. März 2018 geltend. Die IV-Stelle des Kantons Zürich tätigte daraufhin verschiedene Abklärungen, insbesondere holte sie die Akten der Krankentaggeldversicherung samt dem Bericht über das psychiatrische Konsil der Dr. med. C._, Fachärztin für Psychiatrie und Psychotherapie, vom 7. Oktober 2018 und mehrere Berichte der behandelnden Ärzte ein. Alsdann unterbreitete sie die Akten dem Regionalen Ärztlichen Dienst (RAD; Stellungnahmen vom 16. April sowie 5. Juni 2019). Gestüzt darauf stellte die Verwaltung dem Versicherten vorbescheidweise in Aussicht, dass kein Rentenanspruch bestehe. Dagegen erhob A._ unter Einreichung von weiteren Arztberichten Einwände. Mit Verfügung vom 23. Oktober 2019 verneinte die IV-Stelle, wie angekündigt, einen Rentenanspruch.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter Berücksichtigung der im Beschwerdeverfahren eingereichten Unterlagen ab (Urteil vom 23. Februar 2021).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das angefochtene Urteil sei aufzuheben und die Sache sei zu neuer Abklärung sowie Entscheidung an die Verwaltung zurückzuweisen.
Die IV-Stelle schliesst unter Verzicht auf eine Stellungnahme auf Abweisung der Beschwerde, derweil sich das Bundesamt für Sozialversicherungen nicht vernehmen lässt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist ein reformatorisches Rechtsmittel (<ref-law>), weshalb auch ein Rechtsbegehren reformatorisch gestellt sein muss. Ein rein kassatorisches Begehren ist jedoch zulässig, wenn das Bundesgericht ohnehin nicht in der Sache entscheiden könnte. Dies ist namentlich bei einer ungenügenden Sachverhaltsabklärung durch die Vorinstanz der Fall (Urteil 8C_135/2017 vom 4. September 2017 E. 1 mit Hinweisen). Mit der Beschwerde wird diese Rüge erhoben, weshalb auf die Beschwerde einzutreten ist.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Als Rechtsfrage gilt, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach <ref-law> beachtet wurden. Bei der konkreten Beweiswürdigung geht es hingegen um Sachverhaltsfragen (Urteil 8C_590/2015 vom 24. November 2015 E. 1, nicht publ. in: <ref-ruling>, aber in: SVR 2016 IV Nr. 33 S. 102).
3.
3.1. Strittig ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die Verfügung vom 23. Oktober 2019 bestätigte, mit der die Beschwerdegegnerin einen Rentenanspruch des Beschwerdeführers verneint hatte.
3.2. Im angefochtenen Urteil werden die massgeblichen rechtlichen Grundlagen zutreffend dargelegt. Es betrifft dies die Bestimmungen und Grundsätze zu den Begriffen der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law>), zum Rentenanspruch (<ref-law>) und zur Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>). Ebenfalls korrekt wiedergegeben sind die beweisrechtlichen Anforderungen an einen ärztlichen Bericht im Allgemeinen (<ref-ruling> E. 5.1; <ref-ruling> E. 3a) und bei Aktenbeurteilungen sowie bei Berichten versicherungsinterner Ärztinnen und Ärzte im Besonderen, zu denen auch die Stellungnahmen des RAD gehören (<ref-ruling> E. 5.2; <ref-ruling> E. 1d; Urteil 9C_730/2018 vom 27. März 2019 E. 5.1.2 und 5.1.3). Darauf wird verwiesen.
4.
4.1. Die Vorinstanz ging auf die orthopädischen, neurologischen, ophthalmologischen, kardiologischen und psychiatrische n Beschwerden ein und kam - auch nach Prüfung der Arbeitsfähigkeit aufgrund der psychischen Erkrankungen im strukturierten Beweisverfahren - zum Schluss, es könne in psychiatrischer Hinsicht auf die Einschätzung der Dr. med. C._ und im Übrigen betreffend die vor Erlass der angefochtenen Verfügung eingetretenen Leiden auf die Beurteilung des RAD abgestellt werden.
4.2. Der Beschwerdeführer rügt eine Verletzung des Untersuchungsgrundsatzes in verschiedener Hinsicht. Er begründet dies im Wesentlichen damit, das Gutachten der Dr. med. C._ sei nicht beweistauglich, insbesondere da sie die somatischen Beschwerden ausser Acht gelassen habe. Aufgrund des Berichts des Dr. med. D._ und jener anderer behandelnder Ärzte seien zusätzliche psychiatrische Abklärungen sowie weitere Untersuchungen hinsichtlich dem Vorliegen einer Schmerzstörung und Demenz notwendig. Zusätzliche Untersuchungen hätten zudem wegen des epileptischen Anfalls und des im Juni 2020 implantierten Herzschrittmachers vorgenommen werden müssen.
5.
5.1. Das kantonale Gericht hielt zunächst fest, der RAD habe die somatischen Beschwerden (HWS-Syndrom, Schulter- und Daumenschmerzen) als nicht nachvollziehbar eingestuft und dargelegt, dass keine oder keine symptombegründende Symptomatik vorliege. Diese Einschätzung erachtete die Vorinstanz insbesondere mit Blick auf die von ihr herbeigezogene medizinische Literatur und nachdem die Physiotherapie schon im Februar 2019 noch vor Ablauf des Wartejahres erfolgreich habe abgeschlossen werden können, als schlüssig. Diese Beweiswürdigung verletzt kein Bundesrecht, denn entgegen der Meinung des Beschwerdeführers trifft nicht zu, dass die Vorinstanz damit eine eigene Einschätzung (von Nicht-Medizinern) aufgrund eines medizinischen Lehrbuchs vorgenommen hat. Vielmehr überprüfte sie die Ausführungen des RAD anhand von Literatur und des dokumentierten Behandlungserfolgs auf ihre Plausibilität.
5.2. Der Beschwerdeführer ist der Auffassung, es wären weitere Abklärungen hinsichtlich einer Demenz nötig. Dem hielt das kantonale Gericht entgegen, Dr. med. E._ habe zwar aufgrund des MRI-Befundes einer leichten frontoparietalen Atrophie dargelegt, es sei an eine Demenz zu denken. Dieser habe aber gegenüber der Krankentaggeldversicherung mit dem Hinweis "möglicherweise Nachweis einer zerebralen Atrophie" auch die eingeschränkte Aussagekraft eines einzelnen Bildbefundes betont. Alsdann zog die Vorinstanz in Erwägung, dass sich bei einer weiteren MRI-Untersuchung des Schädels im Januar 2020 die besagte Atrophie nicht bestätigte. Aufgrund dessen kam sie zum Schluss, es lägen keine hinreichenden Hinweise auf eine dementielle Entwicklung vor, die weiterer Untersuchung bedürfe. Das kantonale Gericht hat damit aufgezeigt, weshalb hier keine weiteren Abklärungen erforderlich sind. Diese Begründung ist weder willkürlich noch verletzt sie den Untersuchungsgrundsatz. Vielmehr ist - wie bereits Dr. med. E._ vermutete - überwiegend wahrscheinlich, dass die Beschwerden keine organische Ursache im Sinne einer Demenz haben.
5.3. Der gerichtliche Überprüfungszeitraum beschränkt sich grundsätzlich auf den Sachverhalt, wie er sich bis zum Erlass der angefochtenen Verfügung verwirklicht hat (<ref-ruling> E. 2.1). Deshalb ist entgegen der vom Beschwerdeführer vertretenen Auffassung nicht überspitzt formalistisch, wenn die Vorinstanz die nach der Verfügung vom 23. Oktober 2019 eingetretenen Verschlechterungen (MRI-Abklärungen vom 15. Januar 2020 zum epileptischen Anfall zwei Wochen zuvor, Implantation eines Herzschrittmachers im Juni 2020 nach einer Synkope mit Verkehrsunfall am 31. Mai 2020) nicht berücksichtigt hat. Im Übrigen zeigt der Beschwerdeführer nicht hinreichend substanziiert auf, inwiefern die vorinstanzlichen Feststellungen zum Gesundheitszustand des Beschwerdeführers aus kardiologischer Sicht und den dadurch bedingten Einschränkungen der Arbeitsfähigkeit, wie sie sich bis zum Verfügungserlass präsentierten, Bundesrecht verletzen.
5.4. Als Zwischenfazit ist festzuhalten, dass die Vorinstanz kein Bundesrecht verletzte, soweit sie betreffend die somatischen Beschwerden auf die Einschätzung des RAD abstellte, dem Beschwerdeführer sei nach Ablauf des Wartejahres die bisherige Tätigkeit vollumfänglich zumutbar.
5.5. Das kantonale Gericht erachtete die Einwände des Beschwerdeführers gegen die psychiatrische Einschätzung der Dr. med. C._ als unberechtigt. Es begründete überzeugend, dass sich in keinem der medizinischen Berichte Hinweise auf eine Schmerzstörung finden, äusserte doch auch Dr. med. D._ im Bericht vom 13. September 2019 keinen solchen Verdacht. Ebenfalls nicht zu beanstanden ist, dass Dr. med. C._ im Rahmen der psychiatrischen Einschätzung zu den somatisch bedingten Schmerzen keine Stellung nahm, zumal die Vorinstanz diesen im Rahmen des strukturierten Beweisverfahrens Rechnung trug. Auch verfängt das Vorbringen des Beschwerdeführers nicht, das im September 2018 erstellte Gutachten der Dr. med. C._ lasse keine Rückschlüsse auf den Gesundheitszustand nach Ablauf des Wartejahres zu. Denn es erschliesst sich weder aus den Berichten des Hausarztes noch aus dem im Vorbescheidverfahren eingereichten Bericht des Dr. med. D._, dass sich die psychiatrische Problematik nach der Untersuchung durch Dr. med. C._ verschlechtert hat. Soweit der Beschwerdeführer die vorinstanzliche Feststellung beanstandet, es liege keine von den psychosozialen Umständen verselbständigte psychiatrische Störung vor, ist dem entgegenzuhalten, dass die aufgrund der diagnostizieren Anpassungsstörung eingeschätzte Leistungsfähigkeit von 80 % der Dr. med. C._, die zu einem rentenausschliessenden Invaliditätsgrad führt, auch im strukturierten Beweisverfahren überzeugt. Daher ist unabhängig vom Vorliegen eines verselbständigten psychischen Gesundheitsschadens kein Rentenanspruch gegeben.
5.6. Nach dem Dargelegten ist die Beschwerde unbegründet.
6.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Oktober 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Möckli