Sachverhalt:
A.
A.a. Der 1960 geborene A._ war bei der B._ AG als Speditionsmitarbeiter tätig, als er im April 1986 bei einem Motorradunfall eine Verletzung am rechten Handgelenk erlitt. Die Schweizerische Unfallversicherungsanstalt (Suva) erbrachte hierfür als zuständiger Unfallversicherer Heilbehandlungs- und Taggeldleistungen und gewährte A._ eine Integritätsentschädigung auf der Basis einer Integritätseinbusse von 10 % (Verfügung vom 6. Mai 1991). Nachdem wegen zunehmender Handgelenksbeschwerden mit Arbeitsunfähigkeit ein im Mai 1990 als Fassadenmonteur eingegangenes Arbeitsverhältnis mit der C._ SA, in der Folge wieder beendet werden musste, sprach die Suva dem Versicherten ab 1. November 1994 eine Invalidenrente bei einem Invaliditätsgrad von 15 % zu (Verfügung vom 3. November 1994 und Einspracheentscheid vom 17. Februar 1995). Im dagegen geführten Beschwerdeverfahren sprach ihm das Bundesgericht letztinstanzlich eine auf einem Invaliditätsgrad von 25 % basierende Invalidenrente zu (Urteile U 204 und 205/97 vom 2. September 1998). Die unveränderte Rentenhöhe bestätigte die Suva anlässlich zweier Revisionsverfahren (Schreiben vom 28. April 2003 und 9. Juni 2007).
A.b. Nachdem sich A._ bereits in den Jahren 1992 und 2007 zum Bezug von medizinischen und beruflichen Eingliederungsmassnahmen bei der Invalidenversicherung angemeldet hatte, verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 7. Juni 2010 einen Anspruch auf Invalidenrente anlässlich einer erneuten Anmeldung zum Leistungsbezug im Februar 2009. Diese Verfügung hob das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Januar 2013 auf und wies die Sache an die IV-Stelle zu weiteren medizinischen Sachverhaltsabklärungen bezüglich rechtsseitiger Schulterbeschwerden zurück. Die IV-Stelle verneinte daraufhin abermals einen Anspruch auf Invalidenrente. Das Sozialversicherungsgericht hielt im dagegen geführten Beschwerdeverfahren eine polydisziplinäre Begutachtung für angezeigt und wies die Angelegenheit hierzu an die IV-Stelle zurück. Gestützt auf das bei der Neurologie D._ AG, polydisziplinäre Begutachtungsstelle MEDAS, eingeholte Gutachten vom 2. Juni 2015 verneinte die IV-Stelle erneut einen Anspruch auf Invalidenrente (Verfügung vom 2. Februar 2016). Ihre Arbeitsvermittlungsbemühungen hatte die IV-Stelle zuvor mit Verfügung vom 26. Januar 2016 abgeschlossen, da der Versicherte auf berufliche Wiedereingliederungsmassnahmen verzichtet habe. Im daraufhin angestrengten Beschwerdeverfahren hob das Sozialversicherungsgericht die Verfügungen vom 26. Januar und 2. Februar 2016 auf und wies die Angelegenheit für eine zusätzliche psychiatrische Beurteilung an die Verwaltung zurück; in somatischer Hinsicht erachtete es die MEDAS-Expertise vom 2. Juni 2015 als beweiskräftig (Entscheid vom 17. Februar 2017). Am 2. Oktober 2017 erging das psychiatrische Gutachten der Dr. med. E._, Neurologie D._ AG, einschliesslich einer Konsensualbeurteilung der am Gutachten vom 2. Juni 2015 Beteiligten. Überdies nahm Dr. med. F._, Facharzt für Orthopädische Chirurgie und Traumatologie, Regionaler Ärztlicher Dienst (RAD), am 19. Oktober 2017 zum Gutachten Stellung. Mit Verfügung vom 9. Juli 2018 verneinte die IV-Stelle einen Rentenanspruch und forderte A._ auf, sich einer antidepressiven Pharmakotherapie und/oder einer Psychotherapie sowie hinsichtlich des Schmerzsyndroms einer polymodalen Behandlung zu unterziehen.
B.
Die gegen die Verfügung vom 9. Juli 2018 erhobene Beschwerde hiess das Sozialversicherungsgericht mit Entscheid vom 4. Dezember 2019 in dem Sinne teilweise gut, dass es diese Verfügung insoweit aufhob, als der Rentenanspruch für die Zeit ab Juni 2015 verneint wurde. Es wies die Sache zu weiteren Abklärungen im Sinne der Erwägungen und zu neuer Verfügung an die Verwaltung zurück. Hinsichtlich der Zeit bis Ende Mai 2015 wies es die Beschwerde ab.
C.
A._ lässt dagegen Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, der vorinstanzliche Entscheid sei insoweit aufzuheben, als darin ein Rentenanspruch bis Mai 2015 verneint werde. Es sei ihm ab 1. August 2009 eine ganze Rente der Invalidenversicherung zuzusprechen. Eventualiter sei die IV-Stelle oder die Vorinstanz im Falle einer Rückweisung der Angelegenheit zu verpflichten, die Arbeitsfähigkeit auch für die Zeit bis Mai 2015 zu prüfen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen hat auf eine Stellungnahme verzichtet.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig gegen Endentscheide, welche das Verfahren abschliessen (<ref-law>), und gegen Teilentscheide im Sinne von <ref-law>. Zwischenentscheide sind - abgesehen von Entscheiden über die Zuständigkeit und über Ausstandsbegehren (<ref-law>) - nur dann (ausnahmsweise) anfechtbar, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können, oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. a und b BGG).
1.2. Ein Rückweisungsentscheid schliesst das Verfahren nicht ab und ist nach der Regelung des BGG grundsätzlich kein Endentscheid (<ref-law>), selbst wenn darin über eine materielle Grundsatzfrage entschieden wird, sondern ein Zwischenentscheid, der nur unter den Voraussetzungen des <ref-law> angefochten werden kann. Ein Rückweisungsentscheid, mit dem eine Sache zu neuer Abklärung und Entscheidung an die Vorinstanz zurückgewiesen wird, bewirkt indessen in der Regel keinen nicht wieder gutzumachenden Nachteil (lit. a; <ref-ruling> E. 3.6 S. 326 f.; <ref-ruling> E. 2 S. 316 f.; <ref-ruling> E. 5.2.2 S. 483), und mit der ergänzenden Sachverhaltsabklärung ist grundsätzlich kein bedeutender Aufwand an Zeit und Kosten (lit. b) verbunden (SVR 2012 IV Nr. 23 S. 97, 9C_329/2011 E. 3.3 mit Hinweisen).
1.3. Ein Entscheid, mit dem eine Vorinstanz des Bundesgerichts eine bestimmte, vorangehende Teilperiode des Rentenanspruchs materiell abschliessend beurteilt und für eine darauf folgende Teilperiode die Sache zu neuer Beurteilung an die Verwaltung zurückweist, ist in Bezug auf die materiell abschliessend beurteilte Phase als selbstständig anfechtbarer Teilentscheid im Sinne von <ref-law> und in Bezug auf die Gegenstand der Rückweisung bildende Phase als nur unter den Voraussetzungen des <ref-law> anfechtbarer Zwischenentscheid zu qualifizieren (<ref-ruling>; Urteil 9C_201/2019 vom 28. Oktober 2019 E. 1.2).
1.4. In Bezug auf den bis Ende Mai 2015 verneinten Rentenanspruch liegt demnach ein materieller Endentscheid vor. Soweit sich die Beschwerde gegen diesen Teilentscheid wendet, ist darauf nach dem Gesagten einzutreten.
Hinsichtlich des Rentenanspruchs ab Juni 2015 erfolgte jedoch eine Rückweisung an die IV-Stelle zur weiteren medizinischen Abklärung. Die Vorinstanz erachtete es als unklar, inwieweit die von Dr. med. E._ diagnostizierte depressive Erkrankung das Leistungsvermögen (unter Berücksichtigung der weiteren Leiden) beeinflusse, zumal sie eine allfällige Leistungseinschränkung der depressiven Störung noch nicht anhand der Standardindikatoren (<ref-ruling> und 418) dargelegt habe. Der angefochtene Akt ist somit ein Zwischenentscheid, da er an die Verwaltung zurückweist. Diesbezüglich gelten die Eintretensvoraussetzungen von <ref-law>. Der Beschwerdeführer macht geltend, es liege ein nicht wiedergutzumachender Nachteil im Sinne von <ref-law> vor, weil sich die Rückweisung nur auf einen Teil der Gesundheitsschädigung beziehe. Damit ist indessen für den Beschwerdeführer kein rechtlich nicht wiedergutzumachender Nachteil dargetan (vgl. 1.2 hiervor). Vielmehr wird ihm gegen den Endentscheid der Beschwerdeweg wiederum offen stehen, ohne dass der angefochtene Entscheid im bundesgerichtlichen Verfahren präjudizierende Wirkung entfaltet (<ref-law>; BGE <ref-ruling> E. 5.2.3 f. S. 484 f.; sowie statt vieler Urteil 8C_153/2018 vom 13. März 2019). Inwiefern die (kumulativen) Eintretensvoraussetzungen des <ref-law> ausnahmsweise (vgl. Urteil 9C_383/2018 vom 9. Oktober 2018 E. 3.2 mit Hinweis) erfüllt sein sollen, ist sodann weder ersichtlich noch vom Beschwerdeführer dargelegt. Soweit sich die Beschwerde gegen die Rückweisung richtet, ist darauf demnach nicht einzutreten.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
3.
Zu prüfen bleibt daher, ob die Vorinstanz Bundesrecht verletzte, indem sie einen Rentenanspruch bis 31. Mai 2015 verneinte.
Die hier massgebenden Grundlagen nach Gesetz und Rechtsprechung wurden im angefochtenen Entscheid zutreffend wiedergegeben. Darauf wird verwiesen.
4.
4.1. Die Vorinstanz erwog, es gäbe keine Hinweise dafür, dass sich der Gesundheitszustand des Beschwerdeführers in somatischer Hinsicht nach Erlass der Verfügungen vom Januar und Februar 2016 verändert habe. Die Rückweisung zur psychiatrischen Begutachtung sei gemäss Entscheid vom 17. Februar 2017 wegen der organisch nicht erklärbaren Schulterbeschwerden erfolgt. Die psychiatrische Expertin Dr. med. E._ habe im Gutachten vom 2. Oktober 2017 nachvollziehbar eine dissoziative Bewegungsstörung (mit Pseudoparese des rechten Armes; ICD-10 F44.4) und eine depressive Erkrankung mit gegenwärtig mittelschwerer depressiver Episode (ICD-10 F32.1) diagnostiziert;eine anhaltende somatoforme Schmerzstörung habe sie jedoch verneint. Dr. med. E._ habe bei ihrer Begutachtung wie PD Dr. med. G._, Facharzt für Orthopädische Chirurgie und Traumatologie, im Gutachten 2. Juni 2015 keine Anzeichen für eine bewusstseinsnahe Vortäuschung des Beschwerdebildes ausmachen können. Sie sei vielmehr zum Ergebnis gelangt, dass eine als schwer einzustufende Störung bei ausgeprägtem somatischem Krankheitsverständnis und eingeschränkten Ressourcen vorliege. Sodann habe sich die Expertin dem im MEDAS-Gutachten vom 2. Juni 2015 formulierten Leistungsprofil angeschlossen. Auch wenn ferner Dr. med. E._ eine gesundheitliche Verschlechterung ausdrücklich verneint habe, so das Gericht weiter, deute eine neu hinzugekommene depressive Störung auf eine zwischenzeitliche Verschlechterung des Gesundheitszustands hin, zumal die Gutachter im Mai 2015 keine Hinweise auf psychiatrische Erkrankungen festhielten. Das kantonale Gericht erkannte zusammenfassend, dass bis im Mai 2015 neben den somatischen Beschwerden einzig eine die Arbeitsfähigkeit nicht weiter einschränkende dissoziative Bewegungsstörung vorgelegen habe. Hieraus schloss es bis zu diesem Zeitpunkt auf eine vollständige Arbeitsfähigkeit in einer Verweisungstätigkeit gemäss dem in der Expertise formulierten Leistungsprofil.
4.2. Im Rahmen der erwerblichen Auswirkungen des Gesundheitsschadens ermittelte die Vorinstanz sodann Validen- und Invalideneinkommen unter Beizug statistischer Werte gemäss der Schweizerischen Lohnstrukturerhebung des Bundes (LSE) im Jahr 2006 und gewährte dem Beschwerdeführer einen höchstmöglichen leidensbedingten Abzug von 25 %, woraus sich für die Zeit nach Ablauf des Wartejahres im Frühjahr 2007 bis Mai 2015 ein rentenausschliessender Invaliditätsgrad von 31 % ergab. Gegen diese konkrete Berechnung der Rente werden keine Rügen erhoben, so dass sich Weiterungen hierzu erübrigen.
5.
5.1. Der Beschwerdeführer stellt die Beweiskraft des psychiatrischen Gutachtens der Dr. med. E._ vom 2. Oktober 2017 in Abrede. Indessen fehlen konkrete Indizien, die gegen dessen Zuverlässigkeit sprechen. Mit der Vorinstanz legte die Expertin in Bezug auf das Vorliegen einer somatoformen Schmerzstörung nachvollziehbar dar, dass u.a. (ausser der Lähmung des rechten Armes) wenig somatoforme Symptome vorlägen. Dass sie einen (ubiquitär) auftretenden Ganzkörperschmerz verneinte, bedeutet gerade nicht, dass sie die weiteren geschilderten Schmerzen (namentlich mit Ausstrahlung in Nacken und Kopf sowie im rechten Fuss und im Innenknie rechts) nicht berücksichtigte. Sie qualifizierte diese differenziert geschilderten Beschwerden jedoch nicht als somatoforme Störung, auch weil die Schmerzen lokal umschrieben und zuordenbar seien. Weiter stellte sie überdies keine sog. "B-Symptome" nach DSM-5 (Diagnostisches und Statistisches Manual Psychischer Störungen, fünfte Auflage) zur Beurteilung des Schweregrades einer somatoformen Schmerzstörung, fest. Die Gutachterin befasste sich demnach hinreichend und schlüssig mit den geklagten Schmerzen, die neben der dissoziativen Bewegungsstörung und der depressiven Erkrankung den Alltag ebenfalls einschränkten. Entgegen der Auffassung in der Beschwerde ist ihre weitere Angabe, das Schmerzsyndrom könne auch mit der unphysiologischen Belastung des rechten Armes in Zusammenhang stehen, nicht widersprüchlich zu den Darlegungen des PD Dr. med. G._, der ebenfalls von einer (inkompletten) Pseudoparese der rechten Schultermuskulatur ausging und sich - wie die Vorinstanz korrekt ausführte - eingehend mit dem diesbezüglich auffälligen Bewegungsmuster auseinandersetzte.
Der Beschwerdeführer vermag insgesamt nicht aufzuzeigen, weshalb das kantonale Gericht dem Gutachten der Dr. med. E._ bundesrechtswidrig Beweiskraft beigemessen haben soll. Eine willkürliche Beweiswürdigung lässt sich nicht damit begründen, die medizinischen Unterlagen abweichend von der Vorinstanz zu würdigen und eigene Schlüsse daraus zu ziehen. Damit durfte das Gericht willkürfrei auf das medizinische Anforderungsprofil gemäss Dr. med. E._ abstellen, welches seinerseits dem im Gutachten vom 2. Juni 2015 umschriebenen Zumutbarkeitsprofil entsprach. Wie die Vorinstanz feststellte, ging Dr. med. E._ einleuchtend von einer durchgehenden Parese mit gleich bleibenden Funktionsausfällen aus, die sich in vergleichbarer Weise einschränkend auf die Arbeitsfähigkeit auswirkten wie eine organisch begründete Parese. Mit Blick auf die depressive Entwicklung hält schliesslich auch die Feststellung im angefochtenen Entscheid stand, wonach sich gestützt auf die medizinische Aktenlage eine solche Erkrankung - wie von Dr. med. E._ dargelegt - im Vergleich zur Begutachtung im Mai 2015 neu zeigte und sich folglich erst im Anschluss daran entwickelte. Der Beschwerdeführer bringt nichts vor, was ärztlicherseits auf einen früheren Beginn der Erkrankung hindeuten würde.
5.2.
5.2.1. Weiter bestreitet der Versicherte eine wirtschaftliche Verwertbarkeit der Restarbeitsfähigkeit auf dem ersten Arbeitsmarkt. Soweit er einwendet, die Vorinstanz habe nicht geprüft, ob aufgrund der Standardindikatoren eine wirtschaftliche Verwertbarkeit der allenfalls noch gegebenen Arbeitsfähigkeit möglich sei, verkennt er, dass das Wesen des strukturierten Beweisverfahrens darin besteht, anhand eines Kataloges von (Standard-) Indikatoren das unter Berücksichtigung sowohl leistungshindernder äusserer Belastungsfaktoren als auch von Kompensationspotentialen (Ressourcen) tatsächlich erreichbare Leistungsvermögen einzuschätzen (<ref-ruling> E. 3.6 S. 294). Was er hieraus in Bezug auf die wirtschaftliche Verwertbarkeit der festgestellten Arbeitsfähigkeit gewinnen will, ist nicht ersichtlich.
5.2.2. Massgeblich für die Verwertbarkeit der (Rest-) Arbeitsfähigkeit ist der ausgeglichene Arbeitsmarkt (Art. 7 Abs. 1 und Art. 16 ATSG), der durch ein gewisses Gleichgewicht zwischen Angebot und Nachfrage nach Arbeitskräften gekennzeichnet ist und einen Fächer verschiedenster Tätigkeiten aufweist. Das gilt sowohl bezüglich der dafür verlangten beruflichen und intellektuellen Voraussetzungen wie auch hinsichtlich des körperlichen Einsatzes. Dabei ist nicht von realitätsfremden Einsatzmöglichkeiten auszugehen. An die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten sind jedoch keine übermässigen Anforderungen zu stellen. Je restriktiver indessen das medizinische Anforderungsprofil umschrieben ist, desto eingehender ist in der Regel die Verwertbarkeit auf dem allgemeinen Arbeitsmarkt abzuklären und nachzuweisen. Von einer Arbeitsgelegenheit kann dann nicht mehr gesprochen werden, wenn die zumutbare Tätigkeit nurmehr in so eingeschränkter Form möglich ist, dass sie der ausgeglichene Arbeitsmarkt praktisch nicht kennt oder sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre und das Finden einer entsprechenden Stelle daher von vornherein als ausgeschlossen erscheint (Urteil 9C_304/2018 vom 5. November 2018 E. 5.1.1 mit Hinweisen). Sodann kann das (vorgerückte) Alter, obgleich an sich ein invaliditätsfremder Faktor, zusammen mit weiteren persönlichen und beruflichen Gegebenheiten dazu führen, dass die einer versicherten Person verbliebene Resterwerbsfähigkeit auf dem ausgeglichenen Arbeitsmarkt realistischerweise nicht mehr nachgefragt wird (<ref-ruling> E. 3.1 S. 460).
5.2.3. Dem Beschwerdeführer zumutbar bleiben - gemäss der nicht offensichtlich unrichtigen Feststellung der Vorinstanz - Arbeiten, die ausschliesslich oder überwiegend im Sitzen und auf Tischhöhe unter Anlagerung der Oberarme ausgeführt werden können; wechselbelastende Arbeiten, die im Umfang von je maximal 10 % im Gehen oder im Stehen zu verrichten sind und auch gelegentliches Treppensteigen oder gelegentliches Besteigen von Hockern oder Leitern umfassen, hingegen keine ausschliesslichen Arbeiten am PC, keine Bedienung von Werkzeugen aus dem Handgelenk heraus, kein Tragen und Heben von Lasten über 5 kg mit dem rechten Arm und keine Arbeiten über Kopf oder in Vorhaltung beider Arme. Weiter besteht eine Limitierung von Arbeiten im Freien unter Nässe, Kälte oder Zugluft auf 10 %.
Wie dargelegt (E. 4.1), wurde die Schmerzproblematik beim zumutbaren Leistungsprofil hinreichend berücksichtigt. Weder die gesundheitlichen Einschränkungen des Versicherten noch sein Alter (resp. die verbleibende Aktivitätsdauer; vgl. zum hierfür massgebenden Zeitpunkt: <ref-ruling> E. 5.3.1 S. 16; <ref-ruling> E. 3.3 S. 461 f.) sprechen gegen die Verwertbarkeit der (Rest-) Arbeitsfähigkeit auf dem (hypothetischen) ausgeglichenen Arbeitsmarkt. Die Vorinstanz erwog somit zutreffend, dass dem Versicherten mit Blick auf das Leistungsprofil auf dem relevanten ausgeglichenen Arbeitsmarkt eine ausreichende Anzahl Arbeitsstellen zur Verfügung steht. Insbesondere erfordern einfache Überwachungs-, Prüf- und Kontrolltätigkeiten sowie leichte Montagearbeiten in der Regel keine lange Umstellungs- oder Einarbeitungszeit. Ob dabei die vorinstanzlich überdies genannte Arbeit als Museumswärter oder Parkplatzwächter zumutbar wäre, was der Beschwerdeführer bestreitet, kann dabei offen bleiben. Das kantonale Gericht verletzte jedenfalls durch die Bejahung der Verwertbarkeit der verbliebenen medizinisch-theoretischen Arbeitsfähigkeit kein Bundesrecht. Zusammenfassend lassen die Vorbringen in der Beschwerde den angefochtenen Teilentscheid nicht als willkürlich oder sonstwie bundesrechtswidrig erscheinen, weshalb es dabei sein Bewenden hat.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla