Sachverhalt:
A.
Der 1966 geborene A._, der zuletzt als Geschäftsführer, Teilinhaber und Sprachlehrer der B._ GmbH tätig war, meldete sich im September 2014 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich nahm verschiedene erwerbliche und medizinische Abklärungen vor. Nachdem der Regionale Ärztliche Dienst (RAD) die divergierenden medizinischen Beurteilungen der Dres. med. C._, Facharzt für Psychiatrie und Psychotherapie (vgl. Berichte vom 5. Juli 2014, 8. September 2014, 13. Oktober 2014, 14. Februar 2015) und D._, Facharzt für Psychiatrie und Psychotherapie (Bericht vom 22. Mai 2015), für nicht nachvollziehbar erachtet hatte, veranlasste sie eine polydisziplinäre Begutachtung des Versicherten in der Ärztliches Begutachtungsinstitut (ABI) GmbH, Basel (Expertise vom 1. März 2016). Alsdann stellte die Verwaltung A._ vorbescheidweise die Ablehnung eines Rentenanspruchs in Aussicht, wogegen dieser Einwände erhob und verschiedene Berichte einreichte. Die IV-Stelle orientierte ihn daraufhin, dass eine polydisziplinäre Verlaufsbegutachtung in der ABI notwendig sei. Daran hielt die Verwaltung mit unangefochten gebliebener Zwischenverfügung vom 20. September 2017 fest. Am 19. März 2018 erstattete die ABI das Verlaufsgutachten und ergänzte dieses betreffend die Arbeitsfähigkeit am 19. April 2018. Anschliessend verneinte die IV-Stelle einen Rentenanspruch (Verfügung vom 4. Mai 2018).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. Januar 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, in Aufhebung des angefochtenen Entscheids sei die Sache an das kantonale Gericht zurückzuweisen mit dem Auftrag, den Sachverhalt beweiswertig festzustellen und die geschuldete Rente zuzusprechen.

Erwägungen:
1.
Die Beschwerde ist nicht kassatorischer, sondern reformatorischer Natur (<ref-law>). Daher darf sich die beschwerdeführende Partei grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern es ist in der Beschwerdeschrift ein präziser Antrag zur Sache zu stellen, ausser wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte (<ref-ruling> E. 1.3 S. 317; <ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489; Urteil 8C_135/2017 vom 4. September 2017 E. 1 mit Hinweisen).
Die beantragte Rückweisung der Sache an die Vorinstanz zur Neubeurteilung bezweckt, einen als nicht rechtsgenüglich abgeklärt gerügten Sachverhalt zu vervollständigen. Im Gutheissungsfall könnte somit nicht reformatorisch entschieden werden, weshalb auf die Beschwerde einzutreten ist.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.2. Als offensichtlich unrichtig gelten die vorinstanzlichen Feststellungen, wenn sie willkürlich erhoben worden sind (<ref-law>; <ref-ruling> E. 2 S. 117; allgemein zur Willkür in der Rechtsanwendung: <ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 7.1 S. 51; <ref-ruling> E. 6.1 S. 379 f.). Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 7.1 S. 124 mit Hinweisen).
2.3. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat. Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln eine Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_728/2018 vom 21. März 2019 E. 2.3 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
3.
3.1. Streitig ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es in Bestätigung der Verfügung vom 4. Mai 2018 aufgrund der ABI-Gutachten einen Rentenanspruch verneinte.
3.2. Im angefochtenen Entscheid sind insbesondere die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law> und <ref-law>), zum Rentenanspruch (Art. 28 Abs. 1 und 2 IVG) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis) zutreffend dargelegt. Darauf wird verwiesen.
4.
4.1. Vorweg ist auf die Vorbringen zum Anspruch auf rechtliches Gehör einzugehen. Die Vorinstanz erwog, die vom Beschwerdeführer erhobene Rüge sei insoweit berechtigt, als die Verfügung nicht die zu erwartende Begründungsdichte aufweise. Entgegen dem Beschwerdeführer wurde im angefochtenen Entscheid somit eine Verletzung des Anspruchs auf rechtliches Gehör, im Speziellen der Begründungspflicht, festgestellt.
4.2. Im Weiteren führte das kantonale Gericht aus, eine schwere, die Heilung des Verfahrensmangels ausschliessende Gehörsverletzung liege allerdings nicht vor, habe die Beschwerdegegnerin die angefochtene Verfügung im Rahmen des Rechtsmittelverfahrens doch präzisiert, wozu der Beschwerdeführer habe Stellung nehmen können und womit es ihm möglich gewesen sei, seine Anliegen sachgerecht darzulegen. Gegen eine Aufhebung der Verfügung spräche gemäss Vorinstanz auch, dass eine Rückweisung zu einem formalistischen Leerlauf und unnötigen Verfahrensverzögerung führte.
Diese vorinstanzlichen Überlegungen beruhen auf der Rechtsprechung, wonach eine Verletzung des rechtlichen Gehörs ausnahmsweise als geheilt gelten kann, wenn die betroffene Person die Möglichkeit erhält, sich vor der Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie auch die Rechtslage frei überprüfen kann, und selbst bei einer schwerwiegenden Verletzung des Gehörsanspruchs von einer Rückweisung der Sache an die Verwaltung abzusehen ist, wenn die Rückweisung zu einem formalistischen Leerlauf und damit zu einer unnötigen Verzögerung führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wäre (<ref-ruling> E. 2.2 S. 204; <ref-ruling> E. 5.1 S. 390; <ref-ruling> E. 3d/aa S. 437). Nachdem die vorinstanzliche Feststellung, dem Beschwerdeführer sei es möglich gewesen, seine Anliegen sachgerecht vorzutragen, auch mit Blick auf seine Eingaben im kantonalen Verfahren nicht zu beanstanden ist, verstossen die vorinstanzlichen Erwägungen zur Verletzung des Anspruchs auf rechtliches Gehör und dessen Heilung nicht gegen Bundesrecht.
5.
5.1. Die Vorinstanz stellte fest, die Rüge gegen die Anordnung der Begutachtung sei verspätet und nicht zu hören. Abgesehen davon habe der Beschwerdeführer keinen Anspruch auf eine konsensuale Bestimmung der Gutachterstelle. <ref-law> sehe zwar eine Vergabe von polydisziplinären Gutachten nach dem Zufallsprinzip vor, allerdings weise das Bundesamt für Sozialversicherungen im Kreisschreiben über das Verfahren in der Invalidenversicherung (KSVI [Stand: 1. Januar 2018]) auf die Möglichkeit hin, Verlaufsgutachten bei derselben Gutachterstelle in Auftrag zu geben, die bereits das erste interdisziplinäre Gutachten erstellt haben, vorausgesetzt jenes sei über die Plattform SuissMED@P vergeben worden (Rz. 2077.5 KSVI). Das kantonale Gericht kam zum Schluss, es sei daher nicht zu beanstanden, dass die ABI mit der polydisziplinären Verlaufsbegutachtung beauftragt worden sei.
Weiter hielt die Vorinstanz fest, die medizinischen Expertisen der ABI vom 1. März 2016 und 19. März 2018 erfüllten die Anforderungen an ein beweiswertiges medizinisches Gutachten. Sie stellte deshalb auf deren Einschätzung der Arbeitsfähigkeit von 80 % ab.
5.2. Der Beschwerdeführer führt im Wesentlichen aus, <ref-law>, gemäss welchem eine Vergabe von polydisziplinären Gutachten nach dem Zufallsprinzip zu erfolgen habe, sei verletzt: Das KSVI verstosse gegen diese Bestimmung. Zudem rügt der Beschwerdeführer die vorinstanzliche Beweiswürdigung und die Feststellungen gestützt auf die ABI-Gutachten in verschiedener Hinsicht.
6.
Zunächst ist auf die vorinstanzliche Feststellung einzugehen, die Rügen des Beschwerdeführers gegen die Anordnung des Verlaufsgutachtens seien verspätet.
6.1.
6.1.1. Das kantonale Gericht legte in einem ersten Schritt dar, nach dem Grundsatz von Treu und Glauben sowie dem Verbot des Rechtsmissbrauchs seien nach der bundesgerichtlichen Rechtsprechung verfahrensrechtliche Einwendungen so früh wie möglich vorzubringen. Wer sich auf das Verfahren einlasse, ohne einen Verfahrensmangel bei erster Gelegenheit geltend zu machen, verwirke in der Regel den Anspruch auf spätere Anrufung der vermeintlich verletzten Verfahrensvorschrift. Alsdann führte die Vorinstanz aus, der Beschwerdeführer sei über die Verlaufsbegutachtung orientiert und darauf hingewiesen worden, dass er die Möglichkeit habe, Einwände zu erheben. Danach habe die IV-Stelle am 20. September 2017 eine verfahrensleitende Verfügung betreffend die Anordnung der Verlaufsbegutachtung erlassen. Damit habe sich der Versicherte zwar mit E-Mail vom 21. September 2017 nicht einverstanden erklärt, er habe indes ausdrücklich auf eine Anfechtung der Zwischenverfügung verzichtet, um einen weiteren Zeitverlust zu vermeiden. Nach Auffassung der Vorinstanz verstosse dies mit Blick auf die zitierte bundesgerichtliche Praxis gegen Treu und Glauben, die Auftragsvergabe an die ABI nun erst im Beschwerdeverfahren gegen die rentenablehnende Verfügung zu hinterfragen. Die Rüge erweise sich als verspätet und sei daher nicht zu hören.
6.1.2. Der Beschwerdeführer bringt dagegen vor, es sei unzutreffend, dass er das Verlaufsgutachten erst im Beschwerdeverfahren rüge. Er habe im Schreiben vom 15. Juli 2016 auf Mängel am ersten Gutachten hingewiesen. Dass er unter diesen Umständen mit einem Verlaufsgutachten bei demselben Gutachterzentrum einverstanden wäre, könne in keiner Weise angenommen werden, stützte sich ein Verlaufsgutachten doch bekanntlich auf das erste, von ihm kritisierte und nicht akzeptierte Gutachten. Zudem habe er der IV-Stelle am 2. September 2016 nochmals mitgeteilt, dass das ABI-Gutachten gravierende Mängel enthalte, und am 3. Juli 2017 Einwände erhoben. Die Vorinstanz verschweige dies. Damit habe sie den Sachverhalt unrichtig festgestellt und den Untersuchungsgrundsatz verletzt.
6.2.
6.2.1. Bei der Anordnung eines Gutachtens handelt es sich um eine Zwischenverfügung (<ref-law> i.V.m. Art. 5 Abs. 2 und Art. 46 VwVG [SR 172.021]). <ref-law> regelt, inwiefern vor Vor- und Zwischenentscheide beim Bundesgericht angefochten werden können. In Absatz 3 dieser Bestimmung heisst es: Ist die Beschwerde nach den Absätzen 1 und 2 nicht zulässig oder wurde von ihr kein Gebrauch gemacht, so sind die betreffenden Vor- und Zwischenentscheide durch Beschwerde gegen den Endentscheid anfechtbar, soweit sie sich auf dessen Inhalt auswirken. Aus dieser Bestimmung und dem in <ref-law> statuierten Grundsatz der Einheit des Verfahrens ergibt sich, dass ein sich noch auswirkender Zwischenentscheid grundsätzlich auch noch mit dem Endentscheid angefochten werden kann, darf die Kognition der unmittelbaren Vorinstanz des Bundesgerichts doch nicht enger sein. Diesem Grundsatz wird im anwendbaren Prozessrecht Rechnung getragen, indem dort bestimmt wird, die Anfechtbarkeit von Teil-, Vor- und Zwischenentscheiden richte sich sinngemäss nach den Art. 91-93 BGG (Art. 61 Ingress ATSG i.V.m. § 13 Abs. 2 des kantonalzürcherischen Gesetzes über das Sozialversicherungsgericht vom 7. März 1993 [GSVGer; LS 212.81]).
Gegen einen Zwischenentscheid über die Anordnung einer Begutachtung kann somit zum einen unmittelbar nach seinem Erlass beim kantonalen Versicherungsgericht (bzw. Bundesverwaltungsgericht) Beschwerde erhoben werden (<ref-ruling> E. 1.2.2 f. S. 276; <ref-ruling> E. 3.4.2.6 f. S. 256) oder wenn davon kein Gebrauch gemacht wurde, kann - vorbehalten Ausstandsgründe, die unmittelbar geltend gemacht werden müssen (<ref-ruling> E. 2.2.1 S. 277) - die Zwischenverfügung, die sich auf den Inhalt einer Endverfügung auswirkt, auch noch mit der Beschwerde gegen die Endverfügung angefochten werden.
6.2.2. Das Schreiben vom 15. Juni 2016 und der Einwand vom 3. Juli 2017 haben keinen Eingang in die Akten der IV-Stelle oder der Vorinstanz gefunden, weshalb diese nun erstmals vor Bundesgericht vorliegenden Schreiben als Noven zu qualifizieren sind (<ref-law>). Ob diese Unterlagen noch zu berücksichtigen sind, kann dahingestellt bleiben, ergibt sich doch bereits aus der Zwischenverfügung der IV-Stelle vom 20. September 2017, dass der Beschwerdeführer am 15. Juni 2016 gegen das ABI-Gutachten opponierte und am 3. Juli 2017 Einwände gegen die Begutachtung in der ABI erhoben hatte. Der Zwischenverfügung lässt sich zum Inhalt dieser Schreiben des Beschwerdeführers entnehmen, dass dieser nebst verschiedenen Ausstandsgründen, den Beweiswert des Erstgutachtens in Frage stellte und eine Gutachtensvergabe unter Einhaltung der Vorgaben von <ref-law> forderte (vgl. weiter die aktenkundigen Eingaben des Beschwerdeführers vom 2. September 2016, 26. Juni 2017 und 9. Juni 2017). Der Beschwerdeführer hat somit zwar die Zwischenverfügung der IV-Stelle - um keine weitere Zeit zu verlieren - nicht unmittelbar gerichtlich angefochten, seine Vorbringen bei der IV-Stelle aber durchaus deponiert und mit der Anfechtung in zulässiger Weise bis zum Endentscheid zugewartet.
7.
7.1. Nach <ref-law> (SR 831.201) haben medizinische Gutachten, an denen drei und mehr Fachdisziplinen beteiligt sind, bei einer Gutachterstelle zu erfolgen, mit welcher das Bundesamt eine Vereinbarung getroffen hat (Abs. 1). Die Vergabe der Aufträge erfolgt nach dem Zufallsprinzip (Abs. 2).
7.2. Rz. 2077.5 KSVI in der seit 1. Januar 2018 gültigen Fassung bestimmt, Verlaufsgutachten können derselben Gutachterstelle in Auftrag gegeben werden, die bereits das erste polydisziplinäre Gutachten erstellt hat, vorausgesetzt, dieses ist über die Plattform SuisseMED@P vergeben worden. Ferner sieht die Muster-Vereinbarung zwischen dem Bundesamt für Sozialversicherungen und der Gutachterstelle xy betreffend die Durchführung von polydisziplinären Gutachten zur Beurteilung von Leistungsansprüchen in der Invalidenversicherung (gestützt auf <ref-law>) vor, dass vom Zufallsprinzip die Aufträge für Verlaufsgutachten ausgenommen sind, welche innerhalb einer Frist von drei Jahren seit der ersten polydisziplinären Begutachtung notwendig sind (Art. 3 lit. a).
7.3.
7.3.1. Ausgangspunkt jeder Auslegung bildet der Wortlaut der massgeblichen Norm. Ist der Text nicht ganz klar und sind verschiedene Interpretationen möglich, so muss nach der wahren Tragweite der Bestimmung gesucht werden, wobei alle Auslegungselemente zu berücksichtigen sind (Methodenpluralismus). Dabei kommt es namentlich auf den Zweck der Regelung, die dem Text zugrunde liegenden Wertungen sowie auf den Sinnzusammenhang an, in dem die Norm steht. Die Entstehungsgeschichte ist zwar nicht unmittelbar entscheidend, dient aber als Hilfsmittel, um den Sinn der Norm zu erkennen. Namentlich zur Auslegung neuerer Texte, die noch auf wenig veränderte Umstände und ein kaum gewandeltes Rechtsverständnis treffen, kommt den Materialien eine besondere Bedeutung zu. Vom Wortlaut darf abgewichen werden, wenn triftige Gründe dafür bestehen, dass er nicht den wahren Sinn der Regelung wiedergibt. Sind mehrere Auslegungen möglich, ist jene zu wählen, die der Verfassung am besten entspricht. Allerdings findet auch eine verfassungskonforme Auslegung ihre Grenzen im klaren Wortlaut und Sinn einer Gesetzesbestimmung (<ref-ruling> E. 4.1 S. 7 mit Hinweisen).
7.3.2. Verwaltungsweisungen, wie das KSVI, richten sich grundsätzlich nur an die Durchführungsstellen und sind für die Gerichte nicht verbindlich. Indes berücksichtigen die Gerichte die Kreisschreiben insbesondere dann und weichen nicht ohne triftigen Grund davon ab, wenn diese eine dem Einzelfall angepasste und gerecht werdende Auslegung der anwendbaren gesetzlichen Bestimmungen zulassen und eine überzeugende Konkretisierung der rechtlichen Vorgaben enthalten. Dadurch wird dem Bestreben der Verwaltung Rechnung getragen, durch interne Weisungen eine rechtsgleiche Gesetzesanwendung zu gewährleisten (<ref-ruling> E. 6.2 S. 362; <ref-ruling> E. 5.2.3 S. 8; <ref-ruling> E. 3.2 S. 258 mit Hinweisen; vgl. <ref-ruling> E. 8.1 S. 315). Auf dem Wege von Verwaltungsweisungen dürfen keine über Gesetz und Verordnung hinausgehenden Einschränkungen eines materiellen Rechtsanspruchs eingeführt werden (<ref-ruling> E. 3.2.2.1 S. 547 f.; <ref-ruling> E. 4.4 S. 125; Urteil 2C_209/2017 vom 16. Dezember 2019 E. 4.1).
7.4.
7.4.1. Der deutsche Wortlaut von <ref-law> stimmt mit demjenigen der französischen und italienischen Fassung überein. Daraus ergibt sich, dass die Vergabe von Aufträgen für interdisziplinäre medizinische Gutachten nach dem Zufallsprinzip zu erfolgen hat (vgl. auch <ref-ruling> E. 5.2.1 S. 354). Es wird nicht zwischen dem Auftrag für die Erst- und Verlaufsbegutachtung unterschieden. Es geht damit aus der Bestimmung nicht hinreichend klar hervor, ob die einmal bestimmte Gutachterstelle im Verlauf des Verfahrens erneut herangezogen werden kann oder ob die Vergabe des Verlaufsgutachtens im gleichen Abklärungsverfahren zwingend neu nach dem Zufallsprinzip zu erfolgen hat. Um die Tragweite von <ref-law> zu bestimmen, ist deshalb auf die anderen Auslegungselemente zurückzugreifen.
7.4.2. Nach <ref-law> prüft der Versicherungsträger die Begehren, nimmt die notwendigen Abklärungen von Amtes wegen vor und holt die erforderlichen Auskünfte ein (Satz 1; vgl. auch <ref-law>). Die grosse Vielfalt von Begutachtungssituationen erfordert Flexibilität (<ref-ruling> E. 3.2 S. 352). Dem Versicherungsträger kommt in Bezug auf Notwendigkeit, Umfang und Zweckmässigkeit von medizinischen Erhebungen denn auch ein grosser Ermessensspielraum zu (Urteil 8C_481/2013 vom 7. November 2013 E. 3.4, nicht publ. in: <ref-ruling>, aber in: SVR 2014 UV Nr. 7 S. 21). Hier ordnet sich <ref-law> in gesetzessystematischer Hinsicht auf Verordnungsstufe ein, indem er in verfahrensmässiger Hinsicht die Abklärung der Verhältnisse mittels polydisziplinären medizinischen Gutachten (Fünfter Abschnitt des IVV "Das Verfahren", lit. B "Die Abklärung der Verhältnisse", Titel von <ref-law> "polydisziplinäre medizinische Gutachten") regelt.
7.4.3. <ref-law>, in Kraft seit 1. März 2012, erliess der Bundesrat im Nachgang zum Grundsatzurteil BGE <ref-ruling> (vgl. Erläuterungen betreffend Änderungen der IVV vom 1. März 2012 S. 23, abrufbar unter https://www.bsv.admin.ch/bsv/de/home/sozialversicherungen/iv/grundlagen-gesetze/gesetze-verordnungen.html).
7.4.3.1. In diesem Urteil befasste sich das Bundesgericht in umfassender und einlässlicher Weise mit der Verfassungs- und EMRK-Konformität des sozialversicherungsrechtlichen Abklärungsverfahrens schweizerischen Zuschnitts. Zur Gewährleistung der Rechtmässigkeit dieses Verfahrens und um den aus dem Ertragspotenzial der involvierten medizinischen Abklärungsstellen (MEDAS) entstehenden Gefährdungen der Verfahrensgarantien zu begegnen, schuf das Bundesgericht verschiedene Korrektive. Dazu gehörte insbesondere die Stärkung der Partizipationsrechte der betroffenen Versicherten und die zufallsbasierte Vergabe bei MEDAS-Gutachteraufträgen (<ref-ruling> E. 3.1 S. 272; <ref-ruling> E. 3.1.1 S. 242). Mit Letzterem soll dem potenziellen Risiko für sachfremde Einflüsse auf die gutachterliche Unabhängigkeit vorgebeugt werden. Die Auftragsvergabe an externe Gutachterstellen soll nicht von nicht rechtlich determinierten Zielorientierungen im Sinne einer unzulässigen ergebnisbezogenen Steuerung von medizinischen Feststellungsprozessen überlagert werden, beispielsweise bei der Auswahl der Experten (BGE <ref-ruling> E. 2.4.4 S. 239 f.).
7.4.3.2. Für die Auslegung von <ref-law> und die Beantwortung der Frage, inwiefern das Zufallsprinzip zur Anwendung kommt, ist somit massgebend, in welchem Ausmass strukturelle Korrektive aus rechtsstaatlicher Sicht erforderlich sind, um die Unabhängigkeit und Unbefangenheit des Gutachterwesens zu garantieren.
7.4.4. Die Auftragsvergabe nach dem Zufallsprinzip neutralisiert - zusammen mit den weiteren Vorgaben nach BGE <ref-ruling> - generelle, aus den Rahmenbedingungen des Gutachterwesens fliessende Abhängigkeits- und Befangenheitsbefürchtungen; nicht einzelfallbezogene Bedenken werden gegenstandslos (<ref-ruling> E. 5.2.2.1 S. 355). Die Unabhängigkeit und Unbefangenheit der bestimmten Gutachterstelle gilt diesfalls generell und beschränkt sich in zeitlicher Hinsicht nicht bis zur Erstattung des Erstgutachtens. Vielmehr sollen offene Fragen oder Zweifel an den gutachterlichen Schlussfolgerungen in erster Linie mit den Verfassern des betreffenden Gutachtens geklärt werden (vgl. BGE <ref-ruling> E. 3.3.1 S. 245). Ferner vermag der Umstand, dass ein Sachverständiger sich schon einmal mit einer Person befasst hat, objektiv keinen Anschein der Befangenheit und die Gefahr der Voreingenommenheit begründen, dies selbst, wenn ein Gutachter zu (für eine Partei) ungünstigen Schlussfolgerungen gelangte (<ref-ruling> E. 7.2.2 S. 110). Vielmehr kann die Begutachtung bei der gleichen Abklärungsstelle den Aufschlusswert zur Beurteilung der medizinischen Entwicklung erhöhen, insbesondere wenn das Verlaufsgutachten durch einen bereits mit dem Fall vertrauten medizinischen Gutachter erfolgt (vgl. Urteil 9C_1032/2010 vom 1. September 2011 E. 4.1). Das Kreisschreiben und die Muster-Vereinbarung betreffend die Durchführung von polydisziplinären Gutachten zur Beurteilung von Leistungsansprüchen in der Invalidenversicherung (E. 7.2 hiervor) tragen somit dem spezifischen Abklärungsbedarf Rechnung und beruhen nicht auf ergebnisorientierten Überlegungen.
7.4.5. Nachdem allgemeine Abhängigkeits- und Befangenheitsbefürchtungen durch eine zufallsbasierte Auftragserteilung für das Erstgutachten eliminiert und die Erstgutachter dadurch nicht unzulässig vorbefasst sind, ist gegen ein Verlaufsgutachten innert drei Jahren nach dem Erstgutachten durch die gleiche Abklärungsstelle nichts einzuwenden. Dies insbesondere auch vor dem Hintergrund, dass ein Verlaufsgutachten nicht der Einholung einer Zweitmeinung (sog. second opinion) dient und zu einer solchen auch nicht verkommen soll. Mit dem Zufallsprinzip werden strukturelle Nachteile beseitigt, es bezweckt aber nicht die Verbesserung der objektiven materiellen Erfolgsaussichten im Einzelfall (vgl. BGE <ref-ruling> E. 2.1.2.3 S. 230) : So auch nicht, wenn ein erstes Gutachten zu (für eine Partei) ungünstigen Schlussfolgerungen gelangte. <ref-law> ist somit nicht verletzt, wenn im Rahmen des gleichen Abklärungsverfahrens ein Verlaufsgutachten bei der gleichen medizinischen Abklärungsstelle eingeholt wird, falls die Auftragsvergabe für das Erstgutachten nach dem Zufallsprinzip erfolgte.
7.5. Das Erstgutachten der ABI vom 1. März 2016 erfolgte nach einer Auftragsvergabe gemäss dem Zufallsprinzip. Der RAD hat dieses Gutachten - auch mit Blick auf die Einwendungen des Beschwerdeführers - als beweiswertig eingeschätzt (Stellungnahmen vom 26. September 2017, 23. und 24. März 2017). Aufgrund einer möglichen psychischen Verschlechterung empfahl der RAD aber am 23. Mai 2017 ein Verlaufsgutachten bei der ABI einzuholen. Es war somit nach etwas mehr als einem Jahr im Rahmen der erstmaligen Abklärung des Rentenanspruchs zu prüfen, ob sich der Gesundheitszustand des Beschwerdeführers zwischenzeitlich verschlechtert hatte. Aufgrund des engen zeitlichen Zusammenhangs zum Erstgutachten und in Anbetracht, dass nach dem hiervor Dargelegten keine Abhängigkeits- und Befangenheitsbefürchtungen gegen eine Verlaufsbegutachtung in der ABI sprachen, verletzt das Einholen eines Verlaufsgutachtens bei der ABI kein Bundesrecht. Der Umstand, dass der Beschwerdeführer mit dem Abklärungsergebnis der ABI im Erstgutachten nicht einverstanden war, ändert daran nichts. Es bestand - auch mit Blick auf die nachfolgenden Erwägungen zum Beweiswert der Einschätzungen der ABI - kein Anlass, ein Zweitgutachten (second opinion) einzuholen.
8.
In einem nächsten Schritt ist auf den Beweiswert der ABI-Gutachten einzugehen.
8.1. Der Beschwerdeführer bringt gegen die vorinstanzliche Beweiswürdigung zunächst vor, das kantonale Gericht habe das Gutachten des Taggeldversicherers (Expertise des Dr. med. D._ vom 22. Mai 2015 und dessen Bericht vom 19. August 2016) unzutreffend als Berichte eines behandelnden Arztes qualifiziert, womit die darauf basierende Beweiswürdigung der Vorinstanz unzutreffend sei.
Ein nach <ref-law> eingeholtes Administrativgutachten ist - unabhängig davon, ob eine Stellungnahme eines vom Taggeldversicherer beigezogenen Arztes oder Berichte behandelnder Ärzte vorliegen - nicht stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn diese zu anderslautenden Einschätzungen kamen. Die Verwaltung bzw. im Beschwerdefall das Gericht müssen diesbezüglich aber prüfen, ob dadurch konkrete Indizien vorliegen, welche die Auffassung und Schlussfolgerungen des vom Versicherungsträger förmlich bestellten Gutachters zu erschüttern vermögen (vgl. BGE <ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 3b/bb und E. 3c S. 353 f.). Die Beweiswürdigung der Vorinstanz erfolgte nach diesem Prinzip, weshalb die beschwerdeführerische Rüge ins Leere zielt.
8.2. Der Beschwerdeführer macht weiter geltend, er sei englischer Muttersprache, weswegen er die Gutachterstelle über die Notwendigkeit eines Dolmetschers informiert habe. Entgegen der Zusicherung habe die ABI keinen Dolmetscher hinzugezogen. Auf diese Weise hätten die Traumafolgen und ihre Auswirkungen auf die Arbeitsfähigkeit nicht erhoben werden können.
Der Beschwerdeführer hat im vorinstanzlichen Verfahren lediglich den fehlenden Beizug eines Übersetzers betreffend die Erstbegutachtung gerügt, jedoch in Bezug auf das Verlaufsgutachten keine Verständigungsschwierigkeiten geltend gemacht. Insoweit ist diese Tatsachenbehauptung neu und mit Blick auf <ref-law> nicht weiter zu berücksichtigen. Im Übrigen ist diese Rüge aber auch unbegründet. Bei der Verlaufsbegutachtung wurde ausweislich der Akten für die psychiatrische Untersuchung ein Übersetzer hinzugezogen und der Gutachter hielt fest, der Beschwerdeführer habe auf die gestellten Fragen gut eingehen können. Im Rahmen des Erstgutachtens wurde zwar kein Übersetzer hinzugezogen, Hinweise auf Verständigungsschwierigkeiten liegen aber auch hier nicht vor. Vielmehr wurde im psychiatrischen Teilgutachten festgehalten, der Beschwerdeführer habe sich in englischer Sprache, die gut verständlich gewesen sei, äussern können. Von dieser Seite bestehen daher keine Anhaltspunkte, die Zweifel am Beweiswert der ABI-Gutachten zu begründen vermöchten.
8.3. Das kantonale Gericht stellte fest, die ABI-Gutachter hätten eine Persönlichkeitsstörung bzw. eine andauernde Persönlichkeitsänderung nach Extrembelastung in überzeugender Weise verneint. Sie hätten dabei namentlich auf die - trotz lebensgeschichtlich frühen Belastungen - normale Sozialisation, die bis ins höhere Erwachsenenalter bestandene volle Leistungsfähigkeit sowie die fehlende emotionale Abstumpfung gegenüber der Umgebung hingewiesen. Entgegen dem Beschwerdeführer haben die Gutachter die Belastungen in der Kindheit und Jugend somit berücksichtigt, daraus aber mit Blick auf den gesamten Lebenslauf und in Auseinandersetzung mit den anderen ärztlichen Einschätzungen nicht auf eine Persönlichkeitsstörung oder Persönlichkeitsänderung nach Extrembelastung geschlossen. Der Beweiswert des Gutachtens wird daher durch die Vorbringen des Beschwerdeführers nicht in Frage gestellt.
8.4. Die Vorinstanz hielt weiter fest, der ABI-Gutachter Dr. med. E._ sei im Rahmen seiner neurologischen Beurteilung mit überzeugender Begründung zum Schluss gelangt, dass eine organische Nervenerkrankung nicht eindeutig habe festgestellt werden können. Dieser habe darauf hingewiesen, dass für die Diagnose einer Neuropathie eine leicht verminderte Nervenfaserdichte nicht genüge und der räumlich sowie zeitlich fluktuierende Charakter der Beschwerden sowie die Hauptlokalisation in den Gelenken gegen eine solche spräche. Im Gutachten werden somit sämtliche Befunde gewürdigt. Diesem kommt daher auch in dieser Hinsicht Beweiswert zu. Soweit der Beschwerdeführer die auf der gutachterlichen Einschätzung basierenden vorinstanzlichen Feststellungen zum Gesundheitszustand rügt und auf die Berichte seiner behandelnden Ärzte verweist, vermag er nicht aufzuzeigen, dass die Vorinstanz den Sachverhalt willkürlich festgestellt hat (vgl. E. 2.2 hiervor).
8.5. Im kantonalen Entscheid wurde zudem aufgezeigt, dass den Gutachtern die chronische Obstipation und die Probleme beim Wasserlösen bekannt waren. Es verletzt daher kein Bundesrecht, wenn die Vorinstanz bei dieser Ausgangslage schloss, es könne auf die Expertise abgestellt werden, obwohl den Gutachtern nicht sämtliche Berichte vorgelegen haben.
8.6. Soweit der Beschwerdeführer ferner vorbringt, es fehlten vorinstanzliche Sachverhaltsfeststellungen zum Verlauf der Blasenfunktionsstörung von April 2017 bis zur Verfügung vom 4. Mai 2018, mag dies zutreffen. Nachdem der Beschwerdeführer aber auch keine Verschlechterung nach der Begutachtung geltend macht, ist nicht erkennbar, inwiefern dies relevant und den vorinstanzlichen Entscheid als bundesrechtswidrig erscheinen lassen sollte.
8.7. Schliesslich wird mit der Beschwerde beanstandet, dass die Vorinstanz auf ein Gutachten abstellte, das als angestammte Tätigkeit jene des Lehrers angenommen habe. Der Beschwerdeführer sei Geschäftsführer und Inhaber einer Englischschule gewesen und in dieser Tätigkeit liege eine höhere Einschränkung vor.
Das Unternehmen des Beschwerdeführers hatte unabhängig der gesundheitlichen Situation erhebliche wirtschaftliche Schwierigkeiten, sodass der Beschwerdeführer bereits kurz nach Eintritt der gesundheitlichen Leistungseinschränkung seine Beteiligungen verkaufen musste. Inwieweit bei dieser Ausgangslage die bisherige Tätigkeit im Rahmen der Ermittlung des Rentenanspruchs weiter massgebend ist, kann aber offen gelassen werden. In den ABI-Gutachten wird dem Beschwerdeführer als Englischlehrer oder in einer anderen körperlich leichten bis intermittierend mittelschwer belastenden Tätigkeit eine 80%ige Arbeits- und Leistungsfähigkeit attestiert. Wenn das kantonale Gericht gestützt darauf schloss, auch in der Tätigkeit als Direktor, Teilhaber einer Schule und Englischlehrer bestehe eine Arbeitsfähigkeit von 80 % verletzt dies kein Bundesrecht: Der Beschwerdeführer kann aus dem Bericht des Dr. med. D._ nichts zu seinen Gunsten ableiten, nachdem dessen Diagnosen mit den ABI-Gutachten nicht bestätigt sind.
9.
Die Vorinstanz ermittelte mit einem Prozentvergleich einen Invaliditätsgrad von 20 %. Ferner legte sie dar, dass auch ein Einkommensvergleich, wie ihn die Beschwerdegegnerin in der Beschwerdeantwort vorgenommen habe, einen rentenausschliessenden Invaliditätsgrad ergebe.
Der Beschwerdeführer zeigt nicht auf, inwiefern der vom kantonalen Gericht vorgenommene Prozentvergleich gegen Bundesrecht verstösst. Dies wäre aber notwendig gewesen, wenn sich ein angefochtener Entscheid auf mehrere selbständige Begründungen stützt (<ref-ruling> E. 6.3 S. 120 f.; Urteil 9C_550/2019 vom 19. Februar 2020 E. 1; jeweils mit Hinweisen). Die Rüge zum Invalideneinkommen ist aber auch unbegründet, ist dieses doch nur anhand des tatsächlichen Verdienten zu bestimmen, wenn die versicherte Person ihre Restarbeitsfähigkeit voll verwertet (vgl. <ref-ruling> E. 5.2 S. 301; SVR 2019 UV Nr. 7 S. 27, 8C_58/2018 E. 3.1). Das ist vorliegend nicht der Fall, denn gemäss den Angaben in den ABI-Gutachten unterrichtet der Beschwerdeführer pro Woche lediglich 14 bzw. 9 Lektionen, was keinem Pensum von 80 % entspricht.
10.
Die Beschwerde ist unbegründet. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. November 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli