Sachverhalt:
A.
A.a. B._ (geb. 1964; Beschwerdegegnerin) und A._ (geb. 1962; Beschwerdeführer) heirateten 1995. Sie sind die Eltern zweier erwachsener Töchter (geb. 1995 und 1998). Seit dem 2. August 2015 leben die Ehegatten getrennt.
A.b. Am 20. September 2017 klagte A._ beim Bezirksgericht Meilen auf Scheidung der Ehe. Mit Vereinbarung vom 27. September 2018 verpflichtete er sich ab August 2018 für die Dauer des Scheidungsverfahrens zur Zahlung von ehelichen Unterhaltsbeiträgen von monatlich Fr. 9'500.--. Das Bezirksgericht genehmigte diese Vereinbarung am 29. September 2018. Am 28. November 2019 schied es die Ehe und regelte die Nebenfolgen der Scheidung. Dabei verurteilte das Gericht A._ dazu, ab Rechtskraft des Scheidungsurteils bis zum Erreichen des Pensionsalters (indexierten) nachehelichen Unterhalt von Fr. 10'650.-- im Monat zu bezahlen.
B.
Gegen dieses Urteil reichte A._ soweit den nachehelichen Unterhalt betreffend Berufung beim Obergericht des Kantons Zürich ein. Im Rahmen dieses Verfahrens beantragte er am 17. März 2020 unter anderem, es sei der mit Verfügung vom 29. September 2018 für die Dauer des Verfahrens festgelegte Ehegattenunterhalt ab dem 1. Juli 2020 aufzuheben und die Vollstreckung der vorsorglichen Massnahme zu sistieren. Mit Beschluss vom 5. Juni 2020 (eröffnet am 9. Juni 2020) wies das Obergericht beide Gesuche ab.
C.
Mit Beschwerde in Zivilsachen vom 8. Juli 2020 gelangt A._ mit dem Antrag ans Bundesgericht, es sei in Aufhebung des Beschlusses des Obergerichts unter Kostenfolge zulasten der Ehefrau festzustellen, dass er ab dem 1. Juli 2020 keinen Ehegattenunterhaltsbeitrag mehr zu bezahlen habe. Eventuell sei die Sache zur neuen Beurteilung an das Obergericht zurückzuweisen.
Das Bundesgericht hat die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Angefochten ist der Beschluss eines oberen kantonalen Gerichts, das es im Berufungsverfahren ablehnte, die vorsorglich für die Dauer des Scheidungsverfahrens vereinbarte Unterhaltspflicht, die auch nach rechtskräftiger Erledigung des Scheidungspunktes andauert (<ref-law>), anzupassen. Dabei handelt es sich um einen Endentscheid (<ref-law>; Urteile 5A_56/2015 vom 10. September 2015 E. 1; 5A_705/2011 vom 15. Dezember 2011 E. 1.1; vgl. weiter <ref-ruling> E. 1.1) über eine vermögensrechtliche Zivilsache (<ref-law>). Der massgebende Streitwert von Fr. 30'000.-- (Art. 74 Abs. 1 Bst. b BGG) ist nach den unbestrittenen Feststellungen des Obergerichts erreicht (Art. 112 Abs. 1 Bst. d, Art. 51 Abs. 1 Bst. a und Abs. 4 BGG). Das Obergericht hat den angefochtenen Beschluss im Rahmen eines Berufungsverfahrens gefällt, womit unerheblich bleibt, dass es nicht auf Rechtsmittel hin, sondern als einzige kantonale Instanz entschieden hat (<ref-ruling> E. 1.2; <ref-ruling> E. 1.1). Die Beschwerde in Zivilsachen ist damit das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt, die er auch fristgerecht erhoben hat (<ref-law>). Auf diese ist unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2. Nicht einzutreten ist auf die Beschwerde indes, soweit der Beschwerdeführer die Aufhebung des angefochtenen Beschlusses hinsichtlich der Abweisung seines Gesuchs um Aufschub der Vollstreckung verlangt: Insoweit begnügt er sich mit dem Aufhebungsantrag und stellt kein Begehren in der Sache. Dies ist mit Blick auf die reformatorische Natur der Beschwerde in Zivilsachen (<ref-law>), die grundsätzlich nach einem reformatorischen Begehren verlangt, nicht zulässig (<ref-ruling> E. 1.2; <ref-ruling> E. 1.3).
1.3. Der Beschwerdeführer ersucht um Feststellung, dass er ab dem 1. Juli 2020 keinen Ehegattenunterhalt mehr zu bezahlen habe (vgl. vorne Bst. C). Feststellungsbegehren sind im bundesgerichtlichen Verfahren nur zulässig, sofern an der Feststellung ein schutzwürdiges Interesse besteht und dieses nicht ebenso gut mit einem Leistungs- oder Gestaltungsbegehren gewahrt werden kann (<ref-law>; <ref-ruling> E. 1.7; <ref-ruling> E. 3.1). Das Feststellungsinteresse ist von der beschwerdeführenden Partei zu begründen und nachzuweisen (<ref-law>; Urteil 5A_1032/2019 vom 9. Juni 2020 E. 1.2). Der Beschwerdeführer äussert sich nicht zu diesem Interesse. Aus der Begründung der Beschwerde, die zur Auslegung der Begehren beizuziehen ist (<ref-ruling> E. 1.3; <ref-ruling> E. 6.2), ergibt sich jedoch, dass er die Aufhebung der Unterhaltspflicht erreichen möchte. Die Beschwerde ist entsprechend entgegenzunehmen.
1.4. Im Verfahren vor Bundesgericht dürfen zur Sache keine Tatsachen und Beweismittel vorgebracht werden, die erst entstanden sind, nachdem vor der Vorinstanz keine solchen mehr vorgetragen werden konnten (echte Noven; <ref-ruling> E. 1.2). Unechte Noven, d.h. Tatsachen und Beweismittel, die im bisherigen Verfahren bereits hätten vorgebracht werden können, aber nicht vorgebracht worden sind, dürfen dem Bundesgericht nur so weit unterbreitet werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Inwiefern dies der Fall ist, ist in der Beschwerde darzulegen (<ref-law>; <ref-ruling> E. 3.1.2).
Der Beschwerdeführer verweist auf verschiedene (erfolglose) Suchbemühungen, um eine neue Arbeitsstelle zu finden, und auf zugehörige elektronische Schreiben (Beschwerdebeilage 2). Ein Teil dieser Bemühungen betrifft die Zeit nach Ausfällung des angefochtenen Beschlusses und kann im bundesgerichtlichen Verfahren damit von vornherein nicht berücksichtigt werden. Auch bezüglich der übrigen Umstände legt der Beschwerdeführer nicht dar, weshalb er erst aufgrund des vorinstanzlichen Beschlusses Anlass gehabt hat, sie vorzubringen. Dies gilt umso mehr, als im vorinstanzlichen Verfahren entscheidwesentlich war, ob der Beschwerdeführer sich ausreichend um eine neue Anstellung bemüht hat. Die entsprechenden Vorbringen und Beweismittel bleiben vor Bundesgericht damit unbeachtlich.
2.
Massnahmeentscheide, die gestützt auf <ref-law> ergehen, unterstehen <ref-law> (Urteil 5A_263/2020 vom 6. Juli 2020 E. 1.2). Daher kann nur die Verletzung verfassungsmässiger Rechte gerügt werden. Auch eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen kommt nur infrage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (<ref-ruling> E. 4.1). Es gilt das strenge Rügeprinzip nach <ref-law>. Die rechtsuchende Partei muss präzise angeben, welches verfassungsmässige Recht durch den angefochtenen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.3; <ref-ruling> E. 2.3). Wird eine Verletzung des Willkürverbots geltend gemacht, reicht es nicht aus, die Lage aus der eigenen Sicht darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen. Es ist im Einzelnen darzutun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.4.1; <ref-ruling> E. 2.2).
3.
3.1. Umstritten ist die Änderung der für die Dauer des Scheidungsverfahrens vereinbarten Unterhaltspflicht des Beschwerdeführers (vgl. vorne Bst. A.b und E. 1.1). Dieser beantragt die Aufhebung der Unterhaltspflicht, weil sein Einkommen sich aufgrund seiner Frühpensionierung ab dem 1. Juli 2020 auf Fr. 8'500.-- im Monat reduziert habe.
Eine Abänderung vorsorglicher Massnahmen im Scheidungsverfahren setzt grundsätzlich eine Veränderung der Verhältnisse voraus (<ref-law> i.V.m. <ref-law>; vgl. dazu <ref-ruling> E. 3.1; <ref-ruling> E. 3.3.1). Beruht die für das Scheidungsverfahren getroffene Unterhaltsregelung auf einer Vereinbarung, ist jedoch zu beachten, dass es den Parteien frei steht, mit der Übereinkunft Ungewissheiten bezüglich der beurteilungsrelevanten Tatsachen oder deren rechtlichen Tragweite endgültig zu bereinigen. Soweit mit der gütlichen Einigung eine vollständige Beurteilung der Tatsachen und ihrer rechtlichen Tragweite vermieden werden sollte, bleiben die betreffenden Teile der Regelung daher unabänderlich. Folglich kann eine Anpassung an wesentlich und dauernd veränderte Verhältnisse bezüglich solcher Tatsachen nicht verlangt werden, die gerade vergleichsweise definiert worden sind, um eine ungewisse Sachlage zu bewältigen (sog. caput controversum), zumal hier eine Referenzgrösse fehlt, an welcher die Erheblichkeit einer allfäligen Veränderung gemessen werden könnte. Vorbehalten bleiben neue Tatsachen, die klarerweise ausserhalb des Spektrums der künftigen Entwicklungen liegen, welche aus Sicht der Vergleichsparteien möglich (wenn auch ungewiss) sind. Eine Anpassung bleibt möglich, wenn erhebliche tatsächliche Änderungen Teile des Sachverhalts betreffen, welche im Zeitpunkt der Vereinbarung als feststehend angesehen wurden (<ref-ruling> E. 2.5 und 2.6.1).
3.2. Das Obergericht hat sein Urteil auf zwei Begründungslinien gestützt, welche beide seinen Entscheid zu rechtfertigen vermögen. Vorab kam es zum Schluss, das Einkommen des Beschwerdeführers stelle ein caput controversum im vorgenannten Sinn dar. Bei Vergleichsschluss seien die Einkommensverhältnisse strittig gewesen und der Beschwerdeführer habe nicht aufzuzeigen vermocht, von welchem Einkommen bei ihm ausgegangen worden sei. Die Berechnungsgrundlagen der Vereinbarung (inkl. Einkommen des Beschwerdeführers) seien denn auch unbewiesen geblieben. Gleichzeitig sei den Parteien unbestritten bewusst gewesen, dass die damalige Anstellung des Beschwerdeführers in Dubai zeitlich begrenzt sei bzw. er jederzeit in die Schweiz beordert werden könne, wo er wieder einen normalen Arbeitsvertrag ohne Spesen haben werde. Eine Veränderung der Einkommenssituation sei daher in der Vereinbarung bereits berücksichtigt. Die geltend gemachte Frühpensionierung stelle sodann keinen Umstand dar, der bei Abschluss der Vereinbarung aus Sicht der Parteien klarerweise ausserhalb des Spektrums der möglichen künftigen Entwicklung gelegen habe. Vielmehr habe es bei seiner damaligen Arbeitgeberin auch nach Darstellung des Beschwerdeführers geradezu System gehabt, Mitarbeiter im Alter von 58 bis 60 Jahren in Frühpension zu versetzen. Da ein caput controversum vorliege, sei eine Abänderung der Vereinbarung zufolge einer Einkommensreduktion auf Seiten des Beschwerdeführers ausgeschlossen. Ohnehin, so die Vorinstanz weiter, sei der Beschwerdeführer verpflichtet, seine Erwerbskraft bis zum 65. Altersjahr voll auszuschöpfen. Trotz der (freiwilligen) Frühpensionierung hätte er sich folglich um eine neue Anstellung bemühen müssen. Es sei nicht nachgewiesen, dass er dies getan oder sich zumindest um Arbeitslosentaggelder bemüht hätte. Die durch die Frühpensionierung entstehende Einkommensreduktion sei folglich missbräuchlich und nicht zu berücksichtigen.
3.3. Der Beschwerdeführer rügt, die Vorinstanz sei damit verschiedentlich in Willkür (<ref-law>) verfallen.
Die Sachverhaltsfeststellung oder Beweiswürdigung durch ein Gericht ist dann willkürlich, wenn dieses den Sinn und die Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die Schlüsse nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmen, begründet keine Willkür (<ref-ruling> E. 4.4). Eine willkürliche Sachverhaltsfeststellung liegt insbesondere dann vor, wenn diese widersprüchlich oder aktenwidrig ist oder auf einem offensichtlichen Versehen beruht bzw. klarerweise den tatsächlichen Verhältnissen widerspricht (Urteil 5A_964/2016 vom 19. Februar 2018 E. 4, in: FamPra.ch 2018 S. 471).
Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2.1).
3.4. Im Zusammenhang mit der ersten Begründungslinie der Vorinstanz rügt der Beschwerdeführer die Feststellung als aktenwidrig und willkürlich, er habe nicht dargetan, von welchem Einkommen bei Abschluss der Vereinbarung ausgegangen worden sei. Dies ist unbegründet: Zwar macht der Beschwerdeführer unter Hinweis auf die Akten geltend, im kantonalen Verfahren sein Einkommen angegeben zu haben. Vor Bundesgericht nennt er dabei indes verschiedene Zahlen (monatlich Fr. 23'300.-- bzw. [netto] Fr. 18'000.--). Abgesehen davon gibt er damit allein seinen eigenen Standpunkt wieder, was von vornherein nicht geeignet ist, einen Konsens der Parteien in diesem Punkt aufzuzeigen. Gleichzeitig bestreitet der Beschwerdeführer nicht, dass die Höhe seines Einkommens bei Abschluss der Vereinbarung strittig war und in dieser nicht festgehalten wurde.
3.5. Als willkürlich erachtet der Beschwerdeführer weiter den Schluss der Vorinstanz, es sei die Beurteilung nicht möglich, ob mit dem (neuen) Einkommen von Fr. 8'500.-- eine erhebliche Veränderung der Verhältnisse eingetreten sei. Wie dargelegt, war für das Obergericht in erster Linie indes entscheidend, dass die Parteien sich vergleichsweise über das (strittige) Einkommen des Beschwerdeführers geeinigt haben, um die bestehenden Unsicherheiten zu beseitigen (vgl. dazu Urteil 5A_842/2015 vom 26. Mai 2016 E. 3.1, nicht publiziert in: <ref-ruling>). Unter diesen Umständen bleibt eine Anpassung der Vereinbarung ausgeschlossen (vgl. E. 3.1 hiervor) und es kommt nicht darauf an, ob eine wesentliche Änderung des Sachverhalts vorliegt. Dementsprechend vermag der Beschwerdeführer mit der diese Einkommensveränderung betreffenden Rüge von vornherein keine Willkür aufzuzeigen (vgl. auch hinten E. 4.1).
3.6. Willkürlich ist nach Dafürhalten des Beschwerdeführers auch die Annahme, die Parteien hätten um die Möglichkeit einer Rückkehr in die Schweiz gewusst und den damit verbundenen Einkommensveränderungen bereits in der Vereinbarung Rechnung getragen. Zwar sei korrekt, dass eine jederzeitige Rückkehr in die Schweiz möglich gewesen sei. Jedoch seien die Parteien nicht davon ausgegangen, dass der Beschwerdeführer ein massiv tieferes Einkommen erzielen würde, welches ihm nicht einmal mehr die Deckung der Unterhaltsbeiträge erlaube. Diesbezüglich sind sich das Obergericht und der Beschwerdeführer gestützt auf eine aktenkundige Aussage der Beschwerdegegnerin einig, dass die Parteien für den Fall der (jederzeit möglichen) Rückkehr in die Schweiz davon ausgingen, dieser werde dort "einen normalen Arbeitsvertrag ohne Spesen haben" und ein entsprechendes Einkommen erzielen. Dazu, was damit genau gemeint war, legt der Beschwerdeführer vor Bundesgericht letztlich seine eigenen Schlussfolgerungen dar, welche er den Überlegungen der Vorinstanz unter Erhebung des Willkürvorwurfs entgegenstellt. Dagegen zeigt er nicht auf, aus welchen Gründen die Annahmen des Obergerichts geradezu unhaltbar sein sollten. Solches ergibt sich auch nicht aus dem Vorbringen allein, der Beschwerdeführer könne mit den heutigen Einnahmen die Unterhaltsbeiträge nicht mehr decken, zumal er nicht bestreitet, dass er auch heute noch arbeitstätig sein könnte. Willkür vermag der Beschwerdeführer damit nicht darzutun.
3.7. Der Beschwerdeführer erachtet sodann die Annahme als willkürlich, die Parteien hätten mit der Möglichkeit einer Frühpensionierung gerechnet, weshalb darin kein Umstand ausserhalb des Spektrums der als möglich erachteten Entwicklungen liege. Die Parteien hätten die streitbetroffene Vereinbarung nicht geschlossen, wenn absehbar gewesen wäre, dass der Beschwerdeführer in Zukunft nur noch ein wesentlich tieferes Einkommen erzielen werde, welches nicht einmal die vereinbarten Beträge abdecke. Der Beschwerdeführer setzt sich diesbezüglich nicht hinreichend mit der Argumentation der Vorinstanz - Absehbarkeit der Frühpensionierung aufgrund des üblichen Verhaltens der Arbeitgeberin - auseinander, sondern legt in appellatorischer Art und Weise seine eigene Sicht der Dinge dar. Damit liegt keine genügende Willkürrüge vor.
4.
4.1. Nach dem Ausgeführten vermag der Beschwerdeführer mit den in der Beschwerde erhobenen Rügen nicht aufzuzeigen, dass das Obergericht in Willkür verfallen wäre, indem hinsichtlich seines Einkommens vom Vorliegen eines caput controversum und daher mit Blick auf die geltend gemachte Einkommensreduktion von der Unabänderbarkeit der Unterhaltsvereinbarung ausgegangen ist. Die Beschwerde erweist sich daher als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Da bereits die erste von der Vorinstanz verfolgte Begründungslinie und damit der angefochtene Entscheid an sich nicht zu beanstanden ist, braucht nicht mehr auf die weiter strittige (nachgelagerte) Frage eingegangen zu werden, ob die behauptete Einkommensreduktion überhaupt zu berücksichtigen wäre.
4.2. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Parteientschädigung ist keine zu sprechen, da der obsiegenden Beschwerdegegnerin mangels Einholens einer Vernehmlassung keine entschädigungspflichtigen Kosten angefallen sind (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 29. April 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber