Sachverhalt:
A.
Mit Urteil vom 15. Mai 2015 erteilte das Bezirksgericht Zürich der B._ AG in der Betreibung Nr. yyy des Betreibungsamts Zürich 2 gegen A._ (Zahlungsbefehl vom 17. November 2014) definitive Rechtsöffnung für Fr. 4'891'974.55 und provisorische Rechtsöffnung für Fr. 1'439.25.
B.
Gegen dieses Urteil erhob A._ am 12. Juni 2015 Beschwerde an das Obergericht des Kantons Zürich. Er verlangte die Aufhebung des bezirksgerichtlichen Urteils und die Abweisung des Rechtsöffnungsgesuchs. Zudem ersuchte er um aufschiebende Wirkung.
Die B._ AG beantragte, das Gesuch um aufschiebende Wirkung abzuweisen. Eventuell sei das Betreibungsamt anzuweisen, allfällige Pfändungserträge bis zum Abschluss des Beschwerdeverfahrens einzubehalten und nur im Falle ihres Obsiegens auszuzahlen.
Mit Verfügung vom 14. September 2015 wies das Obergericht das Gesuch um Erteilung der aufschiebenden Wirkung ab.
C.
Am 22. September 2015 hat A._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, die Verfügung vom 14. September 2015 aufzuheben und seiner kantonalen Beschwerde vom 12. Juni 2015 aufschiebende Wirkung zu erteilen. Zudem ersucht er auch im bundesgerichtlichen Verfahren um "aufschiebende Wirkung" und damit sinngemäss um eine vorsorgliche Massnahme im Sinne von <ref-law>, der kantonalen Beschwerde einstweilen die aufschiebende Wirkung zuzuerkennen.
Das Obergericht hat auf Vernehmlassung zum Gesuch um "aufschiebende Wirkung" im bundesgerichtlichen Verfahren verzichtet. Die B._ AG (Beschwerdegegnerin) hat sich dem Gesuch widersetzt. Mit Präsidialverfügung vom 2. Oktober 2015 hat das Bundesgericht der kantonalen Beschwerde aufschiebende Wirkung zuerkannt.
In der Sache hat das Obergericht auf Vernehmlassung verzichtet. Die Beschwerdegegnerin hat mit Beschwerdeantwort vom 11. Dezember 2015 beantragt, auf die Beschwerde nicht einzutreten, sie eventualiter abzuweisen und subeventualiter das Betreibungsamt anzuweisen, allfällige Pfändungserträge bis zum rechtskräftigen Abschluss des Beschwerdeverfahrens vor Obergericht einzubehalten und sie ihr nur im Falle ihres Obsiegens auszuzahlen. Die Parteien haben in der Folge zur Wahrung ihres rechtlichen Gehörs mehrmals Rechtsschriften ausgetauscht (Replik des Beschwerdeführers vom 12. Januar 2016, Duplik der Beschwerdegegnerin vom 18. Januar 2016, Triplik vom 1. Februar 2016, Quadruplik vom 10. Februar 2016 und Quintuplik vom 23. Februar 2016).
Am 2. März 2016 (Postaufgabe) hat das Obergericht dem Bundesgericht sein Urteil vom 24. Februar 2016 mitgeteilt, mit dem es die kantonale Beschwerde des Beschwerdeführers abgewiesen hat, soweit darauf einzutreten war.
Das Bundesgericht hat die Parteien am 4. März 2016 aufgefordert, zu den Kostenfolgen des bundesgerichtlichen Verfahrens im Hinblick auf eine allfällige Abschreibung des Verfahrens Stellung zu nehmen.
Am 18. März 2016 hat der Beschwerdeführer seine Beschwerde infolge Gegenstandslosigkeit zurückgezogen. Er beantragt, ihm keine Gerichtskosten aufzuerlegen bzw. diese dem Kanton Zürich zu belasten und der Beschwerdegegnerin keine Parteientschädigung zuzusprechen.
Am 31. März 2016 hat die Beschwerdegegnerin auf das Schreiben vom 4. März 2016 geantwortet und zugleich zum Beschwerderückzug vom 18. März 2016 Stellung genommen. Sie beantragt, ihr keine Gerichtskosten aufzuerlegen und ihr eine Parteientschädigung auszurichten.
Diese Eingabe ist dem Beschwerdeführer zugestellt worden, womit der Schriftenwechsel geschlossen worden ist.

Erwägungen:
1.
Gemäss <ref-law> entscheidet der Instruktionsrichter oder die Instruktionsrichterin als Einzelrichter bzw. Einzelrichterin über die Abschreibung von Verfahren zufolge Gegenstandslosigkeit, Rückzugs oder Vergleichs. Aufgrund des weit fortgeschrittenen Verfahrensstands ist die vorliegende Verfügung nicht von der Instruktionsrichterin, sondern vom bereits feststehenden Spruchkörper zu fällen.
Das vorliegende bundesgerichtliche Verfahren hatte die aufschiebende Wirkung in einem obergerichtlichen Beschwerdeverfahren zum Gegenstand. Nachdem das Obergericht in der Sache entschieden hat, entfällt das Interesse an der Beurteilung, ob der kantonalen Beschwerde die aufschiebende Wirkung zuzusprechen gewesen wäre. Das bundesgerichtliche Verfahren ist als gegenstandslos abzuschreiben. Zwar hat der Beschwerdeführer die Beschwerde zusätzlich zurückgezogen, dies jedoch "infolge Gegenstandslosigkeit" und insoweit nicht bedingungslos. Die Kosten sind demnach nach den Regeln zu verteilen, die bei Gegenstandslosigkeit des Verfahrens greifen.
2.
Erklärt das Bundesgericht einen Rechtsstreit als erledigt, entscheidet es mit summarischer Begründung über die Prozesskosten aufgrund der Sachlage vor Eintritt des Erledigungsgrundes (<ref-law> i.V.m. <ref-law> [SR 273]). Bei der Beurteilung der Kosten- und Entschädigungsfolgen ist somit in erster Linie auf den mutmasslichen Ausgang des Prozesses abzustellen (<ref-ruling> E. 2a S. 374 f.).
3.
Der Beschwerde wäre voraussichtlich kein Erfolg beschieden gewesen. Das Bundesgericht wäre auf die Prüfung der Einhaltung von verfassungsmässigen Rechte, insbesondere des Willkürverbots (<ref-law>) beschränkt gewesen (<ref-law>), sofern deren Verletzung genügend gerügt worden ist (<ref-law>). Die angefochtene Verfügung des Obergerichts wäre voraussichtlich nicht als willkürlich zu qualifizieren gewesen, soweit der Beschwerdeführer seinen Rügeobliegenheiten überhaupt nachgekommen ist. So ist entgegen seiner Auffassung nicht willkürlich, dass das Obergericht das Gesuch um aufschiebende Wirkung anders beurteilt hat als das Bundesgericht ein entsprechendes Gesuch in einem dieselben Parteien betreffenden Parallelverfahren (5A_507/2015). Das Obergericht ist nicht von einer klaren bundesgerichtlichen Rechtsprechung abgewichen, sondern hat ermessensweise einen Einzelfall beurteilt. Der Beschwerdeführer hat sodann die Beweiswürdigung des Obergerichts hinsichtlich der Fähigkeit der Beschwerdegegnerin zur allfälligen Rückzahlung der betriebenen Summe angegriffen. Dass der Beschwerdeführer bei seiner "Gesamtsicht" der von ihm vorgetragenen Umstände zu einem anderen Schluss kommt als das Obergericht, welches zahlreiche seiner Behauptungen als nicht relevant oder nicht belegt erachtet hat, begründet bei der gebotenen summarischen Prüfung keine Willkür, zumal der Beschwerdeführer sich bloss allgemein auf übergangene und angeblich belegte Behauptungen und Indizien beruft, aber nicht detailliert darlegt, welche allfälligen Beweismittel das Obergericht bei seiner Würdigung übergangen haben soll (so insbesondere hinsichtlich der angeblichen Rolle von E._). Was schliesslich die Situation des Beschwerdeführers betrifft, so übergeht er die vorinstanzliche Feststellung, dass er keine Dokumente zu seiner aktuellen finanziellen Lage eingereicht hat.
4.
Entsprechend dem mutmasslichen Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Da das Verfahren weit fortgeschritten war, sind die Kosten in der vollen Höhe zu erheben. Es bestehen entgegen der Auffassung des Beschwerdeführers keine Gründe, auf die Zusprechung einer Parteientschädigung an die Beschwerdegegnerin zu verzichten (<ref-law>) : Die Verfahrensführung des Obergerichts hat auf die Frage einer Parteientschädigung im bundesgerichtlichen Verfahren keinen Einfluss. Sodann kann der Beschwerdeführer aus der Verfügung vom 2. Oktober 2015 über die Gewährung der von ihm sinngemäss beantragten vorsorglichen Massnahme (oben lit. C) nichts zu seinen Gunsten ableiten. Die Kosten des Zwischenverfahrens sind mit dieser Verfügung zur Hauptsache geschlagen worden, womit sich die Parteientschädigung nach der Hauptsache richtet.

Demnach verfügt das Bundesgericht:
1.
Das Verfahren wird als gegenstandslos abgeschrieben.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 5'000.-- zu entschädigen.
4.
Diese Verfügung wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. April 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg