Sachverhalt:
A.
Am 14. Mai 2007 leitete Z._ gegen X._ ein Eheschutzverfahren ein. Am 5./6. Juli 2007 schlossen die Parteien einen Unterhaltsvertrag ab, worauf das Eheschutzverfahren mit Entscheid vom 9. Juli 2007 als erledigt erklärt wurde. In Ziff. 1 der Vereinbarung verpflichtete sich X._, seiner Ehefrau ab 1. März 2007 einen monatlichen Unterhaltsbeitrag von Fr. 13'000.-- zu bezahlen. Am 8. Januar 2009 reichte Z._ die Scheidungsklage ein.
X._ zahlte ab Frühling 2010 keinen Unterhalt mehr, weshalb ihn Z._ mit Zahlungsbefehl Nr. ... (Betreibungsamt Luzern) vom 22. Juni 2011 für Fr. 247'000.-- nebst 5 % Zins seit 1. Oktober 2010 betrieb. X._ erhob Rechtsvorschlag. Das Bezirksgericht Luzern erteilte Z._ am 9. Februar 2012 provisorische Rechtsöffnung für den verlangten Betrag. Erfolglos erhob X._ Beschwerde an das damalige Obergericht des Kantons Luzern (Entscheid vom 23. April 2012) und sodann an das Bundesgericht (Urteil 5A_436/2012 vom 24. September 2012).
B.
Mit Klage vom 5. März 2012 beantragte X._ beim Bezirksgericht Luzern die Feststellung, dass er den gegen ihn in Betreibung gesetzten Betrag nicht schulde. Die provisorische Rechtsöffnung sei aufzuheben. Mit Urteil vom 24. Mai 2013 wies das Bezirksgericht die Klage ab.
C.
Dagegen erhob X._ am 1. Juli 2013 Berufung an das Kantonsgericht Luzern. Er verlangte die Aufhebung des bezirksgerichtlichen Urteils und die Gutheissung seiner Aberkennungsklage. Allenfalls sei die Sache an das Bezirksgericht zurückzuweisen. Mit Urteil vom 12. März 2014 wies das Kantonsgericht die Klage ab.
D.
Am 5. Mai 2014 hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt die Aufhebung des kantonsgerichtlichen Urteils und die Gutheissung der Aberkennungsklage. Allenfalls sei die Sache an das Kantonsgericht zurückzuweisen. Zudem ersucht er um aufschiebende Wirkung.
Nachdem Z._ (Beschwerdegegnerin) Abweisung des Gesuchs um aufschiebende Wirkung beantragt hat und sich das Kantonsgericht nicht hat vernehmen lassen, ist der Beschwerde mit Präsidialverfügung vom 5. Juni 2014 aufschiebende Wirkung zuerkannt worden.
Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Beschwerde in Zivilsachen ist grundsätzlich zulässig (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75, Art. 76, Art. 90, Art. 100 Abs. 1 i.V.m. <ref-law>). Auf einzelne Eintretensfragen ist im Sachzusammenhang einzugehen.
2.
Umstritten ist, ob die Unterhaltsvereinbarung vom 5./6. Juli 2007 den Beschwerdeführer nach wie vor zu Unterhaltszahlungen verpflichtet.
2.1. Die Unterhaltsvereinbarung vom 5./6. Juli 2007 findet sich in einem Schreiben des Rechtsvertreters des Beschwerdeführers an die Rechtsvertreterin der Beschwerdegegnerin. Nach einleitenden Worten folgt das "Vergleichsangebot mit den nachfolgend erwähnten Bedingungen" und den folgenden, massgeblichen Passagen:
"1. Ab 1. März 2007 bezahlt X._ seiner Ehefrau einen monatlichen Unterhaltsbeitrag von Fr. 13'000.00, vorauszahlbar und ab Verfall zu 5 % verzinslich, wobei für die Monate März, April, Mai, Juni und Juli 2007 kein Zins geschuldet ist. Die fälligen Unterhaltsbeiträge von Fr. 65'000.-- werden innert 5 Tagen nach Gegenunterzeichnung der vorliegenden Korrespondenz auf das Konto der Ehefrau bei der Bank A._, eingezahlt. Zusätzlich bezahlt der Ehemann der Ehefrau aus seinem 13. Monatslohn jeweils Ende November einen Betrag von Fr. 13'000.00. Allerdings reduziert sich der offerierte Kapitalbetrag um einen Drittel.
[...]
3. Die Verhandlungen betreffend Abschluss eines Gütertrennungsvertrages werden weitergeführt und die notwendigen Kontoauszüge über weitere Konten werden den Parteianwälten zugestellt. [...].
[...]
5. Mit der Gegenunterzeichnung wird das Verfahren vor dem Amtsgerichtspräsidium Willisau zurückgezogen. [...]
[...]."
2.2. Der Beschwerdeführer nennt verschiedene Gründe, die nach seiner Ansicht für ein Dahinfallen der Vereinbarung sprechen. Zunächst geht er davon aus, die Unterhaltsvereinbarung sei von vornherein bedingt bzw. befristet gewesen. Ihr Zweck habe darin bestanden, aussergerichtliche bzw. güterrechtliche Verhandlungen zu ermöglichen, so dass die Vereinbarung mit deren Scheitern hinfällig geworden sei. Jedenfalls sei sie aber mit seiner Pensionierung dahingefallen (unten E. 2.4). Sodann gelte eine solche Vereinbarung ohnehin nur auf Zusehen hin und es liege nicht an ihm, die Abänderung zu verlangen (unten E. 2.5). Schliesslich ergebe sich aus dem nachträglichen Verhalten der Beschwerdegegnerin nicht nur, dass die Vereinbarung von vornherein bedingt gewesen sei, sondern auch, dass er zumindest auf ihr stillschweigendes Einverständnis habe schliessen dürfen, die Vereinbarung aufzuheben (unten E. 2.6).
2.3. Gemäss <ref-law> bestimmt sich der Inhalt des Vertrags nach dem übereinstimmenden wirklichen Willen der Parteien. Die empirische oder subjektive hat gegenüber der normativen oder objektivierten Vertragsauslegung den Vorrang. Wenn der übereinstimmende wirkliche Willen der Parteien unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Dabei ist vom Wortlaut der Erklärungen auszugehen, welche jedoch nicht isoliert, sondern aus ihrem konkreten Sinngefüge heraus zu beurteilen sind. Demnach ist der vom Erklärenden verfolgte Regelungszweck, wie ihn der Erklärungsempfänger in guten Treuen verstehen durfte und musste, massgebend (<ref-ruling> E. 4.2.1 S. 666 mit Hinweisen).
2.4. Das Kantonsgericht hat keinen übereinstimmenden wirklichen Willen der Parteien festgestellt, dass sie die Bindungswirkung der Vereinbarung hätten beschränken wollen. Dies wird vom Beschwerdeführer nicht substantiiert bestritten (vgl. auch unten E. 2.6). Er wendet sich jedoch gegen die durch das Kantonsgericht vorgenommene Ausle-gung nach dem Vertrauensprinzip und macht unter anderem geltend, die Zahlungsverpflichtung stehe unter der Bedingung, dass aussergerichtliche und güterrechtliche Verhandlungen weitergeführt würden.
Nach der Auslegung des Kantonsgerichts bezweckte die Vereinbarung einerseits, die vorgesehenen Verhandlungen nicht durch die parallele Führung des Eheschutzverfahrens zu belasten. Andererseits sollte gewährleistet werden, dass die Beschwerdegegnerin in unterhaltsrechtlicher Hinsicht keinerlei Nachteile erleide, wenn sie auf die Durchführung des Eheschutzverfahrens verzichtet. Diese Bestimmung des Zwecks der Vereinbarung ist nicht zu beanstanden. Zu Recht hat das Kantonsgericht sodann festgehalten, dass die Unterhaltsvereinbarung nicht mit dem Scheitern der geplanten Verhandlungen hinfällig werde: Die Vereinbarung enthält keine ausdrückliche Regelung der Frage, wie lange der Beschwerdeführer Unterhalt bezahlen muss. Insbesondere beziehen sich die beiden Klauseln über die Unterhaltszahlungen und die güterrechtlichen Verhandlungen (Ziff. 1 und Ziff. 3 der Vereinbarung) nicht aufeinander. Ziffer 1 enthält keinen Hinweis darauf, dass die Unterhaltszahlungen bei Scheitern der Verhandlungen oder aus anderen Gründen (ohne weiteres oder nach Widerruf) eingestellt werden könnten. Eine solche Verknüpfung folgt - entgegen der Ansicht des Beschwerdeführers - auch nicht daraus, dass die Klauseln im Vorspann der Vereinbarung als "Bedingungen" bezeichnet wurden. Es mag zwar für den Beschwerdeführer zum Zeitpunkt des Vertragsschlusses wesentlich gewesen sein, dass die Beschwerdegegnerin allen Klauseln der Vereinbarung zustimmt und damit insbesondere auch der Weiterführung der güterrechtlichen Verhandlungen. Dass die Beschwerdegegnerin der Weiterführung dieser Verhandlungen zugestimmt hat, bedeutet jedoch nicht, dass sie mit dem Verlust der Unterhaltszahlungen rechnen musste, falls die Verhandlungen scheitern sollten. Es liegt in der Natur der Sache, dass vertraglich vorgesehene Verhandlungen scheitern können. Für diesen durchaus nicht unwahrscheinlichen Fall fehlt jedoch eine ausdrückliche Abrede hinsichtlich der Unterhaltspflicht. Die Vereinbarung enthält keine Anhaltspunkte, woraus die Beschwerdegegnerin nach Treu und Glauben hätte schliessen müssen, dass mit dem allfälligen Scheitern der Verhandlungen die Unterhaltsvereinbarung hinfällig wird. Wären die beiden Punkte verknüpft gewesen, so wäre das Ziel der Vereinbarung, ohne Druck in der Unterhaltsfrage über das Güterrecht diskutieren zu können, denn auch kaum zu erreichen gewesen. Die Beschwerdegegnerin wäre vielmehr unter Druck gestanden, die Verhandlungen nicht scheitern zu lassen, um ihren Unterhaltsanspruch nicht zu verlieren, und umgekehrt hätte der Beschwerdeführer diese Verknüpfung zu seinen Gunsten in den Verhandlungen ausnützen können. Die Beschwerdegegnerin musste nach Treu und Glauben nicht damit rechnen, dass dies Inhalt bzw. Konsequenz der Vereinbarung war, sondern durfte vielmehr davon ausgehen, dass mit der Vereinbarung die Unterhaltsfrage vorläufig geregelt sein sollte, damit ohne sachfremden Druck über die Güterrechtsfrage diskutiert werden konnte.
Auch eine Befristung auf den Zeitpunkt der Pensionierung des Beschwerdeführers lässt sich der Vereinbarung nicht entnehmen. Die Vorinstanz hat erwogen, die Parteien hätten die Vereinbarung in Kenntnis davon abgeschlossen, dass der Beschwerdeführer am 16. Februar 2010 65-jährig wird. Dies wird vom Beschwerdeführer nicht beanstandet. Trotz dieser Kenntnis haben die Parteien die Unterhaltsregelung nicht befristet und auch keine Widerrufsmöglichkeit vorgesehen. Die Beschwerdegegnerin durfte demnach davon ausgehen, dass dieses Ereignis keinen Einfluss auf die Weitergeltung der Vereinbarung haben wird. Der Beschwerdeführer bringt zwar nun vor, dieser Fall sei nicht geregelt worden, weil er mit einem Abschluss der Verhandlungen vor seiner Pensionierung gerechnet habe. Einen Hinweis auf den Zeithorizont für die Verhandlungen enthält die Abrede jedoch nicht und da ein Scheitern von Verhandlungen im Vorfeld nie ausgeschlossen werden kann, wäre es nahe gelegen, für diesen Fall oder dann für die Pensionierung eine Ersatzregelung zu treffen, wenn der Beschwerdeführer tatsächlich eine solche gewollt hätte.
2.5. Der Beschwerdeführer geht ausserdem davon aus, dass aussergerichtliche Unterhaltsvereinbarungen "nur auf Zusehen hin" abgeschlossen würden (unter Hinweis auf HAUSHEER/REUSSER/GEISER, Berner Kommentar, 1999, N. 5b zu <ref-law>; HAUSHEER/GEISER/AEBI-MÜLLER, Das Familienrecht des Schweizerischen Zivilgesetzbuches, 4. Aufl. 2010, Rz. 09.65). Daraus folge ein Widerrufsrecht einer Vertragspartei, wenn sie mit der Vereinbarung nicht mehr einverstanden sei. Das Bundesgericht hat jedoch bereits im vorangegangenen Urteil 5A_436/2012 vom 24. September 2012 E. 2.4 ausgeführt, der zitierten Lehrmeinung könne nicht entnommen werden, dass die Vereinbarung unverbindlich bzw. einseitig widerrufbar sei. Wie die Vorinstanz ausserdem zu Recht ausgeführt hat, bedeutet die Wendung der Gültigkeit "auf Zusehen hin" bloss, dass jeder Ehegatte, der mit der Vereinbarung nicht mehr einverstanden ist, an den Eheschutz- oder gegebenenfalls den Scheidungsrichter gelangen kann und der Richter bei der Neuregelung des Getrenntlebens nicht an die frühere Vereinbarung gebunden ist (vgl. ROLF VETTERLI, in: FamKomm, Scheidung, 2005, N. 12 f. zu <ref-law>; JANN SIX, Eheschutz, 2. Aufl. 2014, Rz. 1.15, 3.02, 5.17; BÜHLER/SPÜHLER, Berner Kommentar, 3. Aufl. 1980, N. 431 zu aArt. 145 ZGB; SPÜHLER/FREI-MAURER, Berner Kommentar, Ergänzungsband, 1991, N. 34 zu aArt. 145 ZGB; BRÄM/HASENBÖHLER, Zürcher Kommentar, 1998, N. 9 ff. zu <ref-law>; ANNETTE SPYCHER, in: Berner Kommentar, Schweizerische Zivilprozessordnung, 2012, N. 14 zu <ref-law>). Diese Abänderung oder Aufhebung kann jedoch nicht auf dem Wege der Aberkennungsklage geschehen. Da der Beschwerdeführer mit der geltenden Unterhaltsvereinbarung nicht mehr einverstanden ist, liegt es an ihm, eine Regelung durch das Gericht zu verlangen, sofern die Beschwerdegegnerin nicht zu einer aussergerichtlichen Lösung Hand bietet.
2.6. Der Beschwerdeführer wirft der Vorinstanz schliesslich vor, die Bedeutung zweier Schreiben und des Verhaltens der Beschwerdegegnerin verkannt zu haben. Er habe der Beschwerdegegnerin mit Schreiben vom 24. Juni 2008 mitgeteilt, dass die Unterhaltsbeiträge mit dem Eintritt ins Pensionsalter neu ausgehandelt werden müssten. Mit Schreiben vom 15. Februar 2010 habe er ihr die Einstellung der Unterhaltszahlungen infolge Pensionierung angezeigt. In seiner Stellungnahme vom 12. April 2010 (offenbar im Scheidungsverfahren) habe er schliesslich dargelegt, dass die Bezahlung von Unterhaltsbeiträgen nach Eintritt des Vorsorgefalles unmöglich sei. Auf die Einstellung der Zahlungen habe die Beschwerdegegnerin während rund eineinhalb Jahren nicht reagiert. Dies sei völlig unüblich, reagiere sie sonst doch sofort auf sein Verhalten, gelange an seinen Rechtsvertreter und verlange etwa superprovisorische Massnahmen. Sowohl sein wie auch ihr nachträgliches Parteiverhalten (Schreiben, Einstellung der Zahlungen, fehlende Opposition) untermauerten den anfänglichen Willen der Parteien, dass die Unterhaltsvereinbarung in ihrer Wirkung zeitlich begrenzt sei.
Nachträgliches Parteiverhalten ist - wie bereits die Vorinstanz festgehalten hat - bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann aber allenfalls auf einen tatsächlichen Willen der Parteien schliessen lassen (<ref-ruling> E. 3.1 S. 632 mit Hinweisen). Soweit der Beschwerdeführer mit seinen Ausführungen die Auslegung nach dem Vertrauensprinzip kritisiert, ist sein Standpunkt demnach unbegründet. Sollte er damit einen tatsächlichen Willen der Parteien zum Zeitpunkt des Vertragsschlusses behaupten, so ist das Bundesgericht an die vorinstanzliche Feststellung gebunden, dass kein übereinstimmender tatsächlicher Wille vorliege (<ref-law>; vgl. oben E. 2.4). Indem der Beschwerdeführer einfach seine Sicht des Sachverhalts hinsichtlich des Willens der Parteien bzw. in Bezug auf diejenigen Umstände darlegt, die auf einen solchen Willen schliessen lassen sollen, genügt er den Anforderungen an eine Sachverhaltsrüge nicht (<ref-law>; <ref-ruling> E. 5.1 S. 356). Zunächst stellt es eine unbelegte Tatsachenbehauptung dar, dass die Beschwerdegegnerin jeweils sofort auf allfällige Vorkommnisse reagiert habe, an den Rechtsvertreter des Beschwerdeführers gelangt sei und unmittelbar Gesuche um superprovisorische Massnahmen gestellt habe. Ausserdem hat die Vorinstanz offengelassen, ob die Beschwerdegegnerin die beiden genannten Schreiben überhaupt erhalten hat.
Der Beschwerdeführer kann sodann hinsichtlich einer allfälligen nachträglichen Aufhebung der Vereinbarung nichts zu seinen Gunsten daraus ableiten, dass die Beschwerdeführerin auf die angeblichen Schreiben und auf die Einstellung der Unterhaltszahlungen nicht umgehend reagiert hat. Da die von ihm geschilderten Umstände teilweise appellatorische Behauptungen ohne Grundlage im angefochtenen Urteil sind (vgl. soeben), können sie bei der Bewertung des Verhaltens der Beschwerdegegnerin nicht berücksichtigt werden. Die blosse fehlende umgehende Reaktion der Beschwerdegegnerin auf die Zahlungseinstellung kann nicht als stillschweigendes Einverständnis mit dem Vorgehen des Beschwerdeführers und damit als stillschweigende Zustimmung zur Aufhebung der Unterhaltsvereinbarung aufgefasst werden. Ein solches stillschweigendes Akzept kommt nur in besonderen Fällen in Betracht (<ref-law>). Vielmehr hat die Vorinstanz zu Recht aus der Tatsache, dass die Beschwerdegegnerin auch im Scheidungsverfahren einen unbefristeten Unterhaltsbeitrag von Fr. 13'000.-- verlangt, abgeleitet, dass sie mit einer Einstellung der ehelichen Unterhaltsbeiträge in derselben Höhe nicht einverstanden ist. Es bestehen demnach keine Anhaltspunkte, dass sich der Beschwerdeführer - wie er dies geltend macht - auf das Dahinfallen der Vereinbarung hätte verlassen dürfen. Schliesslich ist nicht ersichtlich, dass sich die Beschwerdegegnerin rechtsmissbräuchlich verhalten hätte, indem sie mit der Durchsetzung der Unterhaltsbeiträge zu lange zugewartet hätte.
2.7. Die Beschwerde ist damit abzuweisen, soweit auf sie eingetreten werden kann.
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Luzern, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 23. Oktober 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg