Erwägungen:
1.
Mit zwei Verfügungen vom 10. Dezember 2018 erteilte das Bezirksgericht Höfe der Beschwerdegegnerin gegenüber dem Beschwerdeführer für nacheheliche Unterhaltsbeiträge definitive Rechtsöffnung, und zwar einerseits für Fr. 2'000.-- nebst Zins und Kosten (ZES 2018 625) und andererseits für viermal Fr. 2'000.-- nebst Zins und Kosten (ZES 2018 626).
Gegen diese Verfügungen erhob der Beschwerdeführer am 19. Dezember 2018 Beschwerde an das Kantonsgericht Schwyz. Mit Beschluss vom 15. Mai 2019 wies das Kantonsgericht die Beschwerde ab.
Dagegen hat der Beschwerdeführer am 13. Juni 2019 Verfassungsbeschwerde und Beschwerde in Zivilsachen an das Kantonsgericht erhoben. Das Kantonsgericht hat die Beschwerde daraufhin dem Bundesgericht übermittelt (Art. 48 Abs. 3 BGG).
2.
Der Streitwert erreicht den für eine Beschwerde in Zivilsachen erforderlichen Betrag von Fr. 30'000.-- nicht (Art. 74 Abs. 1 lit. b BGG). Der Beschwerdeführer legt nicht dar, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellen würde, und das Vorliegen einer solchen ist auch nicht ersichtlich (Art. 74 Abs. 2 lit. a BGG). Die Beschwerde in Zivilsachen ist damit unzulässig und die Eingabe ist als subsidiäre Verfassungsbeschwerde zu behandeln (Art. 113 ff. BGG).
In einer subsidiären Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
3.
Der Beschwerdeführer bringt vor, er habe alle geforderten Unterlagen und alles Beweismaterial jeweils termingerecht an das Bezirksgericht gesandt. Auch die Beschwerdegegnerin habe alles erhalten. Da sie dies nicht mehr wisse und ihn bereits zum zweiten Mal anschuldige, müsse er annehmen, dass die Beschwerdegegnerin an Alzheimer und Vergesslichkeit leide. Sie sei deshalb nicht mehr voll zurechnungsfähig. Die Beschwerdegegnerin habe ab ihrem 64. Geburtstag - d.h. ab xx.xx.2018 - Zugriff auf die ihr zugesprochene Scheidungsrente. Sie habe deshalb genug Geld, um auch alle Gerichtskosten selber zu bezahlen.
Mit all diesen Ausführungen zeigt der Beschwerdeführer nicht auf, inwiefern das Kantonsgericht gegen verfassungsmässige Rechte verstossen haben soll. Die Behauptung, die Beweismittel hätten dem Bezirksgericht vorgelegen, bleibt unbelegt. Damit kann der Beschwerdeführer nicht dartun, dass das Kantonsgericht in Willkür verfallen ist, als es erwogen hat, der Beschwerdeführer habe den Eintritt von Resolutivbedingungen hinsichtlich des nachehelichen Unterhalts nicht nachgewiesen (behauptete frühzeitige Pensionierung des Beschwerdeführers) bzw. die entsprechenden Behauptungen seien verspätet (Zusammenleben der Beschwerdegegnerin mit einem Mann). Namentlich übergeht der Beschwerdeführer, dass er zwei seiner Beweismittel, mit denen er seine frühzeitige Pensionierung nachweisen wollte, dem Bezirksgericht zu spät eingereicht hat. Was die Gerichtskosten betrifft, so setzt sich der Beschwerdeführer nicht mit den entsprechenden Verteilungsgrundsätzen auseinander.
Die Beschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
4.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 19. Juni 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg