Sachverhalt:
A.
Mit Urteil des Kantonsgerichtspräsidiums Zug vom 8. November 2004 wurde die Ehe von X._ (Beschwerdeführer) und Y._ (Beschwerdegegnerin) geschieden und die von ihnen geschlossene Vereinbarung über die Scheidungsnebenfolgen genehmigt. Die beiden aus der Ehe hervorgegangenen Kinder A._ (geb. 1992) und B._ (geb. 1998) wurden unter die elterliche Sorge der Beschwerdegegnerin gestellt. Der Beschwerdeführer wurde zur Bezahlung von Kinderunterhaltsbeiträgen verpflichtet. Zudem wurde er verpflichtet, der Beschwerdegegnerin ab Rechtskraft des Scheidungsurteils bis und mit März 2014 einen monatlichen indexierten Unterhaltsbeitrag von Fr. 8'500.-- und ab April 2014 bis und mit Erreichen seines ordentlichen Pensionierungsalters einen Betrag von Fr. 3'500.-- zu bezahlen.
In einem ersten Abänderungsverfahren unterstellte das Kantonsgericht Zug den Sohn A._ mit Urteil vom 11. Februar 2009 der alleinigen Sorge des Beschwerdeführers. B._ blieb bei der Beschwerdegegnerin. Die Kinderunterhaltsregelung wurde insofern geändert, als die Beschwerdegegnerin verpflichtet wurde, die Hälfte des Elternbeitrags an die Kosten des Internats für A._ zu übernehmen.
B.
Mit Klage vom 15. Juni 2009 verlangte der Beschwerdeführer erneut eine Abänderung des Scheidungsurteils. Er beantragte, den Ehegattenunterhalt ab 1. Juni 2009 bis und mit März 2014 auf Fr. 2'500.-- zu reduzieren.
Mit Urteil vom 1. Oktober 2010 änderte das Kantonsgericht Zug das Scheidungsurteil ab und verpflichtete den Beschwerdeführer, der Beschwerdegegnerin ab dem 15. Juni 2009 bis zum Erreichen seines ordentlichen Pensionierungsalters monatlich einen indexierten Unterhaltsbeitrag von Fr. 2'550.-- zu bezahlen.
C.
Dagegen erhob die Beschwerdegegnerin am 3. November 2010 Berufung an das Obergericht des Kantons Zug, mit der sie die Abweisung der Abänderungsklage verlangte.
Mit Urteil vom 18. Juni 2013 hiess das Obergericht die Berufung und die Klage teilweise gut. Es verpflichtete den Beschwerdeführer zu monatlichen, indexierten Unterhaltsbeiträgen von Fr. 8'000.-- ab 15. Juni 2009 bis und mit März 2014 und von Fr. 3'500.-- ab April 2014 bis und mit dem Erreichen seines ordentlichen Pensionierungsalters.
D.
Am 22. August 2013 hat der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er beantragt die Aufhebung des obergerichtlichen Urteils und die Reduktion des Ehegattenunterhaltsbeitrags für die Zeit vom 1. Juni 2009 bis 31. März 2014 auf Fr. 2'500.--. Eventuell sei die Angelegenheit an das Obergericht zurückzuweisen.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die fristgerecht eingereichte Beschwerde richtet sich gegen einen kantonal letztinstanzlichen, auf Rechtsmittel hin ergangenen Endentscheid in einer Zivilsache, wobei der Streitwert den Betrag von Fr. 30'000.-- übersteigt (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75, Art. 90, Art. 100 Abs. 1 i.V.m. <ref-law>). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>; vgl. für Ausnahmen Abs. 2 dieser Norm) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Rügen (<ref-law>; <ref-ruling> E. 1.1 S. 104 f.).
Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig - d.h. willkürlich (<ref-ruling> E. 1.5 S. 130 mit Hinweis) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>). Inwiefern diese Voraussetzungen erfüllt sein sollen, muss in der Beschwerde begründet werden (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 5.1 S. 356). Bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung gilt das strenge Rügeprinzip (<ref-law>). Es muss anhand der Erwägungen des angefochtenen Entscheids klar und detailliert dargelegt werden, inwiefern die vorinstanzliche Sachverhaltsfeststellung willkürlich sein soll. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten (<ref-ruling> E. 1.4.2 und 1.4.3 S. 254 f.). Auf solche rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein (BGE <ref-ruling> E. 5.1 S. 356 mit Hinweis).
Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich dabei als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung des Beschwerdeführers übereinstimmen, belegt keine Willkür (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2 S. 560).
2.
Vor Bundesgericht ist einzig umstritten, wie das von der Beschwerdegegnerin erzielte Einkommen zu bemessen und bei der Abänderung des nachehelichen Unterhaltsbeitrags zu berücksichtigen ist.
2.1. Das Obergericht hat dazu festgehalten, die Beschwerdegegnerin sei Inhaberin der Einzelfirma "C._", die am 19. Juli 2007 im Handelsregister eingetragen worden sei. Sie arbeite dort an fünf Tagen in der Woche.
Über die Höhe ihres dort erzielten Einkommens hat das Obergericht ein betriebswirtschaftliches Gutachten eingeholt. Demnach habe die Beschwerdegegnerin im Jahre 2009 ein effektives Einkommen von Fr. 28'506.--, im Jahre 2010 von Fr. 9'600.-- und im Jahre 2011 von Fr. 14'124.-- erzielt. Über diese drei Jahre hinweg betrage das durchschnittliche Monatseinkommen rund Fr. 1'450.--. Der Beschwerdeführer habe der Beschwerdegegnerin zwar vorgeworfen, rechtswidrig ihren Umsatz und ihr Einkommen tief zu halten. Der Gutachter sei jedoch zum Schluss gekommen, dass keine Indizien vorlägen, aufgrund derer an einer korrekten und vollständigen Verbuchung gezweifelt werden müsste. Die relativ konstante Bruttogewinnmarge habe er als mögliches Indiz für eine korrekte und vollständige Vereinnahmung der verkauften Artikel gewertet. Es bestünden Indizien, dass vor allem im Jahre 2011 deutlich zu hohe Wareneinkäufe getätigt worden seien, was zu höheren Abschreibungen geführt habe. Die tiefen Gewinnmargen habe der Gutachter eher auf ein unrentables Geschäftsmodell oder eine unrentable Geschäftsführung zurückgeführt als auf unlautere Geschäftspraktiken. In dieser Feststellung sei er durch die Analyse der privaten Steuererklärungen bestärkt worden und er habe eine relativ konstante und konsistente Vermögensentwicklung festgestellt. Das Obergericht hat sich diesen Schlussfolgerungen des Gutachters angeschlossen.
Das Obergericht hat es sodann abgelehnt, der Beschwerdegegnerin ein hypothetisches Einkommen anzurechnen. Bis März 2014 stehe ihr grundsätzlich ein ungekürzter Unterhaltsbeitrag von Fr. 8'500.-- zu. Bis zu diesem Zeitpunkt treffe sie grundsätzlich keine Pflicht, eine Erwerbstätigkeit aufzunehmen. Es könne ihr also kein Vorwurf gemacht werden, wenn sie in dieser Zeit über kein Einkommen verfüge, wenn sie auf ein solches verzichte oder wenn sie andernorts mehr hätte verdienen können.
Im Hinblick auf die Voraussetzungen für eine Abänderung der Unterhaltsrente (<ref-law>) hat das Obergericht festgehalten, die Parteien hätten die Scheidungskonvention in der Annahme geschlossen, dass die Kinder unter der elterlichen Sorge der Beschwerdegegnerin aufwüchsen. Zugleich seien sie davon ausgegangen, die Beschwerdegegnerin werde die Erwerbstätigkeit wieder aufnehmen. Dieser Umstand sei mit der Reduktion des nachehelichen Unterhaltsbeitrags ab 2014 berücksichtigt worden, also ab dem Zeitpunkt, in dem das jüngere Kind das 16. Altersjahr erreicht haben werde. Die vorzeitige Umteilung der elterlichen Sorge über A._ dürfte die vorzeitige vollzeitliche Erwerbstätigkeit der Beschwerdegegnerin begünstigt haben. Zwar sei somit im Zeitpunkt der Scheidung voraussehbar gewesen, dass die Beschwerdegegnerin wieder berufstätig sein werde, doch habe nicht angenommen werden können, dass sie bereits vor April 2014 zu 100 % einem Erwerb nachgehe, wie sie es nun seit Jahren tue. Sei einzig der Eintritt des zur Veränderung führenden Ereignisses bekannt, nicht aber der Umfang derselben, so könne davon ausgegangen werden, dass die Parteien die Regelung der Folgen dem Abänderungsverfahren vorbehalten hätten. Die Leistungsfähigkeit der Beschwerdegegnerin sei dauernd und erheblich gestiegen. Die berufliche Wiedereingliederung sei zwangsläufig mit einer gewissen Durststrecke verbunden, weshalb der Vorwurf des Beschwerdeführers, er finanziere mit dem Unterhaltsbeitrag ein Hobby der Beschwerdegegnerin, an der Sache vorbeigehe. Neben der Leistungsfähigkeit sei auch der Bedarf der Beschwerdegegnerin gestiegen, und zwar um monatlich Fr. 420.-- (Mehrkosten für Fremdbetreuung der Tochter und auswärtige Verpflegung). Diese Steigerung des Bedarfs sei jedoch unerheblich, wenn er dem Bedarf von Fr. 8'500.-- gegenübergestellt werde, der im Scheidungsurteil angenommen worden sei.
Die wirtschaftlichen Verhältnisse des Beschwerdeführers hätten sich demgegenüber nicht in einer Art und Weise geändert, die zu berücksichtigen wäre.
Das Obergericht hat der Beschwerdegegnerin schliesslich rund einen Drittel ihres Einkommens, nämlich Fr. 500.--, angerechnet und den Unterhaltsbeitrag für die Zeit vor April 2014 dementsprechend gekürzt. Damit bleibe der Beschwerdegegnerin ein Anreiz, selber für eine wirtschaftliche Besserstellung zu sorgen.
2.2. Der Beschwerdeführer macht vor Bundesgericht geltend, dass die Beschwerdegegnerin die Abmachung in der Scheidungskonvention verletzt habe, indem sie bereits im Jahre 2007 vollzeitlich zu arbeiten begonnen habe, statt die Kinder selber zu betreuen. Es könne nicht sein, dass er sich an die Vereinbarung halten und den vollen Unterhaltsbeitrag zahlen müsse, währenddem sie diese Vereinbarung breche.
Was das Gutachten anbetrifft, so wirft der Beschwerdeführer dem Obergericht vor, es habe zahlreiche, vom Gutachter geäusserte Zweifel ausser Acht gelassen, die die Geschäftsführung der Beschwerdegegnerin beträfen. Zudem sei es angesichts der allgemeinen Lebenserfahrung unrealistisch, dass jemand bereit sei, während mehrerer Jahre für ein monatliches Einkommen von nur rund Fr. 1'400.-- zu arbeiten. Mit ihrer Art der Geschäftsführung halte die Beschwerdegegnerin ihren Umsatz und ihr Einkommen künstlich tief und vereitle ihm so die Beweisführung. Demgemäss hätte das Obergericht die Beweislast umkehren oder von seinen Behauptungen über die Höhe ihres Einkommens ausgehen sollen.
Der Beschwerdeführer macht ausserdem geltend, der Beschwerdegegnerin müsse ein hypothetisches Einkommen von Fr. 6'000.-- angerechnet werden. Es könne nicht sein, dass er ihr mit seinen Unterhaltszahlungen ein Hobby finanziere. Die vom Obergericht im Ergebnis gewährte Übergangsfrist für die Erzielung eines höheren Einkommens von 2007 bis 2014 sei viel zu lange. Effektiv wäre sie bereits bei Klageeinreichung (15. Juni 2009) verstrichen gewesen.
Das Obergericht habe schliesslich den Anspruch auf rechtliches Gehör verletzt, indem es nicht genügend begründet habe, weshalb es der Beschwerdegegnerin bloss Fr. 500.--, also rund einen Drittel ihres Einkommens, angerechnet habe. Es müsse mindestens die Hälfte ihres (hypothetischen) Einkommens, also Fr. 3'000.--, angerechnet werden. Allerdings sei die Schaffung eines wirtschaftlichen Anreizes für die Erwerbstätigkeit durch eine blosse Teilanrechnung unnötig, da der Unterhaltsbeitrag ab März 2014 ohnehin reduziert werde.
2.3. Gemäss <ref-law> setzt die Abänderung des nachehelichen Unterhaltsbeitrags voraus, dass sich die finanzielle Lage einer Partei in erheblicher und dauernder Weise geändert hat, so dass eine Neuregelung geboten erscheint. Das Abänderungsurteil hat nicht zum Ziel, das Scheidungsurteil zu korrigieren, sondern es den neuen Umständen anzupassen (<ref-ruling> E. 11.1.1 S. 292; <ref-ruling> E. 2.7.4 S. 199). Ebenso wenig dient das Abänderungsverfahren dazu, die angebliche Verletzung der Scheidungskonvention bzw. der ihr zugrunde liegenden Absichten über die geplante künftige Lebensführung zu ahnden. Die Vorinstanz hat sich deshalb zu Recht darauf beschränkt zu beurteilen, welche Auswirkungen die unerwartet frühe Wiederaufnahme der Erwerbstätigkeit der Beschwerdegegnerin auf die Unterhaltsverpflichtung des Beschwerdeführers hat. Es ist insoweit auch nicht zu beanstanden, wenn sie dabei der Beschwerdegegnerin kein hypothetisches Einkommen angerechnet hat. Die entsprechenden Ausführungen des Beschwerdeführers zielen letztlich auf eine unstatthafte Korrektur des Scheidungsurteils ab.
Was nun das tatsächlich erzielte Einkommen der Beschwerdegegnerin betrifft, so setzt der Beschwerdeführer einfach seine Würdigung der Ergebnisse des Gutachtens an die Stelle der Würdigung durch das Obergericht. Damit kann er keine Willkür in der Beweiswürdigung dartun. Darauf ist nicht einzutreten (oben E. 1). Soweit der Beschwerdeführer an der Schlüssigkeit des Gutachtens zu zweifeln scheint, so behauptet er nicht, bereits vor der Vorinstanz ein Ergänzungs- oder Zweitgutachten zur Klärung der Zweifel angefordert zu haben. Die als fehlerhaft gerügte Verteilung der Beweislast schliesslich erweist sich als gegenstandslos, da das Gericht den fraglichen Sachverhalt als bewiesen erachtet hat (<ref-ruling> E. 6.1 S. 202).
Unbegründet ist der Vorwurf, die Vorinstanz habe den Anspruch auf rechtliches Gehör (<ref-law>) dadurch verletzt, dass sie die Höhe der Reduktion zu wenig begründet habe. Die Vorinstanz hat in diesem Zusammenhang auf die "vorstehenden Überlegungen" verwiesen. Dies genügt durchaus. Ob die "vorstehenden Überlegungen" die Festlegung der Höhe der Unterhaltskürzung tatsächlich zu rechtfertigen vermögen, ist eine andere Frage und beschlägt nicht das rechtliche Gehör. Die Vorinstanz hat des Weiteren zu Recht darauf verwiesen, dass die Abänderung der Unterhaltsrente auf gerichtlichem Ermessen beruhe (<ref-law>; <ref-ruling> E. 11.1.1 S. 292; Urteil 5C.197/2003 vom 30. April 2004 E. 2.3, in: FamPra.ch 2004 S. 689). Das Bundesgericht überprüft solche Ermessensentscheide jedoch nur zurückhaltend (<ref-ruling> E. 4.4.5 S. 57 f.). Vorliegend ist die Ermessensausübung des Obergerichts nicht zu beanstanden, der Beschwerdegegnerin nur einen Drittel des in ihrem Geschäft erzielten Einkommens anzurechnen. Das Obergericht hat dies nämlich auch damit begründet, dass ein Anreiz bestehen bleiben soll, selber für eine wirtschaftliche Besserstellung zu sorgen. Diese Überlegung ist nicht unhaltbar (<ref-ruling> E. 4 S. 235). Daran ändert nichts, dass die Unterhaltsrente ab April 2014 gemäss Scheidungskonvention ohnehin sinkt. Das angefochtene Urteil ist fast ein Jahr vor diesem Zeitpunkt ergangen und die Kürzung soll gemäss obergerichtlicher Anordnung rückwirkend ab 15. Juni 2009 gelten.
Die Beschwerde ist damit abzuweisen, soweit auf sie eingetreten werden kann.
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, I. Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 20. Dezember 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg