Sachverhalt:
A.
A.a. B.A._ (geb. 1989; Beschwerdegegnerin) und A.A._ (geb. 1988; Beschwerdeführer) sind die verheirateten Eltern von C.A._ (geb. 2016) und D.A._ (geb. 2017). Mit Eingabe vom 9. November 2018 stellte B.A._ beim Einzelrichter am Kantonsgericht Zug ein Gesuch um Erlass von Massnahmen zum Schutz der ehelichen Gemeinschaft.
A.b. Am 19. Februar 2019 einigten sich die Eheleute vergleichsweise über die streitbetroffenen Massnahmen. Mit Entscheid von demselben Datum stellte der Einzelrichter soweit hier interessierend fest, dass die Eheleute berechtigt seien, den gemeinsamen Haushalt für unbestimmte Dauer aufzuheben, und bereits seit dem 4. Oktober 2018 getrennt lebten. Die Kinder stellte der Einzelrichter unter Festlegung der Betreuungszeiten jedes Elternteils unter alternierende Obhut. Sodann verpflichtete er A.A._ dazu, an B.A._ zwischen dem 1. März und dem 31. Juli 2019 für den Unterhalt der Kinder monatlich Fr. 4'200.-- zuzüglich Familienzulagen sowie an den persönlichen Unterhalt Fr. 250.-- im Monat zu bezahlen. Ab dem 1. August 2019 reduzierte er den für die Kinder zu bezahlenden Unterhalt auf monatlich Fr. 2'400.-- zuzüglich Familienzulagen und sah keinen persönlichen Unterhalt für die Ehefrau mehr vor. Im Übrigen nahm der Einzelrichter vom Vergleich Vormerk.
A.c. Mit Eingabe vom 13. März 2019 stellte A.A._ beim Einzelrichter ein Gesuch um Erläuterung und Berichtigung des Entscheids vom 19. Februar 2019, wobei er eine Erläuterung bezüglich der Unterhaltszahlungen und die Berichtigung der Ferienregelung bezüglich des Sohnes sowie der Unterhaltsregelung anbegehrte.
Am 14. März 2019 hat der Einzelrichter dieses Gesuch abgewiesen, wogegen A.A._ mit Beschwerde an das Obergericht des Kantons Zug gelangte.
A.d. Ebenfalls am 13. März 2019 erklärte A.A._, sein Gesuch von demselben Datum sei als Begehren um Revision entgegenzunehmen, falls die gestellten Anträge den Rahmen der Erläuterung oder Berichtigung sprengen würden. Am 14. März 2019 verwies der Einzelrichter das Revisionsgesuch in ein separates Verfahren und mit Entscheid vom 8. April 2019 wies er es ab.
B.
Die von A.A._ gegen den Entscheid vom 8. April 2019 beim Obergericht des Kantons Zug erhobene Beschwerde wies dieses mit Urteil vom 29. Mai 2019 (eröffnet am 3. Juni 2019) ab.
C.
A.A._ gelangt am 24. Juni 2019 mit Beschwerde in Zivilsachen ans Bundesgericht. Er beantragt, es sei das Urteil des Obergerichts aufzuheben und die Revision des Eheschutzentscheids soweit die Unterhaltsbeiträge betreffend gutzuheissen. Eventuell sei die Sache zur neuen Beurteilung an die Vorinstanzen zurückzuweisen.
Das Bundesgericht hat die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen ein Urteil des Obergerichts, mit dem dieses die Beschwerde gegen den Entscheid über das Gesuch um Revision (<ref-law>) eines Eheschutzentscheides im Unterhaltspunkt abgewiesen hat. Dies ist ein Endentscheid (<ref-law>; vgl. Urteil 5A_42/2019 vom 18. April 2019 E. 1.1) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz (<ref-law>) über eine vermögensrechtliche Zivilsache (<ref-law>; vgl. Urteil 5A_474/2018 vom 10. August 2018 E. 1) entschieden hat. Der Streitwert übersteigt Fr. 30'000.-- (Art. 74 Abs. 1 Bst. b i.V.m. Art. 51 Abs. 1 Bst. a und Abs. 4 BGG). Damit ist die Beschwerde in Zivilsachen das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt, die er auch fristgerecht erhoben hat (<ref-law>).
1.2. Die Beschwerde an das Bundesgericht ist ein reformatorisches Rechtsmittel (<ref-law>). Die beschwerdeführende Partei muss deshalb grundsätzlich einen Antrag in der Sache stellen, das heisst angeben, welche Punkte des kantonalen Entscheids sie anficht und inwiefern das Bundesgericht den angefochtenen Entscheid abändern soll. Rechtsbegehren, die eine Geldsumme zum Gegenstand haben, sind dabei zu beziffern (<ref-ruling> E. 1.2; <ref-ruling> E. 2). Für die Auslegung der Rechtsbegehren ist allerdings die Begründung der Beschwerde heranzuziehen (<ref-ruling> E. 6.2; <ref-ruling> E. 1.3). Auf nicht bezifferte Anträge tritt das Bundesgericht deshalb ein, sofern sich aus der Beschwerdebegründung, allenfalls in Verbindung mit dem angefochtenen Entscheid, ohne Weiteres ergibt, was in der Sache verlangt wird (BGE <ref-ruling> E. 2; Urteil 5A_841/2017 vom 18. Dezember 2018 E. 2.1, nicht publiziert in: <ref-ruling>).
Der Beschwerdeführer beantragt vor Bundesgericht, es sei das Gesuch um Revision von Ziffer 2.5 des Eheschutzentscheides - diese Ziffer betrifft den Unterhaltspunkt - gutzuheissen. Er stellt damit keinen Antrag, in welchem er beziffern würde, auf welchen Betrag der von ihm geschuldete Unterhalt neu festgesetzt werden solle. Der Beschwerdeführer irrt sodann, sollte er der Ansicht sein, es reiche aus, wenn sich aus den kantonalen Akten erschliessen lässt, was er im Einzelnen mit der Beschwerde erreichen will (vgl. <ref-ruling> E. 1.2.3). Aus der Beschwerdebegründung ergibt sich indes, dass der Beschwerdeführer den ab 1. August 2019 zu bezahlenden Kindesunterhalt von monatlich insgesamt Fr. 2'800.-- (Unterhalt von Fr. 2'400.-- und Familienzulagen von Fr. 400.--) gemessen an seinem Existenzminimum als um Fr. 400.-- zu hoch erachtet. Die Beschwerde ist folglich in dem Sinn entgegenzunehmen, dass der Beschwerdeführer beantragt, in Revision des Entscheids vom 19. Februar 2019 sei der von ihm ab 1. August 2019 für die beiden Kinder zu bezahlende Unterhalt auf monatlich Fr. 2'400.-- (inkl. Familienzulagen) festzusetzen.
1.3. Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Hiervon erfasst sind unechte Noven, also Tatsachen, die im bisherigen Verfahren bereits hätten vorgebracht werden können, aber nicht vorgebracht wurden. Echte Noven, d.h. Tatsachen, die erst entstanden sind, nachdem vor der Vorinstanz keine neuen Tatsachen und Beweismittel mehr vorgetragen werden konnten, sind im Verfahren vor Bundesgericht demgegenüber grundsätzlich unbeachtlich (<ref-ruling> E. 1.2; <ref-ruling> E. 3.1.2).
Damit ist es dem Beschwerdeführer verwehrt, sich vor Bundesgericht auf nach Ausfällung des angefochtenen Urteils eingetretene Umstände zu berufen, wie er dies etwa im Zusammenhang mit seiner neuen Anstellung tut. Hierauf ist nicht weiter einzugehen.
2.
Entscheide über die Revision von Eheschutzentscheiden unterstehen <ref-law> (Urteil 5A_474/2018 vom 10. August 2018 E. 2 mit Hinweisen). Es kann daher nur die Verletzung verfassungsmässiger Rechte gerügt werden. Auch eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellungen kommt nur in Frage, wenn die kantonale Instanz solche Rechte verletzt hat (<ref-ruling> E. 4.1). Es gilt das strenge Rügeprinzip nach <ref-law>. Die rechtsuchende Partei muss daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darlegen, inwiefern ein verfassungsmässiges Recht verletzt worden sein soll (<ref-ruling> E. 1.3). Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.3 S. 266). Von der Pflicht zur dergestalt hinreichenden Begründung der Beschwerde wird der Beschwerdeführer auch nicht dadurch entbunden, dass es sich bei ihm nach eigenen Angaben um einen juristischen Laien handelt und er nicht anwaltlich vertreten wird (Urteile 5D_83/2017 vom 27. November 2017 E. 1.3; 5A_235/2017 vom 14. August 2017 E. 1.4).
3.
Wie ausgeführt ist der Beschwerdeführer der Ansicht, er müsse ab dem 1. August 2019 Fr. 400.-- im Monat zu viel Kindesunterhalt bezahlen, womit in sein Existenzminimum eingegriffen werde (vgl. vorne E. 1.2). In diesem Zusammenhang rügt er über weite Strecken, das Obergericht habe verschiedene Bestimmungen der Zivilprozessordnung falsch angewandt. Namentlich habe die Vorinstanz zu Unrecht das Vorliegen eines Revisionsgrundes nach Art. 328 Abs. 1 Bst. a und c ZPO verneint. Entgegen ihrer Ansicht habe der Beschwerdeführer nachträglich von entscheiderheblichen Tatsachen erfahren. Insbesondere aber sei der Vergleich, auf welchem das erstinstanzliche Urteil beruhe, nichtig (<ref-law>), beinhalte eine übermässige Bindung nach <ref-law> und werde der Beschwerdeführer übervorteilt (<ref-law>). Der Beschwerdeführer habe sich beim Vergleichsabschluss zudem in einem Irrtum nach <ref-law> befunden. Weiter hätten die kantonalen Instanzen die Offizialmaxime nach <ref-law> missachtet und die Bestimmungen zur gerichtlichen Fragepflicht (<ref-law>), zum Summarverfahren (<ref-law>) sowie zur Genehmigung von Vergleichen (<ref-law>) falsch angewendet. Insoweit macht der Beschwerdeführer die Verletzung von Bundesrecht geltend, nicht aber der Verfassung, was im vorliegenden Verfahren allein zulässig wäre (vgl. vorne E. 2). Entgegen seiner Ansicht spielt in diesem Zusammenhang auch keine Rolle, ob sich Rechtsfragen von grundsätzlicher Bedeutung stellen (Urteil 5A_1053/2017 vom 25. September 2019 E. 2.1). Auf die Beschwerde ist in diesem Umfang nicht einzutreten.
4.
Soweit der Beschwerdeführer die Verletzung verfassungsmässiger Rechte rügt, ist auf Folgendes zu verweisen:
4.1. Nach dem Dafürhalten des Beschwerdeführers hat das Obergericht die bundesrechtlichen Bestimmungen zur Revision rechtskräftiger Entscheide nicht nur falsch, sondern verschiedentlich geradezu willkürlich angewandt (<ref-law> und dazu <ref-ruling> E. 3.1). In seinen entsprechenden Ausführungen beschränkt er sich freilich auf die Darlegung seiner Sicht der Dinge, um die davon abweichende Würdigung der Vorinstanz als willkürlich zu bezeichnen. Mit Blick auf die anwendbaren strengen Begründungsanforderungen (vgl. vorne E. 2) reicht dies indes nicht. Der Beschwerdeführer hätte in Auseinan-dersetzung mit dem angefochtenen Entscheid im Einzelnen aufzeigen müssen, inwiefern dieser an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.4.1; <ref-ruling> E. 2.2). Auf die Beschwerde ist auch insoweit nicht einzutreten.
4.2. Weiter macht der Beschwerdeführer geltend die Vorinstanz sei auf einzelne seiner Rügen nicht eingegangen. Unbeantwortet geblieben sei das Vorbringen, der Einzelrichter hätte den Beschwerdeführer zwecks Ergänzung des Sachverhalts zu einer weiteren Eingabe auffordern müssen. Ausserdem habe das Obergericht sich nicht zum Vorwurf geäussert, der Einzelrichter hätte nachfragen müssen, ob der Beschwerdeführer weitere Beweismittel vorlegen könne.
Soweit hierin die hinreichende Rüge der Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) liegt, ist auf das Folgende zu verweisen: Der Gehörsanspruch verpflichtet das Gericht, die Vorbringen der Parteien tatsächlich zu hören, zu prüfen und bei der Entscheidfindung zu berücksichtigen. Daraus folgt insbesondere die Verpflichtung des Gerichts, seinen Entscheid ausreichend und nachvollziehbar zu begründen (statt vieler: <ref-ruling> E. 3.1). Dabei ist jedoch nicht verlangt, dass das Gericht sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr genügt es, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (statt vieler: <ref-ruling> E. 4.3.2). Der Beschwerdeführer tut nicht dar, dass und weshalb das Obergericht mit Blick auf diese Rechtsprechung gehalten gewesen wäre, sich näher mit den fraglichen Punkten zu befassen. Dies ist umso weniger der Fall, als er weder geltend gemacht hat noch offensichtlich ist, dass das Obergericht die wesentlichen Überlegungen nicht genannt hätte, von denen es sich bei seinem Entscheid hat leiten lassen. Der Beschwerdeführer war denn auch ohne Weiteres in der Lage, den angefochtenen Entscheid sachgerecht vor Bundesgericht anzufechten. Dass er dabei über weite Strecken die einschlägige Bestimmung des Bundesgerichtsgesetzes zur Prüfungsbefugnis des Bundesgerichts missachtet (vorne E. 2 und 3), hat er sich selbst zuzuschreiben. Die Beschwerde erweist sich insoweit als unbegründet, soweit darauf einzutreten ist.
4.3. Der Beschwerdeführer erachtet ausserdem das Recht auf ein faires Verfahren (<ref-law>; Art. 6 EMRK) als verletzt, weil derselbe Richter sowohl im Eheschutzverfahren als auch über das Revisionsbegehren entschieden habe. Er habe im Revisionsverfahren nicht unparteiisch sein können und hätte deshalb in den Ausstand treten müssen.
Der Beschwerdeführer missachtet, dass Ausstandsbegehren unverzüglich nach Kenntnisnahme des Ausstandsgrundes zu stellen sind (<ref-ruling> E. 5.2; vgl. <ref-law>). Die Person des in der Hauptsache zuständigen Einzelrichters war dem Beschwerdeführer bekannt. Er hätte das Ausstandsbegehren daher stellen müssen, sobald er wusste, dass dieser auch über das Revisionsgesuch entscheidet. Dies war spätestens mit Eröffnung des erstinstanzlichen Revisionsentscheids der Fall. Damit hätte er seinen Einwand mit der Beschwerde an das Obergericht vortragen müssen. Dass er dies getan hätte, macht er nicht geltend und ergibt sich auch nicht aus dem angefochtenen Entscheid. Die Rüge der Verletzung des Rechts auf ein faires Verfahren erweist sich damit als verspätet. Dem Beschwerdeführer ist es sodann auch nach dem Prinzip der materiellen Erschöpfung des Instanzenzuges verwehrt, diese Verfassungsrüge erstmals vor Bundesgericht zu erheben (vgl. <ref-ruling> E. 1.1; <ref-ruling> E. 1.3). Auf die Beschwerde ist insoweit nicht einzutreten.
4.4. Durch den (angeblichen) Eingriff in sein Existenzminimum (vgl. vorne E. 3) sieht der Beschwerdeführer sich ausserdem im Recht auf Hilfe in Notlagen nach <ref-law> verletzt. Weiter sei der Vertrauensgrundsatz nach Art. 5 Abs. 3 und <ref-law> missachtet worden. Gestützt auf den Vergleichsvorschlag und <ref-law> habe er darauf vertrauen dürfen, dass sein Existenzminimum geschützt werde und der Vergleich kein Manko verursache. Dieses Vertrauen sei durch die kantonalen Instanzen enttäuscht worden. Zuletzt diskriminiert die Vorinstanz nach Ansicht des Beschwerdeführers seine Kinder und verletzt dadurch <ref-law>, Art. 14 EMRK und Art. 2 Abs. 2 der Kinderrechtskonvention (KRK; SR 0.107). Dies soll deshalb so sein, weil den Kindern bei der Mutter mehr als die doppelten Mittel als beim Vater zur Verfügung stünden.
Der Beschwerdeführer zeigt entgegen der ihn auch insoweit treffenden Begründungspflicht (Urteil 5A_171/2019 vom 17. April 2019 E. 6.2.2) nur hinsichtlich einzelner dieser Verfassungsrügen mit hinreichender Genauigkeit auf, dass er sie bereits im vorinstanzlichen Verfahren vorgebracht und damit den Instanzenzug materiell ausgeschöpft hat (vgl. dazu E. 4.3 hiervor). Ohnehin verkennt er den Zweck der Revision nach <ref-law>: Diese erlaubt, einen rechtskräftigen Entscheid aus bestimmten Gründen zu korrigieren und stellt kein eigentliches Rechtsmittel dar (<ref-ruling> E. 3.2). Sie dient nicht dazu, den an sich abgeschlossenen Prozess fortzuführen, und mit ihr kann die Beurteilung, die im Entscheid enthalten ist, dessen Revision beantragt wird, nicht in Frage gestellt werden (Urteil 5A_641/2013 vom 25. Februar 2014 E. 2; vgl. weiter Urteil 4F_9/2018 vom 4. April 2019). Die auf die Prüfung der inhaltlichen Richtigkeit des Vergleichs und des Urteils vom 19. Februar 2018 gerichteten Verfassungsrügen des Beschwerdeführers zielen damit an der Sache vorbei. Hierauf ist nicht weiter einzugehen.
5.
Zusammenfassend erweist sich die Beschwerde insgesamt als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Anlass, die Kosten des kantonalen Verfahrens anders zu verteilen, besteht unter diesen Umständen nicht (vgl. Art. 67 und 68 Abs. 5 BGG). Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Zufolge Unterliegens hat der Beschwerdeführer keinen Anspruch auf Ersatz der Parteikosten (<ref-law>), weshalb auch auf sein Gesuch um Zusprechung einer Umtriebsentschädigung nicht weiter einzugehen ist. Der obsiegenden Beschwerdegegnerin sind mangels Einholens einer Vernehmlassung keine entschädigungspflichtigen Kosten entstanden. Es ist daher keine Parteientschädigung zu sprechen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 31. Oktober 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber