Sachverhalt:
A.
A.a. A._ (geb. 1975) und B._ (geb. 1974) haben 1998 geheiratet. Aus ihrer Ehe sind die heute volljährigen Töchter C._ (geb. 1998) und D._ (geb. 2001) hervorgegangen. Die Ehegatten leben seit dem 16. Juni 2018 getrennt.
A.b. Mit Eheschutzurteil vom 1. März 2019 genehmigte das Gerichtspräsidium Lenzburg eine Vereinbarung der Ehegatten, mit welcher sich der Ehemann nebst anderem dazu verpflichtete, rückwirkend per 1. August 2018 monatlich Fr. 2'380.-- an den Unterhalt der Ehefrau zu bezahlen. Ferner setzte das Gerichtspräsidium die für D._ zu leistenden Unterhaltsbeiträge rückwirkend per 1. August 2018 auf monatlich Fr. 700.-- (zzgl. allfällig bezogener Ausbildungszulagen) fest.
B.
B.a. Der Ehemann beantragte mit Klage vom 3. Oktober 2019, der an die Ehefrau zu leistende persönliche Unterhalt sei in Abänderung des Eheschutzurteils auf Fr. 250.-- pro Monat festzulegen, wobei ihm die für die Zeit ab 1. Oktober 2019 geleisteten Zahlungen vollumfänglich anzurechnen seien. Ferner sei festzustellen, dass D._ ihre Ausbildung am 15. März 2019 ab- bzw. unterbrochen habe und seine Unterhaltspflicht ruhe, bis sie nachweislich wieder eine Ausbildung beginne bzw. fortsetze.
B.b. Das Gerichtspräsidium wies die Abänderungsklage mit Entscheid vom 22. Juni 2020 ab, soweit es darauf eintrat, und auferlegte dem Ehemann die Prozesskosten.
C.
Die dagegen gerichtete Berufung des Ehemannes hiess das Obergericht des Kantons Aargau mit Entscheid vom 7. Dezember 2020 teilweise gut, indem es den Ehegattenunterhalt per 1. Oktober 2019 und bis 31. Dezember 2019 neu auf Fr. 1'920.-- sowie ab 1. Januar 2020 auf Fr. 2'290.-- bemass. Im Übrigen wies es die Berufung ab und auferlegte dem Ehemann die Prozesskosten. Diesem wurde das Berufungsurteil am 13. Januar 2021 zugestellt.
D.
D.a. Mit Beschwerde vom 9. Februar 2021 wendet sich A._ (Beschwerdeführer) an das Bundesgericht. Er beantragt, der an B._ (Beschwerdegegnerin) zu leistende persönliche Unterhalt sei ab 1. Oktober 2019 auf Fr. 250.-- herabzusetzen und er sei zu berechtigen, seine für die Zeit ab 1. Oktober 2019 bereits geleisteten Zahlungen vollumfänglich anzurechnen. Ferner seien die erstinstanzlichen Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen, während die Prozesskosten des Berufungsverfahrens der Beschwerdegegnerin aufzuerlegen seien.
D.b. Das Bundesgericht hat die kantonalen Akten, jedoch keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Angefochten ist der Endentscheid (<ref-law>) einer letzten kantonalen Instanz, welche auf Rechtsmittel hin (<ref-law>) über die Abänderung von im Eheschutzverfahren festgesetzten Unterhaltsbeiträgen geurteilt hat (<ref-law>). Der für diese vermögensrechtliche Zivilsache (<ref-law>) massgebliche Streitwert von Fr. 30'000.-- ist erreicht (<ref-law>). Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>) und hat diese fristgerecht erhoben (Art. 100 Abs. 1 i.V.m. <ref-law>). Die Beschwerde in Zivilsachen ist unter Vorbehalt der nachfolgenden Ausführungen zulässig.
1.2. Für das Rechtsbegehren, es seien die erstinstanzlichen Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen, fehlt in der Beschwerdeschrift jegliche Begründung. Darauf ist nicht einzutreten (<ref-law>; <ref-ruling> E. 1.2.2).
2.
Eheschutzentscheide gelten als Entscheide über vorsorgliche Massnahmen im Sinne von <ref-law> (<ref-ruling> E. 5). Daher kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden. In Verfahren nach <ref-law> kommt zudem eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen nur in Frage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (<ref-ruling> E. 4.1). Die Verletzung von verfassungsmässigen Rechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; Rügeprinzip). Es prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen (<ref-ruling> E. 2.4). Dies setzt voraus, dass sich die Beschwerde mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling> E. 2.1 in fine mit Hinweis). Wird die Verletzung des Willkürverbots (<ref-law>) gerügt, reicht es daher nicht aus, wenn die beschwerdeführende Partei die Sach- oder Rechtslage aus ihrer Sicht darlegt und den davon abweichenden angefochtenen Entscheid als willkürlich bezeichnet. Sie muss im Einzelnen dartun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 mit Hinweis; Urteil 5A_991/2015 vom 29. September 2016 E. 2, nicht publ. in: <ref-ruling>) und auch im Ergebnis in krasser Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 7.1; <ref-ruling> E. 3.4; je mit Hinweisen).
3.
Anlass zur Beschwerde gibt einerseits das der Beschwerdegegnerin angerechnete Erwerbseinkommen.
3.1.
3.1.1. Die Vorinstanz erwog, dem Eheschutzurteil vom 1. März 2019 habe ein monatliches Einkommen der Beschwerdegegnerin von Fr. 3'455.-- (80 %-Pensum) zugrunde gelegen. Bis Ende Dezember 2019 sei die Beschwerdegegnerin für die E._ AG erwerbstätig gewesen und habe monatlich netto Fr. 3'690.-- vereinnahmt. Dem Arbeitsvertrag vom 20. September 2019 (Klageantwortbeilage 2) zufolge arbeite sie seit dem 1. Januar 2020 als Pflegehelferin SRK bei der F._ in einem 80 %-Pensum im Stundenlohn. Gemäss "Lohnrekapitulation" sei sie im Januar 2020 zu 72.364 % und im Februar 2020 zu 76.111 % im Einsatz gewesen. Ab dem 1. Januar 2020 ergebe sich ein anrechenbares Nettoeinkommen von monatlich Fr. 3'080.--.
3.1.2. Bereits im Zeitpunkt der vergleichsweisen Festlegung des Unterhalts im Eheschutzverfahren am 1. März 2019 sei bekannt gewesen, dass die Beschwerdegegnerin ihre Ausbildung zur Pflegehelferin am 28. Mai 2019 abschliessen werde. Mit Blick auf diesen zeitnahen Ausbildungsabschluss, welchem ohne Weiteres schon im Rahmen der vergleichsweisen Festlegung des Ehegattenunterhalts habe Rechnung getragen werden können, erschienen die Ausführungen der Beschwerdegegnerin, wonach damals der Problematik rund um ihre Ausbildung, dem damit allenfalls einhergehenden Jobwechsel und ihren gesundheitlichen Beschwerden tatsächlich Rechnung getragen worden sei, als plausibel. In Bezug auf die Einkommensverhältnisse der Beschwerdegegnerin habe der Beschwerdeführer damit keinen Abänderungsgrund glaubhaft zu machen vermocht. Das Abänderungsverfahren bezwecke nicht, das erste Urteil zu korrigieren, sondern es an veränderte Umstände anzupassen.
3.1.3. Es sei zwar grundsätzlich zulässig, dass erst das Abänderungsgericht einem Ehegatten im Rahmen der Aktualisierung ein hypothetisches Einkommen anrechne. Dies setze allerdings voraus, dass die Anrechnung eines hypothetischen Einkommens aufgrund der Veränderung der Verhältnisse in einem anderen Punkt als angemessen erscheine. Vorliegend wirke sich bei der Neubeurteilung der Umstand, dass die Beschwerdegegnerin - entgegen der Annahme im Eheschutzverfahren - auch ab dem vom Beschwerdeführer eingeklagten Abänderungszeitpunkt mit der Tochter C._ in Hausgemeinschaft lebe, bezüglich des Unterhaltsgesuchs zu ihren Ungunsten aus (vgl. hinten E. 4.1). Im Weiteren liege selbst nach der Berechnung des Gerichtspräsidiums (Fr. 2'660.50, Fr. 2'882.-- [falls ein 13. Monatslohn ausbezahlt werde] bzw. Fr. 3'101.50 [falls Pauschalspesen ausbezahlt und nicht gebraucht würden]) das aktuelle effektive Einkommen der Beschwerdegegnerin in einer vergleichbaren Höhe wie das der vergleichsweisen Festlegung des Ehegattenunterhalts zugrunde gelegte. Insgesamt lägen damit keine (zu Ungunsten des Beschwerdeführers) veränderten Punkte vor, die es als angemessen erscheinen lassen würden, der Beschwerdegegnerin im Abänderungsverfahren ein hypothetisches Einkommen anzurechnen.
3.2. Der Beschwerdeführer bemängelt, es sei ein hypothetisches Einkommen mit einem Beschäftigungsgrad von 100 % zu berücksichtigen.
3.2.1. Er führt aus, er habe vor den kantonalen Instanzen geltend gemacht, dass die Beschwerdegegnerin im Zeitpunkt des Erlasses des Eheschutzurteils zu 80 % erwerbstätig gewesen sei und daneben eine Ausbildung im Umfang von 20 % absolviert habe. Aus diesem Grund sei ihr nun - nach Abschluss der Ausbildung - eine Erwerbstätigkeit zu 100 % "zumutbar möglich". Die Vorinstanz habe sich mit dieser Rüge nicht auseinandergesetzt. Damit habe sie ihre Begründungspflicht als Ausfluss des rechtlichen Gehörs (<ref-law>) verletzt. Sodann sei diese "Nicht-Begründung" willkürlich. Erwachsenen Personen ohne Betreuungspflichten sei ein Erwerbspensum von 100 % als "zumutbar möglich" anzurechnen. Dieses Pensum müsse nicht nur der Beschwerdeführer leisten, sondern dazu sei nach abgeschlossener und sie damit zeitlich entlastender Ausbildung auch die Beschwerdegegnerin in der Lage, zumal sie sich nicht prozesstauglich über irgendwelche krankheitsbedingten Einschränkungen ausgewiesen habe und nicht habe ausweisen können, da sie gesund sei.
3.2.2. Aus den vorstehend wiedergegebenen Erwägungen der Vorinstanz (vgl. vorne E. 3.1.2 f.) erhellt, dass diese ihren Entscheid, der Beschwerdegegnerin kein hypothetisches Einkommen anzurechnen, sehr wohl begründet hat. Dabei hatte sie nicht auf jedes einzelne Vorbringen des Beschwerdeführers einzugehen (<ref-ruling> E. 4.3.2). Die Rüge der Gehörsverletzung geht damit fehl.
3.2.3. Sodann erläutert der Beschwerdeführer nicht, inwiefern die Vorinstanz den Sachverhalt willkürlich festgestellt haben soll, indem sie erkannte, beim Abschluss der Eheschutzvereinbarung sei der dannzumal laufenden Ausbildung, einem späteren allfälligen Stellenwechsel sowie den gesundheitlichen Beschwerden der Beschwerdegegnerin Rechnung getragen worden (vgl. vorne E. 3.1.2). Veränderungen, die bereits zum Zeitpunkt des zugrunde liegenden Urteils voraussehbar waren und im Voraus bei der Festsetzung des abzuändernden Unterhaltsbeitrages berücksichtigt worden sind, können keinen Abänderungsgrund bilden (vgl. <ref-ruling> E. 3.3.1 mit Hinweisen). Demgegenüber liegt ein Abänderungsgrund vor, wenn die tatsächlichen Feststellungen, die dem Massnahmenentscheid zugrunde lagen, sich nachträglich als unrichtig erweisen oder nicht wie vorhergesehen verwirklichen (<ref-ruling> E. 3.1 mit Hinweisen). Der Beschwerdeführer macht nicht geltend, die Parteien seien bei Abschluss der dem Eheschutzurteil zugrunde liegenden Vereinbarung davon ausgegangen, dass die Beschwerdegegnerin nach Absolvierung ihrer Ausbildung mit dem angestrebten Berufswechsel einem höheren Arbeitspensum nachgehen werde bzw. könne. Ebenso wenig zeigt er auf, dass die Anpassung des Einkommens der Beschwerdegegnerin aufgrund der Veränderung anderer Parameter geboten gewesen wäre (vgl. Urteil 5A_506/2011 vom 4. Januar 2012 E. 5.3, in: FamPra.ch 2012 S. 489). Damit erweist sich seine Willkürrüge als unbegründet.
3.2.4. Bei diesem Ergebnis erübrigt sich eine Auseinandersetzung mit den Ausführungen des Beschwerdeführers dazu, welches Einkommen die Beschwerdegegnerin mit einem Vollzeitpensum erwirtschaften könnte.
3.3. Für den Fall, dass von einem 80 %-Pensum auszugehen sei, hält der Beschwerdeführer die Höhe des berücksichtigen Einkommens für zu tief.
3.3.1. Auch in diesem Zusammenhang wirft er der Vorinstanz Willkür vor. Es erweise sich als völlig haltlos, der Beschwerdegegnerin ab dem 1. Januar 2020 weder das monatliche Einkommen gemäss Eheschutzurteil (Fr. 3'455.--) noch den bis Dezember 2019 erzielten Monatslohn (Fr. 3'690.--) anzurechnen, sondern ein Einkommen, das stolze Fr. 610.-- unter dem im Zeitpunkt der Klageanhebung erzielten liege. Die Beschwerdegegnerin sei nicht gezwungen gewesen, ihre Arbeitsstelle - noch dazu während laufendem Abänderungsverfahren - zu wechseln, was sie im Übrigen nicht behauptet und die Vorinstanz auch nicht überprüft habe. Es entspreche nicht der üblichen Lebenserfahrung, dass eine Partei ihre Arbeitsstelle wechsle, um nicht nur eine andere Arbeitstätigkeit auszuführen, sondern dabei auch noch ein erheblich tieferes Einkommen als zuvor zu erzielen. Der Beschwerdegegnerin sei deshalb auch ab 1. Januar 2020 ein monatliches Einkommen von Fr. 3'690.-- anzurechnen.
3.3.2. Der Beschwerdeführer argumentiert, als habe die Beschwerdegegnerin das Abänderungsverfahren angestrengt, um höhere Unterhaltsbeiträge zu erwirken, was nicht der Fall ist. Es war der Beschwerdeführer, welcher auf Abänderung klagte, um seine Unterhaltspflicht zu mindern. Insofern kann es der Beschwerdegegnerin nicht zum Vorwurf gemacht werden, wenn sie ihr Einkommen verringerte, ohne gleichzeitig mehr Unterhalt zu verlangen. Soweit der Beschwerdeführer zu implizieren beabsichtigt, dass die Beschwerdegegnerin ihr Einkommen während des Abänderungsverfahrens in Schädigungsabsicht verringert habe, sodass ihr weiterhin der bis zu jenem Zeitpunkt erzielte Lohn anzurechnen wäre (vgl. <ref-ruling> E. 3.4 in fine), gilt es festzuhalten, dass sich dem angefochtenen Entscheid nichts Derartiges entnehmen lässt. Vielmehr ergibt sich daraus, dass sie den Arbeitsvertrag für die neue Anstellung als Pflegehelferin bereits am 20. September 2019 (vgl. vorne E. 3.1.1) und damit vor Einleitung der Abänderungsklage am 3. Oktober 2019 (vgl. vorne Sachverhalt lit. B.a) unterzeichnete. Sodann ist wie bereits ausgeführt (vgl. vorne E. 3.2.3) davon auszugehen, dass ein allfälliger, mit dem Ausbildungsabschluss einhergehender Stellenwechsel (und damit zusammenhängend eine mögliche Einkommensreduktion) beim Abschluss der dem Eheschutzurteil zugrunde liegenden Vereinbarung berücksichtigt wurde. Bezeichnenderweise beruft sich der Beschwerdeführer denn auch auf die "übliche Lebenserfahrung" und nicht eine allfällige Erwartung der Parteien bei Abschluss der Vereinbarung im Eheschutzverfahren, dass die Beschwerdegegnerin als Pflegehelferin künftig ein höheres Einkommen als bisher erzielen werde. Unter diesen Umständen ist Willkür nicht ausgewiesen.
4.
Anstoss nimmt der Beschwerdeführer auch am für die Beschwerdegegnerin veranschlagten Mietzins.
4.1. Die Vorinstanz hielt fest, die Beschwerdegegnerin habe an der Eheschutzverhandlung vom 1. März 2019 vorgebracht, die erwachsene Tochter C._ werde in den nächsten Wochen, spätestens bis Ende Juni 2019, bei ihr aus- und in eine eigene Wohnung einziehen. Im Lichte dieser Äusserungen sowie der vom Beschwerdeführer plausibel dargelegten Berechnungsgrundlagen erscheine es als glaubhaft, dass im vergleichsweise festgelegten Unterhalt bei der Beschwerdegegnerin keine Zahlungen/Kostenbeteiligungen von C._ berücksichtigt worden seien. C._ wohne nun aber unstrittig nach wie vor bei der Beschwerdegegnerin und gebe ihr eine Wohnkostenbeteiligung von Fr. 500.-- ab (act. 40; 49), d.h. ihre Wohnsituation habe sich anders entwickelt als bei der Festlegung des Ehegattenunterhalts angenommen. Damit sei ein Abänderungsgrund gegeben, der bei massgeblicher Veränderung des neu zu bestimmenden Unterhaltsbeitrages zu einer Abänderung des Eheschutzurteils Anlass geben könne, was vorliegend zu bejahen sei.
4.2. Dem Beschwerdeführer zufolge wären der Beschwerdegegnerin zusätzliche " (Mietzins-) Einnahmen" von monatlich Fr. 1'000.-- anzurechnen. Sie habe keinerlei Belege vorgelegt, um nachzuweisen, dass die Tochter ihr Fr. 500.-- pro Monat als Wohnkostenbeteiligung abgebe. Indem die Vorinstanz völlig einseitig und ohne vertiefte Abklärungen auf die offensichtlich wenig glaubhafte Behauptung der Beschwerdegegnerin abgestellt habe, habe sie auch die in einem summarischen Verfahren zu beachtenden Beweisregeln und damit die zu wahrenden Verfahrensgarantien (Art. 29 Abs. 1 und 2, <ref-law>) verletzt. Wenn die ein monatliches Nettoeinkommen von über Fr. 4'000.-- erzielende erwachsene Tochter es vorziehe, nicht eine eigene, erheblich höhere Kosten bewirkende Wohnung anzumieten, sondern weiterhin kostengünstig bei und mit der Beschwerdegegnerin zu wohnen, dann habe sie auch eine angemessene Mietkostenbeteiligung und damit einen höheren Betrag als Fr. 500.-- pro Monat zu leisten.
4.3. Die Rüge der Verletzung der Ansprüche auf ein faires Verfahren und auf rechtliches Gehör (Art. 29 Abs. 1 und 2 BV) substanziiert der Beschwerdeführer nicht, sodass darauf nicht einzugehen ist (vgl. vorne E. 2).
4.4. Sodann stellte er sich im Berufungsverfahren noch auf den Standpunkt, die erwachsene Tochter habe sich zur Hälfte am Mietzins zu beteiligen, d.h. mit Fr. 762.50. Soweit er sich im hiesigen Verfahren auf eine darüber hinausgehende Kostenbeteiligung der Tochter beruft, hat er den Instanzenzug materiell nicht ausgeschöpft, sodass er in diesem Umfang nicht zu hören ist (<ref-ruling> E. 1.1 mit Hinweisen). Im Übrigen ist seinem Willkürvorwurf entgegenzuhalten, dass die Vorinstanz hinsichtlich der Höhe der Wohnkostenbeteiligung der Tochter C._ auf die kantonalen Akten verwies. Der Beschwerdeführer schweigt sich darüber aus, weshalb die bezeichneten Aktenstücke vorliegend nicht einschlägig sein sollen. Ebenso wenig beruft er sich auf in den Akten befindliche oder frist- und formgerecht angebotene Beweismittel, die eine höhere Wohnkostenbeteiligung der Tochter belegen würden und welche die Vorinstanz zu Unrecht nicht berücksichtigt hätte. Damit ist auch hier keine Willkür dargetan.
5.
Betreffend die vorinstanzliche Kostenregelung erhebt der Beschwerdeführer keine eigenständigen Verfassungsrügen. Angesichts des Ausgangs des hiesigen Beschwerdeverfahrens besteht kein Anlass zu deren Änderung (vgl. Art. 67 und Art. 68 Abs. 5 BGG), sodass sich Ausführungen hierzu erübrigen.
6.
Im Ergebnis ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerdeführer wird kosten- (<ref-law>), nicht aber entschädigungspflichtig, zumal keine Vernehmlassungen eingeholt wurden (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 4. Oktober 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Gutzwiller