Sachverhalt:
A.
A.a. B.A._ (geb. 2001) ist die Tochter von A.A._. Mit Klage vom 25. Oktober 2019 verlangte sie von ihrem Vater Volljährigenunterhalt. Mit Entscheid vom 27. Mai 2021 sprach ihr das Bezirksgerichtspräsidium Rheinfelden ab November 2019 bis zum Abschluss des Hauptverfahrens Unterhalt von Fr. 1'633.-- zuzüglich an den Vater ausbezahlte Ausbildungs- und Unterhaltszulagen zu.
A.b. Das vom Vater angerufene Obergericht des Kantons Aargau setzte mit Entscheid vom 15. November 2021 (eröffnet am 26. November 2021) das Ende der Unterhaltspflicht auf August 2021 fest und wies im Übrigen die Anträge der Parteien ab.
B.
A.A._ (Beschwerdeführer) wendet sich mit Beschwerde in Zivilsachen vom 27. Dezember 2021 an das Bundesgericht. Er beantragt unter Kosten- und Entschädigungsfolgen, den von ihm geschuldeten Unterhalt auf monatlich Fr. 738.15, eventualiter Fr. 919.45 und subeventualiter Fr. 1'217.45 festzusetzen und die Sache anschliessend zur Neuverlegung der vorinstanzlichen und erstinstanzlichen Kosten an die Vorinstanz zurückzuweisen. Subsubeventualiter beantragt er die Rückweisung der Sache zu neuer Entscheidung an die Vorinstanz.
Das Bundesgericht hat der Beschwerde antragsgemäss die aufschiebende Wirkung erteilt, soweit die Unterhaltsbetreffnisse den Betrag von Fr. 738.15 übersteigen (Verfügung vom 1. Februar 2022). Im Übrigen wurden die Akten, aber keine Vernehmlassungen eingeholt.
Die Beschwerdegegnerin stellt für das bundesgerichtliche Beschwerdeverfahren ein Gesuch um unentgeltliche Rechtspflege.

Erwägungen:
1.
Angefochten ist der Entscheid einer letzten kantonalen Instanz, die als oberes Gericht auf Rechtsmittel hin in einer Zivilsache entschieden hat (Art. 72 Abs. 1 und Art. 75 BGG). Der Streit dreht sich um Unterhaltsleistungen an ein volljähriges Kind. Die Angelegenheit ist vermögensrechtlicher Natur. Die gesetzliche Streitwertgrenze von Fr. 30'000.-- ist unbestritten erreicht (Art. 74 Abs. 1 Bst. b und <ref-law>). Der Beschwerdeführer ist zur Beschwerde berechtigt (<ref-law>). Die Beschwerdefrist ist gewahrt (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 2 Bst. a und <ref-law>).
2.
2.1. Der Entscheid, der dem minderjährigen Kind vorsorglich Unterhalt zuspricht, ist losgelöst vom Zivilstand der Eltern ein Endentscheid (<ref-law>; <ref-ruling> E. 1.2; Urteil 5A_1053/2017 vom 25. September 2019 E. 1.1). Demgegenüber handelt es sich beim Entscheid über den vorsorglich zugesprochenen Volljährigenunterhalt um einen Zwischenentscheid nach <ref-law> (<ref-ruling> E. 2).
2.2.
2.2.1. Gegen selbständig eröffnete Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (<ref-law>), ist die Beschwerde an das Bundesgericht nur zulässig, wenn der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 Bst. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 Bst. b BGG). Der drohende nicht wieder gutzumachende Nachteil im Sinne von Art. 93 Abs. 1 Bst. a BGG muss rechtlicher Natur sein; dagegen reichen rein tatsächliche Nachteile wie die Verfahrensverlängerung oder -verteuerung nicht aus (<ref-ruling> E. 1.2 mit Hinweisen). Ein zur Beschwerde berechtigender Nachteil liegt nur dann vor, wenn er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt (<ref-ruling> E. 1.3 mit Hinweisen). Nach der Rechtsprechung obliegt es der beschwerdeführenden Partei darzutun, dass eine der beiden Voraussetzungen erfüllt ist, es sei denn, deren Vorliegen springe geradezu in die Augen (<ref-ruling> E. 1.2 mit Hinweisen).
2.2.2. Der Beschwerdeführer legt nicht dar, weshalb im vorliegenden Fall die Voraussetzungen erfüllt sind, damit sich das Bundesgericht mit dem angefochtenen Zwischenentscheid befassen kann. Namentlich zeigt er nicht auf, welchen nicht wieder gutzumachenden Nachteil er erleidet, wenn er bis Ende August 2021 vorsorglich Unterhalt leisten muss. So legt er nicht dar, dass er wegen seiner vorläufigen Unterhaltsverpflichtung ernsthaften finanziellen Schwierigkeiten ausgesetzt wäre oder im Falle des Obsiegens in der Hauptsache die Rückerstattung der geleisteten Geldbeträge nicht werde erhalten können (Urteil 5A_598/2017 vom 5. Dezember 2017 E. 1.2). Die blosse im Zusammenhang mit dem Gesuch um aufschiebende Wirkung aufgestellte Behauptung, die Rückforderung der Unterhaltsbeiträge sei aussichtslos, genügt als Begründung nicht. Aus diesem Grund kann auf die Beschwerde nicht eingetreten werden.
3.
Bei diesem Ausgang des Verfahrens muss der Beschwerdeführer für die Gerichtskosten aufkommen inklusive der Kosten für das Verfahren um aufschiebende Wirkung (<ref-law>). Er schuldet der Beschwerdegegnerin aber keine Parteientschädigung (<ref-law>), nachdem diese erfolglos die Abweisung des Gesuchs um aufschiebende Wirkung beantragte. Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren (<ref-law>) ist abzuweisen, soweit es nicht gegenstandslos geworden ist, da ihr Antrag, der Beschwerde keine aufschiebende Wirkung zu erteilen, als von vornherein aussichtslos gelten musste.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eintreten.
2.
Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 3. Kammer, mitgeteilt.
Lausanne, 8. April 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber