Sachverhalt:
A.
A.a. B._ (geb. 1971; Beschwerdeführer) und A._ (geb. 1974; Beschwerdegegnerin) heirateten im Jahr 1997. Aus der Ehe gingen die inzwischen volljährigen Kinder C._ und D._ hervor. Die Ehegatten trennten sich im Juni 2017 und mit Entscheid vom 16. September 2019 regelte das Obergericht des Kantons Aargau letztinstanzlich deren Getrenntleben, wobei es A._ soweit hier interessierend zur Zahlung von monatlichem Ehegattenunterhalt von Fr. 3'973.-- verpflichtete.
Das Scheidungsverfahren ist seit dem 19. November 2019 hängig.
Ein kurz darauf eingereichtes Gesuch von A._ um Abänderung des Eheschutzentscheides im Unterhaltspunkt blieb erfolglos. Dagegen wurde ihre Arbeitgeberin auf Ersuchen von B._ hin angewiesen, den das Existenzminimum übersteigenden Teil ihres Lohnes maximal im Umfang der geschuldeten Unterhaltsleistungen direkt an diesen zu überweisen (vgl. dazu Urteil 5A_302/2021 vom 29. März 2022).
A.b. Am 20. November 2020 ersuchte A._ das Bezirksgericht Aarau darum, B._ zu verpflichten, ihr für das Scheidungsverfahren einen Prozesskostenvorschuss von Fr. 19'250.--, für das (damals noch hängige) Berufungsverfahren betreffend Abänderung des Eheschutzentscheids einen solchen von Fr. 5'000.-- und für das Verfahren betreffend Kostenvorschuss einen solchen von Fr. 2'000.-- zu bezahlen. Mit Entscheid vom 23. Februar 2021 verpflichtete das Bezirksgericht B._ zur Zahlung der beantragten Vorschüsse für das Scheidungs- und das Berufungsverfahren. Einen von diesem zwischenzeitlich gestellten Antrag auf Verpflichtung von A._ zur Leistung eines Prozesskostenvorschusses wies das Bezirksgericht ab. Alle weiteren Anträge wies es ab bzw. erklärte diese für gegenstandslos geworden. Die Prozesskosten auferlegte es dem Ehemann.
B.
Mit Entscheid vom 21. Oktober 2021 (eröffnet am 9. November 2021) hiess das Obergericht die hiergegen von B._ erhobene Berufung teilweise gut und setzte den von diesem für das Berufungsverfahren betreffend Abänderung des Eheschutzentscheids zu bezahlenden Prozesskostenvorschuss auf Fr. 4'000.-- fest. Weitergehend wies es die Berufung unter Kostenfolgen für B._ ebenso ab wie dessen Gesuch um unentgeltliche Rechtspflege.
C.
B._ gelangt mit subsidiärer Verfassungsbeschwerde vom 8. Dezember 2021 ans Bundesgericht und beantragt unter Kosten- und Entschädigungsfolge in allen Instanzen, es sei der Entscheid des Obergerichts vom 21. Oktober 2021 aufzuheben und seine Berufung gutzuheissen. Eventuell sei die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Ausserdem sei B._ für das Verfahren vor Bundesgericht die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
Mit Eingabe vom 12. Januar 2022 hat A._ weitere Unterlagen zu den Akten gereicht.
Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerde ans Bundesgericht ist ein reformatorisches Rechtsmittel (Art. 107 Abs. 2 BGG). Das in der Beschwerde zu stellende Begehren (Art. 42 Abs. 1 BGG) muss daher grundsätzlich ein reformatorisches sein. Die rechtsuchende Partei hat folglich einen Antrag in der Sache zu stellen (<ref-ruling> E. 1.3), d.h. anzugeben, welche Punkte des kantonalen Entscheids sie anficht und inwiefern das Bundesgericht den angefochtenen Entscheid abändern soll (<ref-ruling> E. 3.1; Urteile 5A_1038/2020 vom 14. Dezember 2021 E. 2.1; 5A_980/2018 vom 5. Juni 2019 E. 1.2). Der Beschwerdeführer stellt keinen solchen Antrag, beschränkt sich in der Hauptsache vielmehr darauf, die Gutheissung der im kantonalen Verfahren erhobenen Berufung zu beantragen. Zur Auslegung der gestellten Begehren sind indes die Beschwerdebegründung und allenfalls der angefochtene Entscheid beizuziehen (<ref-ruling> E. 6.2; <ref-ruling> E. 1.3). Aus diesen erhellt, dass es dem Beschwerdeführer um die vor der Vorinstanz umstrittene Aufhebung seiner Verpflichtung zur Vorschussleistung geht. In der Beschwerdeschrift äussert er sich jedoch einzig zum Prozesskostenvorschuss für das Scheidungsverfahren. Zu jenem für das Eheschutzverfahren hält er fest, er sei "vorliegend nicht ergänzend angefochten [...]". Die Beschwerde ist entsprechend entgegenzunehmen (vgl. etwa Urteil 5A_868/2019 vom 23. November 2020 E. 1.2).
1.2. Angefochten ist demnach der Entscheid eines oberen Gerichts, das auf Rechtsmittel hin als letzte kantonale Instanz (Art. 75 Abs. 1 BGG) über die Verpflichtung des Beschwerdeführers zur Leistung eines Prozesskostenvorschusses für ein Scheidungsverfahren entschieden hat. Dabei handelt es sich um einen Endentscheid (Art. 90 BGG; Urteil 5A_422/2018 vom 26. September 2019 E. 1.2) in einer vermögensrechtlichen Angelegenheit (Urteile 5D_83/2015 vom 6. Januar 2016 E. 1.2; 5A_247/2013 vom 15. Oktober 2013 E. 1.3). Das Streitwerterfordernis von Art. 74 Abs. 1 Bst. b BGG ist unbestritten nicht erreicht und der Beschwerdeführer macht nicht geltend, es stelle sich eine Rechtsfrage von grundsätzlicher Bedeutung nach Art. 74 Abs. 2 Bst. a BGG. Damit ist die subsidiäre Verfassungsbeschwerde das zutreffende Rechtsmittel (Art. 113 BGG). Zu deren Erhebung ist der Beschwerdeführer nach Art. 115 BGG berechtigt und die Beschwerdefrist ist eingehalten (Art. 117 i.V.m. Art. 100 Abs. 1 BGG). Auf die Beschwerde ist damit grundsätzlich einzutreten.
1.3. Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Hiervon erfasst sind unechte Noven, also Tatsachen, die im bisherigen Verfahren bereits hätten vorgebracht werden können, aber nicht vorgebracht wurden. Echte Noven, d.h. Tatsachen, die erst entstanden sind, nachdem vor der Vorinstanz keine neuen Tatsachen und Beweismittel mehr vorgetragen werden konnten, sind im Verfahren vor Bundesgericht demgegenüber unbeachtlich (<ref-ruling> E. 1.2; <ref-ruling> E. 3.1.2). Unbeachtlich bleibt daher das von der Beschwerdegegnerin am 12. Januar 2022 eingereichte Kündigungsschreiben vom 22. Dezember 2021 (act. 14), das nach dem angefochtenen Entscheid datiert.
2.
Mit der subsidären Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Es gilt das strenge Rügeprinzip nach Art. 106 Abs. 2 BGG. Die rechtsuchende Partei muss daher präzise angeben, welches verfassungsmässige Recht durch den angefochtenen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (<ref-ruling> E. 1.2.2; <ref-ruling> E. 2.4; <ref-ruling> E. 1.3). Wird eine Verletzung des Willkürverbots nach Art. 9 BV geltend gemacht, reicht es daher nicht aus, die Lage aus der eigenen Sicht darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen. Es ist im Einzelnen darzutun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.4.1; <ref-ruling> E. 2.2).
3.
3.1. Der Beschwerdeführer wirft dem Obergericht vor, im Zusammenhang mit der ihm auferlegten Verpflichtung zur Leistung eines Prozesskostenvorschusses verschiedentlich in Willkür verfallen zu sein. Vorab beanstandet er dabei, dass die Vorinstanz die Beschwerdegegnerin als bedürftig angesehen hat (zur Bedürftigkeit im Allgemeinen vgl. Urteile 5A_482/2019 vom 10. Oktober 2019 E. 3; 5A_850/2017 vom 15. Dezember 2017 E. 3.2).
Die Vorinstanz erwägt dazu, die Arbeitgeberin der Beschwerdegegnerin sei angewiesen, von deren Einkommen ein das Existenzminimum übersteigenden Betrag, maximal aber die Unterhaltsbeiträge in der Höhe von Fr. 3'973.-- im Monat, direkt dem Beschwerdeführer zu überweisen (vgl. dazu vorne Bst. A.a). Gleichzeitig sei das Einkommen der Beschwerdegegnerin in dem das Existenzminimum sowie die Unterhaltsbeiträge übersteigenden Betrag gepfändet, um ausstehenden Unterhalt sowie weitere Schulden gegenüber dem Beschwerdeführer zu tilgen. Im vorliegenden Summarverfahren sei unter diesen Umständen davon auszugehen, dass die Beschwerdegegnerin umfassend und wahrheitsgemäss über ihre Vermögenswerte (inklusive Vermögensdispositionen seit 2019) Auskunft erteilt habe und bei Anordnung der Pfändung im Juni 2020 kein weiteres Vermögen vorhanden gewesen sei. Sei der Beschwerdeführer der Auffassung, die Beschwerdegegnerin hätte sich des Pfändungsbetrugs strafbar gemacht oder der Zwangsvollstreckung Vermögenswerte entzogen, könne er den entsprechenden Rechtsbehelf ergreifen. Die Rechtsvertreterin der Beschwerdegegnerin habe sodann bestritten, für das Scheidungsverfahren bereits entlöhnt worden zu seien. Es hätten daher auch keine weiteren Unterlagen ediert werden müssen. Alles in allem sei glaubhaft, dass der Beschwerdegegnerin nur noch das vom Betreibungsamt festgesetzte Existenzminimum verbleibe, womit ihre Bedürftigkeit bejaht werden könne.
3.2. Der Beschwerdeführer bestreitet die grundsätzliche Prozessbedürftigkeit der Beschwerdegegnerin mit Blick auf die bestehende Pfändung nicht. Allerdings habe er bereits früher behauptet und nachgewiesen, dass die Beschwerdegegnerin bis August 2020 rund Fr. 120'000.-- zurückbehalten und weder ihm noch dem Betreibungsamt überwiesen habe. Mit diesem Geld seien die Kosten des Scheidungsverfahrens bereits vollständig bezahlt worden. Deshalb habe er auch beantragt, die Beschwerdegegnerin habe ihre Kontounterlagen ab November 2019 vorzulegen. Weder das Bezirks- noch das Obergericht seien hierauf eingegangen, Letzteres mit dem aktenwidrigen Hinweis auf die Bestreitung entsprechender Zahlungen durch die Rechtsvertreterin der Beschwerdegegnerin. Tatsächlich habe die Beschwerdegegnerin selbst nur einen Kostenvorschuss für den ab November 2020 angefallenen Aufwand verlangt. Die Annahme, dass die Kosten bis zu diesem Zeitpunkt bereits bezahlt seien, sei daher nicht abwegig. Ob der "Vorbezug" von Fr. 120'000.-- auch für die Bezahlung weiterer Anwaltskosten verwendet worden sei, hätten die kantonalen Instanzen willkürlich abzuklären unterlassen, zumal die Beschwerdegegnerin die entsprechenden Unterlagen ohne weiteres hätte beibringen können. Das Obergericht sei daher zur Abnahme der fraglichen Beweise anzuhalten und habe in der Sache neu zu entscheiden.
3.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 Abs. 1 BGG). Es kann die Sachverhaltsfeststellungen der Vorinstanz nur berichtigen oder ergänzen, wenn in einer dem strengen Rügeprinzip genügenden Art und Weise dargetan wird, dass sie auf der Verletzung verfassungsmässiger Rechte beruht (vgl. Art. 118 Abs. 2 i.V.m. Art. 106 Abs. 2 BGG; vorne E. 2). Mit seinen Vorbringen zu angeblich zurückbehaltenen Vermögenswerten widerspricht der Beschwerdeführer der Feststellung des Obergerichts, die Beschwerdegegnerin habe wahrheitsgemäss über ihre Vermögensverhältnisse ab November 2019 Auskunft erteilt. Zwar wirft er dem Obergericht in diesem Zusammenhang eine Aktenwidrigkeit und damit Willkür vor (vgl. Urteil 5A_563/2020 vom 29. April 2021 E. 3.3), weil die Vertreterin der Beschwerdegegnerin die Bezahlung der Kosten des Scheidungsverfahrens tatsächlich nicht bestritten habe. Dieses Vorbringen ist indes von vornherein nicht geeignet, die Feststellungen der Vorinstanz zur Angabe der Vermögenswerte durch die Beschwerdegegnerin in Frage zu stellen. Weitergehend beruhen die Ausführungen des Beschwerdeführers wie sich bereits aus deren Formulierung ergibt ("zu vermuten", "nicht abwegig") grossteils auf Spekulationen, womit sich keine Verfassungswidrigkeit aufzeigen lässt. Auch ansonsten belässt der Beschwerdeführer es dabei, seine eigene Interpretation des (angeblich) Vorgefallenen in appellatorischer Art und Weise den Feststellungen der Vorinstanz gegenüberzustellen. So bleibt etwa unklar, weshalb die Beschwerdegegnerin gerade einen Betrag von Fr. 120'000.-- zurückbehalten haben soll. Auf die Beschwerde ist insoweit nicht einzutreten. Nach dem Ausgeführten erwächst dem Obergericht auch kein Vorwurf daraus, dass es keine weiteren Abklärungen vorgenommen hat. Soweit der Beschwerdeführer ausserdem die Rüge der Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) erheben sollte, genügt die Beschwerde auch insoweit den geltenden Anforderungen nicht (vgl. vorne E. 2; Urteil 5A_85/2021 vom 26. März 2021 E. 6.2 mit Hinweisen).
4.
4.1. Der Beschwerdeführer sieht sich weiter zur Bezahlung eines Prozesskostenvorschusses nicht in der Lage (zur Leistungsfähigkeit im Allgemeinen vgl. Urteil 5A_590/2019 vom 13. Februar 2020 E. 3.3, in: Pra 2021 Nr. 3 S. 19).
Das Obergericht verweist auf den erstinstanzlichen Entscheid, wonach der Beschwerdeführer bei einem Zwangsbedarf von Fr. 4'380.-- über ein monatliches Einkommen von Fr. 9'103.-- (Fr. 5'130.-- Erwerbseinkommen und Fr. 3'973.-- Unterhaltsbeiträge) verfüge, was einen Überschuss von Fr. 4'723.-- im Monat ergebe. Weder die vom Beschwerdeführer formulierte Kritik an der Höhe des Erwerbseinkommens noch die Einwände der Beschwerdegegnerin betreffend den Zwangsbedarf seien überzeugend bzw. zu hören. Dem weiteren Einwand des Beschwerdeführers, er erhalte nicht mehr den vollen Anweisungsbeitrag von Fr. 3'973.--, sei zu entgegnen, dass gemäss der Schuldneranweisung Beiträge, welche in einzelnen Monaten nicht ausgerichtet werden könnten, in den Folgemonaten nachzuzahlen seien. So habe der Beschwerdeführer etwa im Juni 2021 aus der Schuldneranweisung einen Betrag von Fr. 6'441.55 erhalten. Unter diesen Umständen sei der Beschwerdeführer in der Lage, den beantragten Vorschuss innert nützlicher Frist zu bezahlen. Dies gelte selbst dann, wenn er, wie er geltend mache, auch noch für im Übrigen nicht substanziierte weitere Prozesskosten aufkommen müsse.
4.2. Der Beschwerdeführer bestätigt es zwar als richtig, dass nicht ausbezahlte Anweisungsbeiträge grundsätzlich in den Folgemonaten nachzuzahlen seien. Der entsprechende Entscheid des Obergerichts sei indes vor Bundesgericht angefochten. Ausserdem könnten Nachzahlungen mangels Leistungsfähigkeit der Beschwerdegegnerin nicht vorgenommen werden. So habe der Beschwerdeführer von September bis November 2021 keine Zahlungen erhalten und die Ausstände aus den Anweisungen lägen zwischenzeitlich bei Fr. 14'264.65. Die Annahme, es könne im vorliegenden Zusammenhang der gesamte Anweisungsbetrag berücksichtigt werden, erweise sich damit als willkürlich. Ohnehin sei der Beschwerdeführer nicht in der Lage, einen grösseren Pauschalbeitrag auf einmal zu leisten, sondern wäre er zu monatlichen Zahlungen zu verpflichten.
4.3. Die gegenüber der Beschwerdegegnerin ausgesprochene Schuldneranweisung lautet unbestritten auf einen monatlichen Betrag von Fr. 3'973.-- (vgl. vorne Bst. A.a). Weiter ist unbestritten, dass der Beschwerdeführer aufgrund der verfügten Zahlungsmodalitäten auch dann ein Anrecht auf den gesamten Anweisungsbetrag hat, wenn abhängig von der Leistungsfähigkeit der Beschwerdegegnerin in einzelnen Monaten nicht der volle Beitrag überwiesen wird. Unter diesen Umständen konnte die Vorinstanz den gesamten Betrag ohne Willkür in ihre Berechnung einbeziehen. Anders wäre allenfalls zu entscheiden, wenn die Beschwerdegegnerin auf Dauer nicht in der Lage wäre, ein genügend hohes Einkommen zu erzielen. Solches ist aber nicht und jedenfalls nicht mit der nötigen Genauigkeit geltend gemacht (vgl. vorne E. 2). Selbst wenn indes von den Darstellungen des Beschwerdeführers auszugehen wäre, erwiese sich die Beschwerde als ungenügend begründet: Der Beschwerdeführer legt nicht dar, weshalb ihm die Leistung eines Prozesskostenvorschusses mit Blick auf das ansonsten nicht bestrittene Erwerbseinkommen und sein Existenzminimum nicht möglich sein soll. Die blosse Behauptung, er sei unter den gegebenen Umständen nicht leistungsfähig, genügt nicht. Dies wäre indes notwendig, um Willkür des Obergerichts auch im Ergebnis aufzeigen zu können (vgl. dazu <ref-ruling> E. 7.1).
Dem Beschwerdeführer hilft sodann der Hinweis auf das die Schuldneranweisung betreffende Verfahren 5A_302/2021 vor Bundesgericht nicht weiter: Abgesehen davon, dass dieses zwischenzeitlich abgeschlossen ist, war die Anweisung während des Verfahrens bereits vollstreckbar (vgl. Art. 103 Abs. 1 BGG und Urteil 5A_302/2021 vom 29. März 2022 Bst. C). Zuletzt bleiben die Ausführungen des Beschwerdeführers zur Frage, ob eine einmalige Zahlung zu leisten oder monatliche Beiträge zu verfügen seien, unbeachtlich: Weder stellt er vor Bundesgericht den Antrag, eine entsprechende Regelung zu treffen (vgl. vorne Bst. C), noch legt er dar, dass diese Frage bereits Thema des vorinstanzlichen Verfahrens gewesen war. Letzteres wäre indes notwendig, damit auf die Beschwerde diesbezüglich eingetreten werden könnte (Art. 75 Abs. 1 und Art. 99 Abs. 2 BGG; <ref-ruling> E. 3.3.4; <ref-ruling> E. 2.2.2; <ref-ruling> E. 1.1).
Die Beschwerde ist folglich mit Blick auf die Rüge der mangelnden Leistungsfähigkeit abzuweisen, soweit darauf einzutreten ist.
5.
5.1. Ebenfalls als in verschiedener Hinsicht willkürlich erachtet der Beschwerdeführer die Berechnung des ihm auferlegten Vorschusses.
Das Obergericht ging gestützt auf § 3 Abs. 1 Bst. a Ziff. 6 des Dekrets (des Kantons Aargau) vom 10. November 1987 über die Entschädigung der Anwälte (Anwaltstarif, AnwT/AG; SAR 291.150) von einer Grundentschädigung für das hängige Scheidungsverfahren von Fr. 17'707.60 aus. Die gesamten Rechtsvertretungskosten der Beschwerdegegnerin seien auf Fr. 27'446.25 zu schätzen, wobei gestützt auf § 6 AnwT/AG Zuschläge für die Replik vom 24. August 2020, die Eingaben vom 20. November 2020 und vom 2. August 2021 sowie für die noch ausstehende Stellungnahme zum Beweisergebnis zu berücksichtigen seien. Die Beschwerdegegnerin habe das Gesuch um einen Prozesskostenvorschuss (erst) in der Replik vom 24. August 2020 gestellt, weshalb der früheren Klagebegründung und dem sonstigen früheren Aufwand mit einem Abschlag von 40 % auf der Grundentschädigung Rechnung zu tragen sei. Dies ergebe für die (mutmasslichen) Parteikosten der Beschwerdegegnerin insgesamt einen Betrag von Fr. 20'363.25, womit nicht zu beanstanden sei, dass das Bezirksgericht den Vorschuss auf Fr. 19'250.-- festgelegt habe.
5.2.
5.2.1. Der Beschwerdeführer wendet ein, die Beschwerdegegnerin habe ursprünglich um die Ausrichtung von 70 % von Fr. 27'500.-- ersucht. Zuschläge für bei Klageeinreichung noch nicht absehbare weitere Eingaben seien nicht verlangt und vom Bezirksgericht auch nicht zugesprochen worden. Erst das Obergericht habe entsprechende Zuschläge von Amtes wegen berücksichtigt. Es sei völlig unhaltbar und willkürlich, bei der Berechnung des Vorschusses von der Gegenpartei nicht behauptete und zudem nicht feststehende und damit fiktive Leistungspositionen zu berücksichtigen.
5.2.2. Die provisio ad litem ist ein Vorschuss und soll es der sie empfangenden Person ermöglichen, ihre Interessen vor Gericht wahrzunehmen (<ref-ruling> E. 6.3; Urteil 5A_590/2019 vom 13. Februar 2020 E. 3.3, in: Pra 2021 Nr. 3 S. 19). Sie bezieht sich auf die mutmasslichen Kosten des kommenden Prozesses, die nur geschätzt werden können (vgl. Maier, Die Finanzierung von familienrechtlichen Prozessen, in: FamPra.ch 2019 S. 818 ff., 821). Es ist damit in grundlegender Hinsicht nicht zu beanstanden, dass die Vorinstanz bei der Berechnung des der Beschwerdegegnerin auszurichtenden Vorschusses auch künftige, in ihrem Umfang nicht abschliessend feststehende Leistungen berücksichtigt hat. Bezüglich des erhobenen Willkürvorwurfs erweist sich die Beschwerde sodann als ungenügend begründet und ist nicht darauf einzutreten: Der Beschwerdeführer geht weder auf den Gehalt des angeblich verletzten verfassungsmässigen Rechts ein noch auf die nach Ansicht des Beschwerdeführers durch die Vorinstanz "völlig unhaltbar" angewandten Bestimmungen. Er belässt es bei einer Darstellung seines eigenen Standpunkts, nämlich dass zur Berechnung des Vorschusses nur im Zeitpunkt der Klageeinreichung behauptete Umstände berücksichtigt werden dürften, um dem Obergericht aufgrund des abweichenden angefochtenen Entscheids Willkür vorzuwerfen. Dies genügt den einschlägigen Begründungsanforderungen nicht (vgl. vorne E. 2).
5.3.
5.3.1. Der Beschwerdeführer erachtet es sodann mit der Vorinstanz als richtig, dass ein Kostenvorschuss nicht für bei Gesuchstellung bereits erbrachte, sondern nur für künftige Leistungen zugesprochen werden kann (vgl. dazu WEINGART, provisio ad litem - Der Prozesskostenvorschuss für eherechtliche Verfahren, in: Markus et al. [Hrsg.], Zivilprozess und Vollstreckung national und international - Schnittstellen und Vergleiche, Festschrift für Jolanda Kren Kostkiewicz, 2018, S. 677 ff., 689, mit Hinweis auf Art. 119 Abs. 4 ZPO im Umkehrschluss). Entgegen dem Obergericht dürften vorliegend daher die vor Einreichung der Klage auf Vorschussleistung vom 20. November 2020 angefallenen Aufwendungen nicht berücksichtigt werden. Die Beschwerdegegnerin habe in der Replik vom 24. August 2020 zwar einen Antrag auf Ausrichtung eines Prozesskostenvorschusses gestellt. Dieser sei jedoch unbegründet geblieben. Ausserdem habe sie später, eben am 20. November 2020, korrekterweise eine eigenständige Klage erhoben, was ihr im Übrigen bereits früher möglich gewesen wäre. Unter diesen Umständen sei das Vorgehen der Vorinstanz willkürlich.
5.3.2. Strittig und für die Berechnung des Vorschusses entscheidend ist, mit welcher Eingabe die Beschwerdegegnerin das Gesuch um einen Prozssskostenvorschuss anhängig gemacht hat. Das Obergericht erachtete die Replik vom 24. August 2020 als massgebend (vorne E. 5.1) Mit seinen Ausführungen vermag der Beschwerdeführer dies nicht in Frage zu stellen bzw. diesbezüglich nicht mit hinreichender Genauigkeit (vgl. vorne E. 2) eine Verfassungsverletzung darzutun: Auch insoweit ist ihm vorzuhalten, dass er dem Bundesgericht letztlich bloss seine eigene Sichtweise der Dinge unterbreitet. Weder äussert er sich zum angeblich verletzten verfassungsmässigen Recht, noch legt er dar, weshalb die Vorinstanz das für die Einreichung des Vorschussgesuchs massgebende Datum offensichtlich falsch bestimmt haben soll. Die blosse Behauptung von Willkür genügt den Begründungserfordernissen nicht. Auf die Beschwerde ist auch insoweit nicht einzutreten.
5.4.
5.4.1. Der Beschwerdeführer wirft dem Obergericht sodann eine Verletzung des Anspruchs auf rechtliches Gehör vor. Bereits vor Bezirksgericht und dann wieder in der Berufungsschrift habe er geltend gemacht, dass das Grundhonorar im Zeitpunkt der Klageeinreichung am 20. November 2020 bereits abgegolten bzw. abgearbeitet sei. Der Anwaltstarif sehe ausserdem keine Kürzung in pauschalem Umfang auf dem für ein ganzes Verfahren fälligen Honorar vor. Hierzu habe das Obergericht sich in Verletzung der Begründungspflicht nicht geäussert. Völlig neu habe die Vorinstanz sodann einen Abzug von 40 % auf der Grundentschädigung vorgenommen. Dies sei offensichtlich unhaltbar, da § 6 AnwT/AG missachtet werde: Bei Gesuchseinreichung am 20. November 2020 sei der zur Grundentschädigung gezählte Aufwand bereits vollumfänglich angefallen. Im Ergebnis hätte daher nicht eine Kürzung um 40 %, sondern eine solche um 100 % vorgenommen werden müssen. Das Vorgehen der Vorinstanz sei auch deshalb missbräuchlich und willkürlich.
5.4.2. Auch insoweit ist die Beschwerde abzuweisen, soweit darauf einzutreten ist: Die in der vorgetragenen Form nicht leicht verständliche Rüge der Verletzung des rechtlichen Gehörs genügt den einschlägigen Begründungserfordernissen abermals nicht. Namentlich legt der Beschwerdeführer in keiner Weise dar, inwieweit das Obergericht zu einem anderen Ergebnis hätte gelangen sollen, falls das Verfahren richtig durchgeführt worden wäre (vgl. vorne E. 3.3 und die dortigen Hinweise). Ohnehin hat die Vorinstanz, wenn auch nur kurz, ausgeführt, weshalb ihrer Ansicht nach der zwischen dem 24. August 2020 (Einreichung der Replik) und dem 20. November 2020 angefallene Aufwand in die Berechnung des Vorschusses einzubeziehen ist. Soweit der Beschwerdeführer sodann eine willkürliche Anwendung von § 6 AnwT/AG rügt, geht er erneut vom 20. November 2020 als dem für die Berechnung des Aufwands massgeblichen Datum aus. Auch in diesem Zusammenhang legt er indessen nicht dar, weshalb die Vorinstanz insoweit in geradezu unhaltbarer Art und Weise entschieden haben sollte. Seinen weiteren Ausführungen zum Umfang der vorzunehmenden Kürzung des Grundbetrags sind damit die Grundlagen entzogen.
5.5. Verschiedentlich bemerkt der Beschwerdeführer ausserdem, das Obergericht habe den strittigen Prozesskostenvorschuss gänzlich abweichend vom Bezirksgericht berechnet. Sollte er mit diesem Hinweis eine Verfassungsverletzung geltend machen wollen, erwiese sich die Beschwerde auch insoweit als ungenügend begründet, weil sie keinerlei Ausführungen dazu enthält, welches verfassungsmässige Recht auf diese Weise inwiefern verletzt worden sein sollte.
6.
Zusammenfassend ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Damit rechtfertigt sich auch eine Neuverlegung der Kosten der kantonalen Verfahren nicht, zumal der Beschwerdeführer den vorinstanzlichen Kostenentscheid nicht unabhängig vom Ausgang des bundesgerichtlichen Verfahrens anficht.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Mangels Einholens einer Vernehmlassung sind der obsiegenden Beschwerdegegnerin keine entschädigungspflichtigen Kosten angefallen, weshalb keine Parteientschädigung zu sprechen ist (Art. 68 Abs. 1 und 2 BGG). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung im bundesgerichtlichen Verfahren ist abzuweisen, da die Beschwerde nach dem Ausgeführten als von Anfang an aussichtlos bezeichnet werden muss (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung im bundesgerichtlichen Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, und dem Bezirksgericht Aarau, Familiengerichtspräsidium, mitgeteilt.
Lausanne, 30. März 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber