Sachverhalt:
A.
A.A._ (geb. 1978) und B.A._ (geb. 1982) heirateten 2009. Aus ihrer Ehe sind die beiden Kinder C.A._ (geb. 2011) und D.A._ (geb. 2012) hervorgegangen. Die Parteien leben seit dem 11. Februar 2014 getrennt.
B.
B.a. Am 30. Mai 2016 reichte B.A._ beim Bezirksgericht Lenzburg die Scheidungsklage ein.
B.b. Das Scheidungsurteil erging am 9. April 2020. Nebst anderem teilte das Bezirksgericht die elterliche Sorge über die beiden Kinder der Mutter zu und verpflichtete den Vater zur Bezahlung von zeitlich gestaffelten Kindesunterhaltsbeiträgen. Es bezifferte für sämtliche Perioden die jeweilige Unterdeckung bei beiden Kindern und stellte fest, dass der Vater keinen Betreuungsunterhalt leisten könne. Sowohl bei der Mutter als auch beim Vater ging es von einem hypothetischen Einkommen aus.
C.
C.a. Am 4. Juni 2020 erhob A.A._ am Obergericht des Kantons Aargau Berufung gegen das Scheidungsurteil. Soweit hier von Belang, beantragte er die Zuteilung der gemeinsamen elterlichen Sorge sowie die Aufhebung seiner Verpflichtung zur Zahlung von Kindesunterhalt verbunden mit der Feststellung, dass er kein Einkommen erziele.
C.b. Mit Entscheid vom 8. März 2021 hiess das Obergericht die Berufung insofern teilweise gut, als es den Eltern die elterliche Sorge über die beiden Kinder gemeinsam erteilte. Im Übrigen wies es das Rechtsmittel ab und erhöhte gar unter Berücksichtigung eines höheren hypothetischen Einkommens des Vaters die Kindesunterhaltsbeiträge (zzgl. Kinder- bzw. Ausbildungszulagen) wie folgt, sodass keine Unterdeckung mehr bestand:
- C.A._ Fr. 1'076.50 ab Rechtskraft des Scheidungs-
urteils bis 31. August 2023 (davon
Fr. 484.50 Betreuungsunterhalt)
Fr. 1'226.50 ab 1. September 2023 bis
31. August 2025
(davon Fr. 484.50 Betreuungsunter- halt)
Fr. 742.-- ab 1. September 2025 bis
31. Mai 2027
Fr. 692.-- ab 1. Juni 2027 bis zur Volljährigkeit bzw. bis zum Abschluss einer Erst- ausbildung
- D.A._ Fr. 1'076.50 ab Rechtskraft des Scheidungsur-
teils bis 31. August 2025 (davon
Fr. 484.50 Betreuungsunterhalt)
Fr. 742.-- ab 1. September 2025 bis
31. August 2028 (davon Fr. 484.50 Betreuungsunterhalt)
Fr. 692.-- ab 1. September 2028 bis zur Voll- jährigkeit bzw. bis zum Abschluss einer Erstausbildung
D.
D.a. Gegen den Berufungsentscheid hat A.A._ (Beschwerdeführer) am 6. Mai 2021 Beschwerde an das Bundesgericht erhoben. Er beantragt die Aufhebung der Dispositivziffern betreffend seine Unterhaltsverpflichtung und das ihm angerechnete Einkommen sowie die Kostenregelung im Berufungsverfahren, Letzteres unter Rückweisung der Streitsache an die Vorinstanz zur Neufestlegung der vorinstanzlichen Kosten. Eventualiter verlangt er die Rückweisung an die Vorinstanz zur weiteren Abklärung und Abnahme der beantragten Beweise. Ferner stellt der Beschwerdeführer ein Gesuch um unentgeltliche Rechtspflege.
D.b. Das Bundesgericht hat die kantonalen Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den Endentscheid einer letzten kantonalen Instanz, der Nebenfolgen der Ehescheidung, also eine Zivilsache zum Gegenstand hat (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG). Vor Bundesgericht streitig sind einzig vermögensrechtliche Aspekte. Der Streitwert übersteigt Fr. 30'000.-- (Art. 74 Abs. 1 lit. b i.V.m. <ref-law>). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde berechtigt und hat die Beschwerdefrist eingehalten (Art. 100 Abs. 1 i.V.m. <ref-law>). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
1.2. Die Beschwerde an das Bundesgericht ist grundsätzlich ein reformatorisches Rechtsmittel (<ref-law>). Daher muss sie einen Antrag in der Sache enthalten. Blosse Aufhebungsanträge genügen demgegenüber in der Regel nicht. Ausnahmsweise lässt es die Rechtsprechung genügen, dass ein kassatorisches Begehren gestellt wird, wenn sich aus der Begründung ergibt, was mit der Beschwerde angestrebt wird (<ref-ruling> E. 1.3; Urteil 1C_809/2013 vom 13. Juni 2014 E. 1, nicht publ. in: <ref-ruling>), oder wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 3.1).
Der Antrag des Beschwerdeführers in der Hauptsache ist rein kassatorischer Natur. Soweit er verlangt, die den Kindesunterhalt und das ihm angerechnete Einkommen betreffende Dispositivziffer sei aufzuheben, ist in Zusammenhang mit seinen Ausführungen allerdings klar, dass er überhaupt keinen Kindesunterhalt bezahlen will und bei sich von keinerlei Einkommen ausgeht. Sein Rechtsbegehren ist in diesem Sinne auszulegen, sodass darauf eingetreten werden kann.
1.3. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden. In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll (<ref-law>). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegen soll. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 mit Hinweis). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
1.4. Strengere Anforderungen gelten, wenn die Verletzung von verfassungsmässigen Rechten geltend gemacht wird. Das Bundesgericht prüft deren Verletzung nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; Rügeprinzip). Es prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen (<ref-ruling> E. 2.4).
1.5. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Gegen die tatsächlichen Feststellungen der Vorinstanz kann einzig vorgebracht werden, sie seien offensichtlich unrichtig, d.h. willkürlich (<ref-ruling> E. 2.3 mit Hinweis), oder sie würden auf einer anderen Rechtsverletzung im Sinne von <ref-law> (z.B. <ref-law> oder <ref-law>) beruhen. Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 4.2 mit Hinweis). Es gilt das strenge Rügeprinzip nach <ref-law> (<ref-ruling> E. 4.1). Das Bundesgericht prüft daher nur klar und detailliert erhobene und, soweit möglich, belegte Rügen, während es auf ungenügend substantiierte Rügen und rein appellatorische Kritik am Sachverhalt nicht eintritt (<ref-ruling> E. 5.4, 249 E. 1.3.1; <ref-ruling> E. 2.3; je mit Hinweisen). Tatfrage ist auch die Beweiswürdigung. Die Anfechtung der diesbezüglichen vorinstanzlichen Feststellungen unterliegt ebenfalls der qualifizierten Begründungspflicht (Urteil 5A_438/2018 vom 30. Oktober 2018 E. 1.3 mit Hinweis).
2.
Anlass zur Beschwerde geben die von der Vorinstanz festgelegten Kindesunterhaltsbeiträge.
2.1.
2.1.1. Der nicht erwerbstätige Beschwerdeführer vertrat vor beiden kantonalen Instanzen den Standpunkt, erwerbsunfähig zu sein. Sowohl das Bezirksgericht als auch die Vorinstanz rechneten ihm indessen ein hypothetisches Einkommen an. Während das Bezirksgericht von einem zumutbaren Beschäftigungsgrad von 70 % ausging und gestützt darauf ein Einkommen von Fr. 4'073.30 für tatsächlich erzielbar hielt, mutete die Vorinstanz dem Beschwerdeführer eine Erwerbstätigkeit von 100 % zu und erhöhte sein hypothetisches Einkommen entsprechend auf Fr. 5'819.--, woraus sich im Vergleich zum erstinstanzlichen Urteil höhere Kindesunterhaltsbeiträge ergaben.
2.1.2. Beide Instanzen stellten für die Beurteilung der Erwerbsfähigkeit des Beschwerdeführers massgeblich auf ein Gutachten von Dr. med. B._ vom 8. Juli 2018 ab, welches die SVA Aargau in Auftrag gegeben hatte, nachdem sie ein erstes IV-Rentengesuch des Beschwerdeführers am 17. Mai 2016 abgelehnt und dieser am 21. Dezember 2016 erneut ein Gesuch gestellt hatte. Gestützt auf das Gutachten lehnte die SVA Aargau auch das zweite Rentengesuch am 25. September 2018 ab, was das Versicherungsgericht des Kantons Aargau auf Beschwerde hin mit rechtskräftigem Urteil vom 20. Juni 2019 bestätigte.
2.2. Der Beschwerdeführer macht zum einen geltend, die Vorinstanz habe sein rechtliches Gehör verletzt, indem sie seine Arbeitsfähigkeit und damit die Kindesunterhaltsbeiträge von Amtes wegen erhöht habe, ohne den Parteien vorgängig angezeigt zu haben, dass eine Erhöhung in Betracht komme.
2.2.1. Er habe seine Erwerbsfähigkeit grundsätzlich bestritten und deshalb beantragt, mangels Einkommen sei auf die Festlegung von Kindesunterhaltsbeiträgen zu verzichten. Im Berufungsverfahren habe die Beschwerdegegnerin die vom Bezirksgericht festgelegte Arbeitsfähigkeit von 70 % anerkannt, weshalb er nicht mit einer Änderung der Kindesunterhaltsbeiträge nach oben habe rechnen müssen und zu diesem Punkt entsprechend keine Ausführungen gemacht habe. Die Vorinstanz wäre auch unter der Offizialmaxime gehalten gewesen, den Parteien anzuzeigen, dass eine Erhöhung in Betracht komme. Das Gleiche gelte für den von beiden Parteien anerkannten Bedarf, welchen betreffend der Beschwerdeführer keine Veranlassung gesehen habe, weitere Ausführungen zu machen, den die Vorinstanz dann aber modifiziert habe.
2.2.2. Tatsächlich kann es unter gehörsrechtlichen Aspekten (<ref-law>) problematisch sein, wenn eine Behörde einen abschlägigen Rechtsmittelentscheid auf ein Argument abstützt, das für den Rechtsunterworfenen überraschend kommt (vgl. <ref-ruling> E. 3.1; <ref-ruling> E. 4.1; <ref-ruling> E. 5b/bb). Dadurch wird der betreffenden Person nämlich unter Umständen die Möglichkeit genommen, Beweismittel in das Verfahren einzubringen, die für die rechtliche Würdigung der Angelegenheit relevant sein können; ebenso kann das Äusserungsrecht tangiert sein. Eine Gehörsverletzung kommt freilich nur dort in Betracht, wo der Rechtsunterworfene mit der betreffenden rechtlichen Argumentation nicht rechnen musste (Urteil 2C_329/2021 vom 21. September 2021 E. 4.2.1 mit Hinweisen).
2.2.3. Der Beschwerdeführer bezweckt mit seiner Beschwerde, seine Unterhaltspflicht gänzlich aufheben zu lassen. Die Beschwerdeschrift enthält kein (auch nur sinngemässes) Eventualbegehren, wonach die in erster Instanz gesprochenen Unterhaltsbeiträge zu bestätigen wären. Ebenso wenig erläutert der Beschwerdeführer, weshalb für den Fall, dass seine Erwerbsfähigkeit zu bejahen wäre, von einer solchen im Umfang von 70 % anstatt von 100 % auszugehen wäre. Damit ist nicht dargetan, inwiefern die behauptete Gehörsverletzung für die Beurteilung seiner gestellten Anträge entscheidrelevant sein soll. Eine Auseinandersetzung mit dieser Rüge erübrigt sich.
2.3. Selbiges gilt mit Blick auf die Rüge, die Vorinstanz habe die Verhandlungsmaxime verletzt, indem sie ohne entsprechende Anträge und Ausführungen der Parteien einen neuen Sachverhalt, d.h. eine 100 %-ige Arbeitsfähigkeit angenommen habe. Ohnehin übersieht der Beschwerdeführer hier, dass in Kinderbelangen die Untersuchungsmaxime auch im Rechtsmittelverfahren gilt (<ref-law>; vgl. <ref-ruling> E. 4.2.1).
2.4.
2.4.1. Weiter macht der Beschwerdeführer geltend, die Vorinstanz habe ihr Ermessen beim Entscheid über den Kindesunterhalt verletzt. Aufgrund der langjährigen Vorgeschichte sei festzustellen, dass der Beschwerdeführer zum jetzigen Zeitpunkt keinem Erwerb nachgehen könne. Die Vorinstanz habe die Akten offensichtlich falsch gewürdigt, indem sie von einer vollen Erwerbstätigkeit ausgegangen sei und ausser dem Bericht von Dr. med. B._ nichts berücksichtigt habe.
2.4.2. Zwar rügt der Beschwerdeführer eine falsche Ermessensausübung. Tatsächlich beanstandet er aber die Beweiswürdigung der Vorinstanz, wozu er eine Sachverhaltsrüge erheben müsste. Dies tut er nicht. Namentlich macht er nicht geltend, die Vorinstanz habe den Sachverhalt gestützt auf das Gutachten von Dr. med. B._ offensichtlich unrichtig festgestellt. Mangels Sachverhaltsrüge ist auf seine Ausführungen nicht einzugehen (vgl. vorne E. 1.5).
2.5. Alsdann rügt der Beschwerdeführer, die Vorinstanz habe sein rechtliches Gehör verletzt, indem sie seinen Beweisantrag abgewiesen habe, ein neues, medizinisches Gutachten einzuholen.
2.5.1. Die Vorinstanz wies den entsprechenden Beweisantrag mit der Begründung ab, der Beschwerdeführer habe nicht rechtsgenügend dargetan, inwiefern das Gutachten von Dr. med. B._ fehlerhaft sein solle, und es lägen auch keine Hinweise auf eine Fehlerhaftigkeit vor.
Der Gutachter diagnostizierte eine leicht- bis mittelgradige depressive Episode und stellte fest, der Beschwerdeführer sei spätestens ab dem Begutachtungszeitpunkt in der zuletzt ausgeübten Tätigkeit und in allen anderen vergleichbaren Tätigkeiten zu 70 % arbeitsfähig. Die mittelschwere depressive Phase, in der er sich befinde, sei hauptsächlich auf das Scheidungsverfahren zurückzuführen und gut therapierbar, sodass bei einer entsprechenden Therapie und Anpassung der medikamentösen Behandlung die Arbeitsfähigkeit spätestens innerhalb von zehn bis zwölf Wochen bis auf 100 % gesteigert werden könne. Die Vorinstanz erwog, Dr. med. B._ habe den Beschwerdeführer im Rahmen der Begutachtung einer umfassenden psychiatrischen Untersuchung unterzogen und sich eingehend mit seiner Krankengeschichte und den Erkenntnissen seiner behandelnden Ärzte sowie den subjektiven Beschwerdeangaben des Beschwerdeführers auseinandergesetzt. Seine Beurteilung der psychischen Beeinträchtigung sowie der Erwerbsfähigkeit des Beschwerdeführers habe er vollständig, nachvollziehbar und schlüssig dargelegt. Gestützt auf seine Erkenntnisse sei darum davon auszugehen, dass der Beschwerdeführer mit einer adäquaten Therapie und einer Anpassung der medikamentösen Behandlung nach zehn bis zwölf Wochen voll erwerbsfähig sei.
Der Beschwerdeführer habe nicht substantiiert dargelegt und es sei auch nicht ersichtlich, inwiefern sich seine gesundheitliche Situation seit der Erstattung des Gutachtens verändert haben solle, sodass für die Beurteilung seiner Erwerbsfähigkeit eine neuerliche Begutachtung erforderlich wäre. Auf seinen Antrag sei daher nicht weiter einzugehen.
2.5.2. Mithin wies die Vorinstanz den Beweisantrag in antizipierter Beweiswürdigung ab. Eine solche verträgt sich mit dem Anspruch auf Zulassung zum Beweis als Teilaspekt des rechtlichen Gehörs nur dann nicht, wenn der Makel der Willkür an ihr haftet, was es zu rügen gilt (<ref-ruling> E. 4.3.2 mit Hinweis; Urteil 5A_658/2014 vom 6. Mai 2015 E. 9.2).
2.5.3. Der Beschwerdeführer bemängelt, das Gutachten sei von der SVA Aargau und nicht im Scheidungsverfahren eingeholt worden. Ferner habe das Gutachten ein späteres Zeugnis der Klinik Barmelweid vom 12. Dezember 2018 gar nicht berücksichtigen können. Die Vorinstanz hätte von Amtes einen neuen Bericht der Klinik Barmelweid einholen müssen. Das vom 9. Juli 2018 datierende Gutachten berücksichtige naturgemäss die seitherige Entwicklung nicht.
2.5.4. Eine Willkürrüge erhebt der Beschwerdeführer mit diesen Beanstandungen nicht, sodass nicht ausgewiesen ist, inwiefern die Vorinstanz mit der in antizipierter Beweiswürdigung erfolgten Abweisung des Beweisantrags seinen Beweisanspruch verletzt haben soll. Im Übrigen steht allein der Umstand, dass es sich beim Gutachten von Dr. med. B._ nicht um eine vom Scheidungsgericht eingeholte Expertise handelt, deren Berücksichtigung im Scheidungsprozess nicht entgegen. In familienrechtlichen Verfahren, in denen das Gericht - wie hier - den Sachverhalt hinsichtlich der Kinderbelange von Amtes wegen erforscht, gilt der Freibeweis (<ref-law>; Urteil 5A_373/2018 vom 8. April 2019 E. 3.2.6 mit Hinweis).
2.6. Soweit der Beschwerdeführer sich am von der Vorinstanz formulierten Vorwurf stösst, er habe sich nicht mit der gebotenen Intensität um eine Arbeitsstelle bemüht, gehen seine Vorbringen nicht über unzulässige appellatorische Kritik hinaus (vgl. vorne E. 1.5). Auch verwechselt er in diesem Zusammenhang die Offizial- mit der Untersuchungsmaxime.
2.7. Zusammenfassend ergibt sich, dass der Beschwerdeführer den angefochtenen Entscheid nicht als bundesrechtswidrig auszuweisen vermag.
3.
Bei Abweisung der Beschwerde kann das Bundesgericht die Prozesskosten des Berufungsverfahrens nicht von Amtes wegen neu verlegen (vgl. Art. 67 und Art. 68 Abs. 5 BGG; Urteil 5A_158/2016 vom 1. November 2016 E. 4 mit Hinweis). Der Beschwerdeführer ficht zwar die vorinstanzliche Kostenregelung mit Bezug auf die Höhe der "Parteientschädigungen" - angesichts der nicht ganz leicht verständlichen Begründung ist wohl vielmehr die angemessene Entschädigung seines unentgeltlichen Rechtsbeistands gemeint - unabhängig vom hiesigen Verfahrensausgang an. Indessen stellt er hier kein beziffertes Rechtsbegehren, sodass auf die Beschwerde in diesem Punkt nicht einzutreten ist (<ref-ruling> E. 1.2 mit Hinweis).
4.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- (<ref-law>), nicht aber entschädigungspflichtig, zumal keine Vernehmlassungen eingeholt wurden (Art. 68 Abs. 1 und 2 BGG). Wie die vorstehenden Erwägungen zeigen, war die Beschwerde von Anfang an aussichtslos, sodass das Gesuch um unentgeltliche Rechtspflege abzuweisen ist (Art. 64 Abs. 1 in fine BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 15. Dezember 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Gutzwiller