Sachverhalt:
A.
A.a. B._ (geb. 1969; Beschwerdegegnerin) und A._ (geb. 1952; Beschwerdeführer) haben am 19. August 1998 geheiratet. Die Ehefrau ist die Mutter der aus einer früheren Beziehung stammenden volljährigen Tochter C._ (geb. 1992). Die Ehegatten trennten sich im November 2015.
A.b. Mit Urteil vom 15. Mai 2019 schied das Bezirksgericht Aarau auf Klage der Ehefrau hin die Ehe. Dabei verpflichtete es soweit hier interessierend A._ zu einer güterrechtlichen Ausgleichszahlung in der Höhe von Fr. 99'941.80 und verweigerte die Teilung der beruflichen Vorsorge. Die Zusprechung von nachehelichem Unterhalt an A._ lehnte das Bezirksgericht aufgrund offensichtlicher Unbilligkeit ab.
B.
Die von A._ gegen diesen Entscheid soweit die güterrechtliche Auseinandersetzung und den Vorsorgeausgleich betreffend eingereichte Berufung wies das Obergericht des Kantons Aargau mit Entscheid vom 23. April 2020 (eröffnet am 18. Mai 2020) ab.
C.
Mit Beschwerde in Zivilsachen vom 17. Juni 2020 gelangt A._ ans Bundesgericht. Er ersucht unter Kosten- und Entschädigungsfolgen darum, das Urteil des Obergerichts zufolge Verletzung von Ausstandsgründen aufzuheben und die Sache zu erneutem Entscheid unter Ausschluss der Mitglieder der 2. Kammer des Zivilgerichts an die Vorinstanz zurückzuweisen. In der Sache beantragt er zusammengefasst, es seien das Urteil des Obergerichts sowie teilweise das Urteil des Bezirksgerichts aufzuheben. Weiter sei festzustellen, dass die Parteien beim heutigen Besitzstand güterrechtlich per Saldo aller Ansprüche auseinandergesetzt seien, keine Partei der anderen etwas schulde und er der Ehefrau keine Zahlung über Fr. 99'941.80 zu leisten habe. Ferner sei der ordentliche Vorsorgeausgleich vorzunehmen und die Pensionskasse von B._ anzuweisen, die Hälfte des geäufneten Vorsorgegeldes (Fr. 54'054.--) auf das Konto von A._ zu überweisen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Ausserdem ersucht A._ für das bundesgerichtliche Beschwerdeverfahren um unentgeltliche Rechtspflege und Beiordnung seines Rechtsvertreters als unentgeltlicher Vertreter.
Das Bundesgericht hat die vorinstanzlichen Akten, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Angefochten ist der Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht auf Rechtsmittel hin (<ref-law>) über die Nebenfolgen einer Ehescheidung (güterrechtliche Auseinandersetzung; Vorsorgeausgleich) und damit eine Zivilsache nach <ref-law> entschieden hat. Der Streit ist vermögensrechtlicher Natur und der erforderliche Streitwert von Fr. 30'000.-- erreicht (Art. 74 Abs. 1 Bst. b sowie Art. 51 Abs. 1 Bst. a BGG). Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt. Auf die im Übrigen rechtzeitig (<ref-law>) eingereichte Beschwerde ist unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2. Der Beschwerdeführer beantragt die Aufhebung von Teilen des Urteils des Bezirksgerichts (vgl. vorne Bst. C). Dies ist mit Blick darauf, dass dieser Entscheid durch jenen des Obergerichts ersetzt worden und im Verfahren vor Bundesgericht nicht mehr Anfechtungsobjekt ist (Devolutiveffekt; <ref-ruling> E. 1.4), grundsätzlich unzulässig. Den übrigen Begehren sowie der Begründung der Beschwerde, die zu deren Auslegung beizuziehen ist (<ref-ruling> E. 1.3; <ref-ruling> E. 6.2), ergibt sich jedoch, dass es dem Beschwerdeführer letztlich um die Aufhebung bzw. Änderung des Urteils des Obergerichts geht. Die Beschwerde ist entsprechend entgegenzunehmen.
1.3. Im Zusammenhang mit dem Güterrecht möchte der Beschwerdeführer verschiedene Feststellungen treffen lassen (vgl. vorne Bst. C). Feststellungsbegehren sind im bundesgerichtlichen Verfahren nur zulässig, sofern an der Feststellung ein schutzwürdiges Interesse besteht und dieses nicht ebenso gut mit einem Leistungs- oder Gestaltungsbegehren gewahrt werden kann (<ref-law>; <ref-ruling> E. 1.7; <ref-ruling> E. 3.1). Der Beschwerdeführer begründet nicht, weshalb er (neben der Durchführung der güterrechtlichen Auseinandersetzung) ein Interesse an der Feststellung haben sollte, der Beschwerdegegnerin einen bestimmen Betrag nicht zu schulden (zur Begründungspflicht vgl. <ref-law>; Urteil 5A_1032/2019 vom 9. Juni 2020 E. 1.2). Auf die Beschwerde ist insoweit nicht einzutreten (vgl. auch <ref-ruling> E. 1a/aa). Unbedenklich ist dagegen der Antrag, es sei festzustellen, dass die Parteien beim heutigen Besitzstand güterrechtlich auseinandergesetzt seien und sich gegenseitig nichts schuldeten. Dies lässt sich unter Rückgriff auf die Beschwerdebegründung zwanglos als Antrag zur Durchführung der Auseinandersetzung verstehen (vgl. Urteil 5A_621/2012 vom 20. März 2013 E. 4.1).
2.
2.1. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden (<ref-law>). In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 1.7.1; <ref-ruling> E. 2, 115 E. 2).
2.2. Was den Sachverhalt angeht, legt das Bundesgericht seinem Urteil die vorinstanzlichen Feststellungen zugrunde (<ref-law>). Diesbezüglich kann die rechtsuchende Partei nur vorbringen, die vorinstanzlichen Feststellungen seien offensichtlich unrichtig, das heisst willkürlich (<ref-law>), oder würden auf einer anderen Bundesrechtsverletzung im Sinn von <ref-law> (z.B. Verletzung von <ref-law> oder <ref-law>) beruhen. In der Beschwerde ist überdies darzutun, inwiefern die Behebung der gerügten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es gilt das strenge Rügeprinzip nach <ref-law>. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen, während es auf ungenügend substanziierte Rügen und rein appellatorische Kritik am Sachverhalt nicht eintritt (<ref-ruling> E. 1.3.1; <ref-ruling> E. 2.3 S. 266).
Dieselben Rüge- und Begründungsvoraussetzungen gelten für das Vorbringen der Verletzung verfassungsmässiger Rechte (<ref-ruling> E. 5.1; <ref-ruling> E. 1.2.2).
3.
Der Beschwerdeführer rügt eine Verletzung der Ausstandsvorschriften von <ref-law>, da ein Ersatzrichter der mit der Sache befassten 2. Kammer des Zivilgerichts des Obergerichts in derselben Kanzlei tätig ist, wie der Vertreter der Beschwerdegegnerin. Aus demselben Grund hätten im Falle der Rückweisung der Sache sämtliche Mitglieder dieser Kammer in den Ausstand zu treten.
Der Beschwerdeführer bringt nicht vor, der betroffene Ersatzrichter sei mit der vorliegenden Sache befasst gewesen oder hätte auf andere Art und Weise tatsächlich auf die Willensbildung im Spruchkörper Einfluss genommen. Der Anschein der Befangenheit der urteilenden Gerichtsmitglieder lässt sich aber nicht aus dem Umstand allein ableiten, dass eine (gegebenenfalls) als Parteivertreterin mit der Sache bereits befasste Person in Drittverfahren ein Ersatzrichteramt am urteilenden Gericht bekleidet (<ref-ruling> Regeste und E. 5; Urteil 2C_455/2020 vom 2. Dezember 2020 E. 5.2.1, zur Publ. bestimmt). Die Beschwerde erweist sich in diesem Punkt als unbegründet und es braucht nicht mehr geprüft zu werden, ob der Beschwerdeführer den Ausstandsgrund überhaupt rechtzeitig geltend gemacht hat (<ref-law>; <ref-ruling> E. 2.4; <ref-ruling> E. 3.2.1).
4.
4.1. In der Sache strittig sind der Vorsorgeausgleich (<ref-law>; hinten E. 5) und die güterrechtliche Auseinandersetzung (<ref-law>; sogleich E. 4). Zum Güterrecht gibt der Beschwerdeführer Auszüge aus verschiedenen Eingaben des kantonalen Verfahrens in Zitatform wieder, so aus der Klageantwort vom 22. Februar 2018 und der Berufung vom 31. Oktober 2019. Wie ausgeführt müssen in der Beschwerde ans Bundesgericht die geltend gemachten Rechts- oder Verfassungsverletzungen in Auseinandersetzung mit dem angefochtenen Entscheid aufgezeigt werden (vorne E. 2). Diese Voraussetzungen erfüllt die wörtliche Wiedergabe der im kantonalen Verfahren eingenommenen Standpunkte von vornherein nicht (<ref-ruling> E. 5.2; <ref-ruling> E. 2.3; Urteil 4A_578/2020 vom 25. Januar 2021 E. 6). Auf die Beschwerde ist insoweit nicht einzutreten.
Freilich macht der Beschwerdeführer in diesem Zusammenhang ausserdem eine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) geltend, weil das Obergericht auf die in den fraglichen Passagen vorgebrachten Argumente nicht eingegangen sei und sich auch nicht zu seinen zahlreichen Beweisanträgen geäussert habe. Auch hier fragt sich, ob der Beschwerdeführer sich mit seinen sehr pauschal gehaltenen Vorbringen und ohne auf die einzelnen Gehörsverletzungen und ihre Auswirkungen (Urteil 5A_733/2019 vom 28. Oktober 2019 E. 3.3 mit Hinweisen) einzugehen, die Beschwerde hinreichend begründet. Ohnehin verkennt der Beschwerdeführer aber, dass das Obergericht sich nicht mit jedem seiner Vorbringen und Behauptungen auseinandersetzen musste, um den Anforderungen des Gehörsanspruchs gerecht zu werden (<ref-ruling> E. 3.2.4; <ref-ruling> E. 1.3.1).
4.2. Das Obergericht kam zum Güterrecht zusammengefasst zum Schluss, der Beschwerdeführer habe in erheblichem Umfang Gelder, welche die Beschwerdegegnerin als Erbvorbezug erhalten habe, ohne deren Einwilligung behändigt und ausser für einen Betrag von rund Fr. 40'000.-- nicht nachgewiesen, dass er das Geld für die Belange der Familie verwendet habe. Entsprechend wies es die Berufung ab und bestätigte die erstinstanzliche Verpflichtung des Beschwerdeführers zu einer Zahlung von Fr. 99'941.80.
Der Beschwerdeführer rügt im Wesentlichen eine Verletzung von <ref-law>, wonach derjenige das Vorhandensein einer Tatsache zu beweisen hat, der aus ihr Rechte ableitet. Die Beschwerdegegnerin habe nicht bestritten, dass der Ehemann sämtliche finanzielle Angelegenheiten der Familie erledigt und über eine Vollmacht für ihr Konto verfügt habe. Sodann habe sie um die prekäre finanzielle Situation des Beschwerdeführers sowie dessen Arbeitslosigkeit gewusst. Die Familie habe vom Einkommen der Ehefrau gelebt. Unter diesen Umständen hätte der Beschwerdegegnerin der Nachweis oblegen, dass der Beschwerdeführer ihr Geld nicht für die Belange der Familie ausgegeben habe, und nicht umgekehrt. Soweit die Vorinstanzen sodann der Ansicht gewesen seien, es fehlten Urkunden für die Beurteilung der vermögensrechtlichen Scheidungsfolgen, hätten sie die Parteien zu deren Nachreichung auffordern müssen. <ref-law> sei aber auch verletzt, weil die Vorinstanz verschiedentlich Beweise ignoriert oder falsch gewürdigt habe (Stieftochter als Zeugin, Postbüchlein).
4.3. Diese weitgehend appellatorischen Ausführungen zum Sachverhalt genügen dem in diesem Bereich anwendbaren strengen Rügeprinzip nach <ref-law> nicht (vgl. vorne E. 2.2). Der Pflicht zur hinreichenden Begründung der Beschwerde kommt der Beschwerdeführer aber auch dort nicht nach, wo er dem Obergericht eine falsche Rechtsanwendung vorwirft: Er begnügt sich damit, seine Sicht der Dinge darzulegen und unterlässt eine Auseinandersetzung mit dem angefochtenen Entscheid und der Argumentation der Vorinstanz (vgl. vorne E. 2.1). Dies gilt auch insoweit, als der Beschwerdeführer eine Verletzung von Art. 3 und 4 ZGB geltend macht, ohne sich hierzu über die blosse Nennung der Gesetzesbestimmungen hinausgehend zu äussern. Gänzlich appellatorisch ist die Beschwerde sodann insoweit, als sie Ausführungen des Beschwerdeführers persönlich und nicht von dessen Rechtsvertreter enthält. Auf die Beschwerde ist auch insoweit nicht einzutreten.
5.
5.1. Das Obergericht verweigerte den Ausgleich der Ansprüche der Ehefrau aus beruflicher Vorsorge, weil eine besonders schockierende Situation gegeben sei und eine hälftige Teilung unbillig wäre. Die Unbilligkeit sah es darin, dass der Beschwerdeführer während der Ehe weder erwerbstätig gewesen sei noch im Haushalt mitgeholfen habe, sich gleichzeitig aber das Eigengut der Beschwerdegegnerin angeeignet und eine erhebliche Verschuldung der Familie herbeigeführt habe.
5.2. Auch in diesem Zusammenhang ist der Beschwerdeführer vorab nicht mit den vorinstanzlichen Sachverhaltsfeststellungen einverstanden und rügt, es sei kein Beweis dafür vorhanden, dass er das Erbe der Beschwerdegegnerin "abgezügelt" und auf einem "Konto parkiert" habe. Er habe die Beschwerdegegnerin nicht um ihr Erbe gebracht. Vielmehr hätten die Ehegatten das Geld ausgegeben. Den Beschwerdeführer treffe keinerlei "eherechtliches Verschulden". Ein solches ergebe sich insbesondere auch nicht aus dem Umstand, dass er ab dem Jahr 2004 zufolge seiner "wirtschaftlichen Zerstörung" den Haushalt geführt habe. Die Vorinstanz habe auch zu Unrecht auf die Zeugenaussage der Tochter der Ehefrau abgestellt. Wenn die kantonalen Instanzen derartige Aussagen berücksichtigten, müsse "man sich dann schon fragen".
Auch insoweit beschränkt der Beschwerdeführer sich darauf, in appellatorischer Art und Weise seine eigene Sichtweise der Dinge darzulegen und geht er, soweit er überhaupt die notwendigen Rügen erhebt, nicht hinreichend auf das angefochtene Urteil ein. Dies gilt auch, soweit er in diesem Zusammenhang ebenfalls eine Verletzung von <ref-law> erwähnt. Es kann auf das vorstehend Ausgeführte verwiesen werden (vgl. vorne E. 2.2 und 4.2). Die von der Vorinstanz festgestellten tatsächlichen Grundlagen vermag der Beschwerdeführer auf diese Weise nicht in Frage zu stellen.
5.3. Die Beschwerde erweist sich damit auch als unbegründet, soweit der Beschwerdeführer ausgehend von seiner eigenen Sachverhaltsdarstellung (unauffälliges Eheleben) das Vorliegen eines wichtigen Grundes für die Verweigerung der hälftigen Teilung des Vorsorgeguthabens der Ehefrau verneint.
Ebenfalls hilft es dem Beschwerdeführer nicht weiter, wenn er sich diesbezüglich auf die Selbstverantwortung der Ehefrau beruft und geltend macht, diese könne nicht nach 20 Ehejahren die "Unwissende spielen", zumal ihre berufliche Stellung sie befähigt habe, die Finanzlage der Familie zu überblicken: Er missachtet die Feststellung des Obergerichts, dass die Beschwerdegegnerin dem Beschwerdeführer geradezu "hörig" war und von diesem bewusst und systematisch von den finanziellen Angelegenheiten der Familie ausgeschlossen wurde. Von vornherein nichts für sich abzuleiten vermag der Beschwerdeführer im Übrigen aus der im angefochtenen Urteil wiedergegebenen Minderheitsmeinung eines Mitglieds des vorinstanzlichen Spruchkörpers (vgl. ERNST, Abstimmungen in Richterkollegien, in: «Justice-Justiz-Giustizia» 2012/4 Rz. 39).
5.4. Der Beschwerdeführer verweist zuletzt auf die wirtschaftliche Situation der Parteien nach der Scheidung. Nicht nur müsse die Beschwerdegegnerin ihm trotz eines wesentlich höheren Einkommens keinen nachehelichen Unterhalt bezahlen (vgl. vorne Bst. A.b) und werde er, der Beschwerdeführer, zu einer hohen güterrechtlichen Ausgleichszahlung verurteilt (vgl. vorne E. 4). Vielmehr verfüge der Beschwerdeführer auch über kein Vermögen und habe hohe Schulden. <ref-law> sei in dieser Situation nicht anwendbar. Ausserdem verstosse das vorinstanzliche Urteil gegen den Grundsatz der "Gleichberechtigung der Geschlechter".
Gemäss <ref-law> kann das Gericht dem berechtigten Ehegatten weniger als die Hälfte der Austrittsleistung zusprechen oder die Teilung ganz verweigern, wenn wichtige Gründe vorliegen (zum Grundsatz der hälfigen Teilung vgl. Art. 122 und Art. 123 Abs. 1 ZGB). Im Leitentscheid <ref-ruling> E. 5 hat das Bundesgericht dargelegt, unter welchen Voraussetzungen aufgrund des Verhaltens eines Ehegattens während der Ehe ein solcher wichtiger Grund vorliegt. Hiervon hat die Vorinstanz sich leiten lassen, was wie dargelegt zu keinen Beanstandungen Anlass gibt (vgl. E. 5.2 und 5.3 hiervor). Ist dergestalt ein wichtiger Grund gegeben, um von der (hälftigen) Teilung abzusehen, kann diese rechtsprechungsgemäss unbesehen darum verweigert werden, dass der betroffene Ehegatte selbst keine ausreichende berufliche Vorsorge aufweist (<ref-ruling> E. 5.4; Urteil 5A_694/2018 vom 11. November 2019 E. 4.1). Dementsprechend vermag dem Beschwerdeführer der Hinweis, er verfüge nach der Scheidung nicht mehr über eine hinreichende finanzielle Absicherung, nicht weiterzuhelfen. Der Beschwerdeführer kann auch aus dem Hinweis auf den Grundsatz der Gleichberechtigung von Mann und Frau (<ref-law>) nichts für sich ableiten: Dieses Grundrecht richtet sich mit Ausnahme des Anspruchs auf gleichen Lohn für gleichwertige Arbeit an den Staat und entfaltet keine direkte Drittwirkung zwischen privaten Parteien. Es kann im vorliegenden Verfahren daher nicht angerufen werden (Urteil 5A_890/2020 vom 2. Dezember 2020 E. 5 mit Hinweisen).
6.
Nach dem Ausgeführten ist die Beschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Parteientschädigung ist keine zu sprechen, da der obsiegenden Beschwerdegegnerin mangels Einholens einer Vernehmlassung keine entschädigungspflichtigen Kosten entstanden sind (Art. 68 Abs. 1 und 2 BGG). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung ist abzuweisen, da die Beschwerde nach dem Ausgeführten und insbesondere unter Berücksichtigung des Umstands, dass sie in weiten Teilen den formellen Anforderungen der Beschwerde in Zivilsachen nicht entspricht, als von Anfang an aussichtlos beurteilt werden muss (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 12. Februar 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber