Sachverhalt:
A.
A.a. A.A._ (geb. 1979) und B.A._ (geb. 1988) sind verheiratet und Eltern des Sohnes C.A._ (geb. 2008). Sie leben seit dem 4. August 2017 getrennt. Mit Eheschutzentscheid des Bezirksgerichts Laufenburg vom 23. Juli 2018 wurde C.A._ unter die Obhut der Mutter gestellt und der Vater zur Leistung von Kindes- und persönlichem Unterhalt (Fr. 1'140.-- bzw. Fr. 95.-- pro Monat) verpflichtet.
A.b. Mit Eingabe vom 8. Oktober 2019 stellte A.A._ beim Bezirksgericht Laufenburg ein Abänderungsbegehren, wobei festzustellen sei, dass er dem Sohn und der Ehefrau keinen Unterhalt schulde. Daneben stellte er ein Gesuch um unentgeltliche Rechtspflege. Die Ehefrau verlangte nebst der Abweisung des Begehrens ein Annäherungs- und Kontaktverbot, wobei letzteres superprovisorisch angeordnet wurde. Mit Entscheid vom 31. März 2020 wies das Bezirksgericht Laufenburg das Gesuch um Abänderung ab, regelte das Besuchsrecht des Kindsvaters, befristete die superprovisorischen Massnahmen und erteilte beiden Parteien die unentgeltliche Rechtspflege.
B.
Dagegen erhob A.A._ Berufung beim Obergericht des Kantons Aargau, wobei er seine Anträge um Abänderung der Unterhaltsbeiträge wiederholte. Weiter verlangte er auch für das Berufungsverfahren die unentgeltliche Rechtspflege und Verbeiständung. Mit Entscheid vom 22. Oktober 2020 wies das Obergericht die Berufung ab. Die Entscheidgebühr (Fr. 2'000.--) auferlegte es A.A._ und verpflichtete ihn zur Bezahlung von Parteikosten (Fr. 1'346.25). Das Rechtspflegegesuch von A.A._ wies das Obergericht ab.
C.
Mit Eingabe vom 4. Dezember 2020 gelangt A.A._ (Beschwerdeführer) an das Bundesgericht. Er beantragt, es sei ihm für das obergerichtliche Verfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren und der Kostenpunkt des angefochtenen Urteils entsprechend anzupassen; eventualiter sei die Sache zwecks Erlass eines neuen Entscheids zurückzuweisen. Sodann ersucht der Beschwerdeführer auch für das bundesgerichtliche Verfahren um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Das Bundesgericht hat die Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Beschwerde richtet sich gegen den Entscheid einer letzten kantonalen Instanz (<ref-law>), mit welchem diese die Abweisung des Armenrechtsgesuchs des Beschwerdeführers für das kantonale Berufungsverfahren abgewiesen hat. Da der Entscheid zusammen mit dem Urteil in der Hauptsache ergangen ist, handelt es sich nicht um einen Zwischenentscheid (vgl. Urteil 5A_766/2018 vom 19. Dezember 2018 E. 1 mit Hinweis), sondern um einen selbständig anfechtbaren Nebenpunkt des Endentscheides in der Hauptsache (Urteil 5A_174/2016 vom 26. Mai 2016 E. 1 mit Hinweisen; vgl. zur Ausnahme vom Erfordernis der double instance <ref-ruling> E. 1.1 S. 42; <ref-ruling> E. 2.2 S. 426; je mit Hinweisen). Nebenpunkte können, wie Zwischenentscheide, mit dem für die Hauptsache zulässigen Rechtsmittel angefochten werden (<ref-ruling> E. 1.2 S. 47 f.). Dort dreht sich der Streit um die Abänderung von Unterhaltsbeiträgen, also um eine Zivilsache (<ref-law>) vermögensrechtlicher Natur. Der Streitwert der Begehren, die diesbezüglich vor der Vorinstanz streitig waren, übersteigt gemäss angefochtenem Entscheid den gesetzlichen Mindestbetrag von Fr. 30'000.-- (<ref-law>). Die Beschwerdefrist (Art. 100 Abs. 1 i.V.m. <ref-law>) ist eingehalten und der Beschwerdeführer zur Beschwerde berechtigt (<ref-law>). Die Beschwerde in Zivilsachen steht grundsätzlich offen.
2.
Hintergrund des Streits bildet das Gesuch um Abänderung der im Eheschutzverfahren festgelegten Unterhaltsbeiträge (Art. 176 Abs. 1 Ziff. 1 i.V.m. <ref-law>). Damit kann der Beschwerdeführer auch im Streit um das diesbezügliche Recht auf unentgeltliche Rechtspflege vor Bundesgericht nur die Verletzung verfassungsmässiger Rechte geltend machen (<ref-law>). Zu beachten ist dabei das (strenge) Rügeprinzip (<ref-law>; s. dazu <ref-ruling> E. 5.1 S. 319; <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2.2 S. 246).
3.
Umstritten ist, ob das Obergericht das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das Berufungsverfahren mangels genügend belegter Bedürftigkeit abweisen durfte. Der Beschwerdeführer rügt diesbezüglich die Verletzung von <ref-law>, <ref-law> und <ref-law>.
3.1. Das Obergericht erwog, der Beschwerdeführer habe sich über seine Einkünfte zum Zeitpunkt der Gesuchseinreichung im April 2020 nicht ausgewiesen. Die Bescheinigungen der Gemeinde U._ betreffend Ausrichtung von Sozialhilfe würden die ersten fünf Monate des Jahres 2019 betreffen. Damit würde die finanzielle Situation des Beschwerdeführers zum massgeblichen Zeitpunkt der Gesuchseinreichung im Dunkeln liegen. Sein Gesuch um unentgeltliche Rechtspflege sei daher abzuweisen.
3.2.
3.2.1. Gemäss <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit zur Wahrung ihrer Rechte notwendig, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Mit <ref-law> wird der als verfassungsrechtliche Minimalgarantie in <ref-law> verankerte Anspruch auf unentgeltliche Rechtspflege und Verbeiständung auf Gesetzesstufe geregelt (<ref-ruling> E. 2.2.3 S. 218). Der verfassungsmässige Anspruch besteht unabhängig von der gesetzlichen Regelung; er kann unmittelbar geltend gemacht werden (Urteil 5D_76/2015 vom 5. Oktober 2015 E. 4.1 mit Hinweis).
3.2.2. Als bedürftig im Sinne von <ref-law> gilt eine Person dann, wenn sie die Kosten eines Prozesses nicht aufzubringen vermag, ohne jene Mittel anzugreifen, die für die Deckung des eigenen notwendigen Lebensunterhalts und desjenigen ihrer Familie erforderlich sind. Die prozessuale Bedürftigkeit beurteilt sich grundsätzlich nach der gesamten wirtschaftlichen Situation des Rechtsuchenden im Zeitpunkt der Einreichung des Gesuchs. Dazu gehören einerseits sämtliche finanziellen Verpflichtungen, anderseits die Einkommens- und Vermögensverhältnisse (vgl. zum Ganzen <ref-ruling> E. 5.1 S. 223 f.; Urteil 5A_463/2017 vom 10. Juli 2018 E. 5.2).
3.2.3. Der Gesuchsteller hat zur Glaubhaftmachung seiner Bedürftigkeit seine Einkommens- und Vermögensverhältnisse umfassend darzustellen und soweit möglich auch zu belegen (<ref-ruling> E. 3a S. 181 f. mit Hinweis). Insoweit trifft ihn eine umfassende Mitwirkungsobliegenheit (Urteile 5A_463/2017 vom 10. Juli 2018 E. 5.4; 5A_75/2017 vom 19. Januar 2018 E. 4.1; 5A_761/2014 vom 26. Februar 2015 E. 3.2). Dabei dürfen umso höhere Anforderungen an eine umfassende und klare Darstellung der finanziellen Situation durch den Gesuchsteller selbst gestellt werden, je komplexer diese Verhältnisse sind. Das Gericht hat den Sachverhalt aber immerhin dort weiter abzuklären, wo Unsicherheiten und Unklarheiten bestehen, und es hat allenfalls unbeholfene Rechtsuchende auf die Angaben hinzuweisen, die es zur Beurteilung des Gesuchs benötigt. Bei einer anwaltlich vertretenen Partei ist das Gericht nach <ref-law> aber nicht verpflichtet, eine Nachfrist anzusetzen, um ein unvollständiges oder unklares Gesuch zu verbessern. Wenn der anwaltlich vertretene Gesuchsteller seinen Obliegenheiten nicht (genügend) nachkommt, kann das Gesuch mangels ausreichender Substantiierung oder mangels Bedürftigkeitsnachweises abgewiesen werden (Urteile 5A_502/2017 vom 15. August 2017 E. 3.2 f.; 5A_327/2017 vom 2. August 2017 E. 4.1.3; 5A_49/2017 vom 18. Juli 2017 E. 3.2; 5A_142/2015 vom 5. Januar 2016 E. 3.7).
3.3. Nach dem Ausgeführten sind die Erwägungen der Vorinstanz nicht zu beanstanden: Der anwaltlich vertretene Beschwerdeführer legte seinem Gesuch um Gewährung der unentgeltlichen Rechtspflege zum Nachweis seiner Bedürftigkeit einzig die Sozialhilfe-Entscheide der Gemeinde U._ vom 22. Januar 2019 (Zusprechung Sozialhilfe ab Februar 2019) bzw. 11. April 2019 (Neuberechnung Sozialhilfe ab Mai 2019) bei, die im massgeblichen Zeitpunkt der Gesuchseinreichung (April 2020) bereits (über) ein Jahr alt waren. Wie das Obergericht zutreffend ausführt, kann gestützt auf diese Entscheide höchstens eine Aussage betreffend die ersten Monate des Jahres 2019 gemacht werden. Dass das Obergericht dabei von den "ersten fünf Monaten des Jahres 2019" spricht, beruht wohl auf einem Versehen. Gemeint sein müssen die Monate Februar 2019 bis Mai 2019, da aufgrund der genannten Belege für diese Zeitspanne von der tatsächlichen Überweisung der Sozialhilfebeträge ausgegangen werden kann. Diese Ungenauigkeit ändert nichts daran, dass für die Zeit ab Juni 2019 mangels einschlägigen Belegen offen ist, welche Beträge dem Beschwerdeführer effektiv ausbezahlt worden sind. Ob die Sozialhilfebeiträge jeweils unbefristet ausgesprochen werden oder nicht, spielt dabei - entgegen den Aussagen des Beschwerdeführers - keine Rolle, zumal die Zusprechung nichts über den effektiven Erhalt dieser Leistungen aussagt. Es hätte dem anwaltlich vertretenen Beschwerdeführer bewusst sein müssen und wäre ihm ein Leichtes gewesen, Bankauszüge und eine aktuelle Bestätigung über den Sozialhilfebezug einzureichen. Dies zeigt sich nur schon daran, dass er solche Belege dem Bundesgericht im Zusammenhang mit dem für das vorliegende Verfahren gestellten Rechtspflegegesuch einreicht.
Ferner ist kein Widerspruch darin zu sehen, dass das Obergericht in Bezug auf die Unterhaltsbeiträge feststellte, der Beschwerdeführer sei im Zeitpunkt des Eheschutzentscheides (23. Juli 2018) bzw. bei Einreichung der Abänderungsklage (8. Oktober 2019) stellenlos und sozialhilfeabhängig gewesen, zumal dies das Erfordernis, im Zusammenhang mit dem Rechtspflegegesuch, das vorliegend im April 2020 erfolgte, aktuelle und vollständige Unterlagen zur finanziellen Situation einzureichen, nicht aufhebt.
Sodann schlägt auch der geltend gemachte Vorwurf des überspitzen Formalismus fehl. Wie der Beschwerdeführer zwar zutreffend hinweist, hat das Bundesgericht im Urteil 5A_761/2014 vom 26. Februar 2015 E. 3.3 und E. 3.4 ausgeführt, gewisse Anforderungen an die Unterlagen im Zusammenhang mit der Gesuchseinreichung könnten sich als übertrieben formalistisch erweisen, wenn sich die Bedürftigkeit aus den Akten ergebe. Der Beschwerdeführer übersieht dabei jedoch, dass es im zitierten Entscheid um die Frage ging, welche Art von Belegen zu den Finanzen bei der Gesuchsprüfung zugelassen sind. Vorliegend besteht der Mangel jedoch nicht in der Art des Beleges, sondern darin, dass die Unterlagen nicht vollständig bzw. aktuell sind. Insoweit ergibt sich die Bedürftigkeit eben gerade nicht in genügender Weise aus den Akten. Entgegen der Auffassung des Beschwerdeführers durfte er unter diesen Umständen - zumal anwaltlich vertreten - nicht darauf vertrauen, dass die eingereichten Belege ausreichen bzw. das Obergericht im Zweifelsfall nachfragen würde (vgl. E. 3.2.3). Auch ist der Hinweis des Beschwerdeführers, wonach die erste Instanz sein Gesuch um unentgeltliche Rechtspflege bewilligt habe, unbehelflich, da dieser Entscheid für das Obergericht in keiner Weise verbindlich ist. Schliesslich lässt sich aus dem Hinweis des Beschwerdeführers, dass der Vermögensfreibetrag nach der aargauischen Sozialhilfe- und Präventionsverordnung (SPV) tiefer als der sog. Notgroschen bei der unentgeltlichen Rechtspflege liege, nichts zu seinen Gunsten ableiten, da das Obergericht nichts Gegenteiliges behauptet.
Unter diesen Gesichtspunkten kann dem Obergericht kein Vorwurf gemacht werden, dass es die eingereichten Unterlagen zur finanziellen Situation nicht genügen liess und das Gesuch um unentgeltliche Rechtspflege abwies. Es verletzte weder <ref-law> noch <ref-law>. Es handelte auch nicht überspitzt formalistisch oder im Widerspruch zum Grundsatz von Treu und Glauben.
3.4. Soweit der Beschwerdeführer darüber hinaus die Verletzung von <ref-law> einzig damit begründet, ihm sei eine "gerechte Behandlung seiner Sache" verweigert worden, genügt er den strengen Begründungsanforderungen nicht (vgl. E. 2). Darauf ist nicht weiter einzugehen.
4.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist. Damit wird der Beschwerdeführer kosten- (<ref-law>), nicht aber entschädigungspflichtig (<ref-law>). Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das betreffende Gesuch abzuweisen ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 3. März 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Scheiwiller