Sachverhalt:
A.
A.A._ und B.A._ (Gesuchsteller, Beschwerdeführer) reichten mit Eingabe vom 13. Januar 2020 bei der Schlichtungsbe hörde für Miete und Pacht des Bezirks U._ ein Schlichtungsgesuch betreffend Anfechtung einer einseitigen Vertragsänderung gegen ihren Vermieter ein. Sie stellten gleichzeitig ein Gesuch um Bewilligung der unentgeltlichen Rechtspflege samt Bestellung eines unentgeltlichen Rechtsbeistands.
B.
Mit Verfügung vom 20. Februar 2020 erwog die Präsidentin der Schlichtungsbehörde, es sei zwar erstellt, dass die Gesuchsteller finanziell bedürftig seien und das Verfahren erscheine nicht als aussichtslos. Allerdings handle es sich um ein unentgeltliches Verfahren, weshalb ohnehin keine Gerichtskosten anfallen würden. Für die Bestellung eines unentgeltlichen Rechtsvertreters sei zusätzlich erforderlich, dass der Beizug eines solchen zur Wahrung der Rechte tatsächlich notwendig sei. Das sei vorliegend nicht der Fall. Entsprechend wies die Präsidentin das Gesuch ab.
Die dagegen von den Gesuchstellern erhobene Beschwerde wies das Obergericht des Kantons Aargau mit Entscheid vom 4. Mai 2020 ab.
C.
Gegen den Entscheid des Obergerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragen, der Entscheid des Obergerichts sei aufzuheben und den Beschwerdeführern sei für die Verfahren vor der Mietschlichtungsstelle, dem Obergericht und dem Bundesgericht die unentgeltliche Rechtspflege zu gewähren und ihnen sei Rechtsanwalt Peter Steiner als unentgeltlicher Rechtsvertreter zu bestellen.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 mit Hinweisen).
1.2. Nach <ref-law> ist die Beschwerde gegen selbstständig eröffnete Zwischenentscheide zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können. Mit dem angefochtenen Entscheid wies die Vorinstanz die Beschwerde gegen den die unentgeltliche Rechtspflege verweigernden erstinstanzlichen Entscheid ab. Derartige Entscheide bewirken in der Regel einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> (<ref-ruling> E. 4 S. 338; <ref-ruling> E. 1.1 S. 131).
1.3. Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1 S. 382; <ref-ruling> E. 2.2).
In der Hauptsache geht es um die Anfechtung einer einseitigen Mietvertragsänderung durch den Vermieter. Der angefochtene Entscheid enthält keine weiteren Angaben zur Hauptsache, insbesondere nicht zum Streitwert (entgegen <ref-law>). Es kann daher gestützt auf den vorinstanzlichen Entscheid nicht ermittelt werden, ob der für die Beschwerde in Zivilsachen in mietrechtlichen Angelegenheiten erforderliche Streitwert von Fr. 15'000.-- (<ref-law>) erreicht wird. Auch die Beschwerdeführer machen in ihrer Beschwerdeschrift diesbezüglich keine Angaben, sondern merken lediglich an, dass die Beschwerde zumindest als subsidiäre Verfassungsbeschwerde anhand zu nehmen sei. Demnach ist die Beschwerde als solche zu behandeln (<ref-law>).
2.
Mit der Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 117 in Verbindung mit <ref-law>). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2; je mit weiteren Hinweisen).
3.
Vor Bundesgericht ist einzig zu klären, ob den Beschwerdeführern für das Schlichtungsverfahren ein unentgeltlicher Rechtsbeistand zu bestellen ist.
3.1. Nach <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit zur Wahrung ihrer Rechte notwendig, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand.
Die bedürftige Partei hat Anspruch auf unentgeltliche Verbeiständung, wenn ihre Interessen in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bietet, die den Beizug eines Rechtsvertreters erforderlich machen. Droht das in Frage stehende Verfahren besonders stark in die Rechtsposition der betroffenen Person einzugreifen, ist die Bestellung eines unentgeltlichen Rechtsvertreters grundsätzlich geboten, andernfalls nur, wenn zur relativen Schwere des Falles besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Gesuchsteller auf sich alleine gestellt nicht gewachsen wäre (<ref-ruling> E. 2.1 S. 301; <ref-ruling> E. 2.2; <ref-ruling> E. 2.5.2 S. 232 f.; Urteile 5A_654/2019 vom 14. Mai 2020 E. 4.1; 5A_565/2019 vom 19. Dezember 2019 E. 2.3.1; 5A_242/2018 vom 24. August 2018 E. 2.2).
Dabei sind neben der Komplexität der Rechtsfragen und der Unübersichtlichkeit des Sachverhalts auch in der betroffenen Person liegende Gründe zu berücksichtigen, so das Alter, die soziale Situation, Sprachkenntnisse und allgemein die Fähigkeit, sich im Verfahren zurechtzufinden (BGE <ref-ruling> E. 2.5.2 S. 233; <ref-ruling> E. 2b/cc S. 147; Urteile 5A_565/2019 vom 19. Dezember 2019 E. 2.3.1; 5A_242/2018 vom 24. August 2018 E. 2.2; 4D_35/2017 vom 10. Oktober 2017 E. 4.2). Massgebend ist auch das Prinzip der Waffengleichheit (<ref-ruling> E. 2 S. 28; Urteile 5A_565/2019 vom 19. Dezember 2019 E. 2.3.3; 4D_35/2017 vom 10. Oktober 2017 E. 4.2). Allerdings gibt es auch in einem Fall, in dem die Gegenpartei anwaltlich vertreten ist, keinen Automatismus der Gewährung der unentgeltlichen Verbeiständung, sondern es sind alle Umstände des Einzelfalles zu prüfen (Urteile 4D_35/2017 vom 10. Oktober 2017 E. 4.3; 8C_292/2012 vom 19. Juli 2012 E. 8.3; 4A_20/2011 vom 11. April 2011 E. 8.2.2; 5A_145/2010 vom 7. April 2010 E. 3.5).
3.2. Eine besonders schwere Betroffenheit, bei welcher die Bestellung eines unentgeltlichen Rechtsvertreters auch ohne rechtliche oder tatsächliche Schwierigkeiten geboten ist, stellt im Zivilrecht die Ausnahme dar (vgl. etwa Verfahren um die Obhut eines Kindes: BGE <ref-ruling> E. 3.3.2; Urteile 5A_597/2010 vom 6. Oktober 2010 E. 2.2; 5A_692/2009 vom 5. Januar 2010 E. 3.1). Bei Zivilverfahren um zentrale Aspekte des Lebens, wie Persönlichkeit, Ehe, Familie, Wohnung oder Arbeit, handelt es sich zwar grundsätzlich um keine Bagatellen, bei welchen die Notwendigkeit einer anwaltlichen Vertretung von vornherein entfallen würde. Es liegt aber in aller Regel kein besonders intensiver Eingriff in die Rechtsstellung der betroffenen Person im Sinne der obigen Rechtsprechung vor, der unabhängig von tatsächlichen oder rechtlichen Schwierigkeiten des Falls die Bestellung einer anwaltlichen Verbeiständung notwendig macht (Daniel Wuffli / David Fuhrer, Handbuch unentgeltliche Rechtspflege im Zivilprozess, 2019, Rz. 482 f.; Viktor Rüegg / Michael Rüegg, in: Basler Kommentar Schweizerische Zivilprozessordnung, 3. Aufl. 2017, N. 11 zu <ref-law>; Daniel Wuffli, Die unentgeltliche Rechtspflege in der Schweizerischen Zivilprozessordnung, 2015, Rz. 418 f.; Stefan Meichssner, Das Grundrecht auf unentgeltliche Rechtspflege [<ref-law>], 2008, S. 129 f.). Die Gebotenheit der anwaltlichen Verbeiständung setzt in diesen Verfahren vielmehr Schwierigkeiten rechtlicher oder tatsächlicher Natur voraus, welchen der Gesuchsteller auf sich selbst gestellt nicht gewachsen ist.
3.3. Im Rahmen dieser allgemeinen Voraussetzungen kann auch im Schlichtungsverfahren ein unentgeltlicher Rechtsbeistand gewährt werden, wenn die Streitsache dies rechtfertigt. Es gilt insoweit jedoch ein strenger Massstab, wobei auch hier die Verhältnisse des konkreten Einzelfalls entscheidend bleiben (<ref-ruling> E. 2c S. 10; <ref-ruling> E. 4c S. 268 f.; <ref-ruling> E. 4 S. 30; Urteile 4D_35/2017 vom 10. Oktober 2017 E. 4.2; 4A_384/2015 vom 24. September 2015 E. 4; 4D_97/2014 vom 16. April 2015 E. 5.1; 5A_395/2012 vom 16. Juli 2012 E. 4.4.3).
4.
Die Vorinstanz stützte sich auf diese Grundsätze und verneinte die Notwendigkeit der anwaltlichen Verbeiständung der Beschwerdeführer für das Schlichtungsverfahren. Die Interessen der Beschwerdeführer seien nicht in besonders schwerer Weise betroffen und der Fall biete keine besonderen tatsächlichen oder rechtlichen Schwierigkeiten.
5.
5.1. Dagegen machen die Beschwerdeführer die Verletzung verfassungsmässiger Rechte geltend (Art. 9, 29 Abs. 1 - 3, <ref-law> sowie Art. 6 Ziff. 1 EMRK). Sie erheben damit zulässige Rügen. Diejenigen der Verletzung der Rechtsweggarantie nach <ref-law> und des rechtlichen Gehörs nach <ref-law> begründen sie aber nicht rechtsgenüglich (Erwägung 2). Darauf ist nicht einzutreten. Gleiches gilt, wenn sie eine Verletzung des Willkürverbots nach <ref-law> behaupten, ohne aber hinreichend darzutun, inwiefern der Entscheid der Vorinstanz offensichtlich unrichtig wäre. Die Beschwerdeführer zeigen sodann nicht auf, inwiefern Art. 6 Ziff. 1 EMRK über den Gehalt von <ref-law> hinausgehen würde, weshalb auch auf diese Rüge nicht weiter einzugehen ist.
5.2.
5.2.1. Die Beschwerdeführer monieren, die Vorinstanz gehe zu Unrecht von einer nicht besonders schweren Betroffenheit der Beschwerdeführer aus. Bei der vom Vermieter geplanten Vertragsänderung gehe es faktisch um eine Mietkündigung, also um einen schwerwiegenden Eingriff in die Rechtsposition der Beschwerdeführer. Würde die Vertragsänderung gültig, wäre eine Ausweisung die Folge, da es den Beschwerdeführern nicht möglich sei, monatlich per letzten Tag des Vormonats im Voraus die Miete zu bezahlen, weil sie die Sozialversicherungs- und Sozialhilfezahlungen nicht jeweils bis Ende Monat erhalten würden. Zumindest die Kombination aus faktischer Mietkündigung und Ergänzungsleistungs- und Sozialhilfebezüge bilde einen besonders schweren Eingriff in ihre Rechtsposition.
5.2.2. Im vorliegenden Schlichtungsverfahren fechten die Beschwerdeführer die von ihrem Vermieter vorgenommene einseitige Mietvertragsänderung an. Sie berufen sich darauf, sie seien mit ihrem Vermieter übereingekommen, dass der Mietzins jeweils im laufenden Monat nach Eingang der Ergänzungsleistungen resp. der Sozialhilfezahlungen entrichtet werden könne. Der Vermieter beabsichtige nun mit der einseitigen Vertragsänderung, dass der Mietzins jeweils monatlich per letzten Tag des Vormonats im Voraus bezahlt werden müsse. Die vom Vermieter geplante Vertragsänderung würde nach der Auffassung der Beschwerdeführer die Wohnungskündigung nach sich ziehen, da sie als AHV-Renter bzw. Sozialhilfeempfänger den Mietzins nicht mehr rechtzeitig zahlen könnten, weil sie ihre Sozialversicherungs- und Sozialhilfezahlungen nicht bis Ende Monat erhielten.
Vor der Schlichtungsbehörde geht es damit um eine Streitigkeit betreffend die Mietwohnung der Beschwerdeführer. Bei Verfahren um die Mietwohnung handelt es sich zwar um einen wichtigen Aspekt des Lebens und damit grundsätzlich um keine Bagatelle, bei welcher die Notwendigkeit einer anwaltlichen Vertretung von vornherein entfallen würde (oben Erwägung 3.2). Eine formelle Kündigung oder Ausweisung der Beschwerdeführer aus ihrer Wohnung ist aber nicht Thema des Schlichtungsverfahrens. Es geht im vorliegenden Verfahren mithin nicht um den Verbleib der Beschwerdeführer in der Wohnung und damit nicht um eine potenziell zentrale Frage in ihrem Leben. Selbst wenn es aber darum gehen würde, läge in aller Regel kein besonders intensiver Eingriff vor, bei welcher ein unentgeltlicher Rechtsvertreter zu bestellen wäre, obwohl sich keine tatsächlichen oder rechtlichen Schwierigkeiten stellten (Erwägung 3.2).
Im vorliegenden Schlichtungsverfahren geht es einzig um die Änderung der Fälligkeit der Mietzinsen, also um eine blosse Streitigkeit zwischen Vermieter und Mieter während dem laufenden Mietverhältnis. Bei einer solchen mietrechtlichen Streitigkeit handelt es sich von vornherein nicht um einen besonderes intensiven Eingriff in die Rechtsstellung der Beschwerdeführer, die unabhängig von tatsächlichen oder rechtlichen Schwierigkeiten des Falls die Bestellung einer anwaltlichen Verbeiständung notwendig macht. Auch die Tatsache, dass es sich bei den Beschwerdeführern um Ergänzungsleistungs- resp. Sozialhilfebezüger handelt, ändert nichts daran, dass es sich lediglich um eine Streitigkeit um die Fälligkeit der Mietzinsen handelt. Es ist auch nicht dargetan, weshalb es den Beschwerdeführern nicht möglich sein soll, jeweils von den Bezügen des Vormonats entsprechende Rückstellungen zu machen, um pünktlich die Miete bezahlen zu können. Ohnehin ist zu berücksichtigen, dass es einzig um die unentgeltliche Rechtsverbeiständung im Schlichtungsverfahren geht, der Schlichtungsbehörde nach den unbestrittenen Feststellungen der Vorinstanz vorliegend keine Entscheidkompetenz zukommt und die Beschwerdeführer einen allfälligen Urteilsvorschlag der Schlichtungsbehörde ohne Begründung ablehnen können (<ref-law>).
Die Interessen der Beschwerdeführer sind damit durch das vorliegende Schlichtungsverfahren nicht in besonders schwerwiegender Weise betroffen. Die Gebotenheit der anwaltlichen Verbeiständung in dieser Mietstreitigkeit setzt vielmehr Schwierigkeiten rechtlicher oder tatsächlicher Natur voraus, welchen die Beschwerdeführer auf sich selbst gestellt nicht gewachsen sind.
5.3.
5.3.1. Solche Schwierigkeiten verneinte die Vorinstanz. Dagegen argumentieren die Beschwerdeführer, es stellten sich Schwierigkeiten rechtlicher und tatsächlicher Art. Aufgrund ihrer bisherigen Erfahrung sei damit zu rechnen, dass sie an der Schlichtungsverhandlung massiv unter Druck durch die Schlichtungsbehörde und die anwaltlich vertretene Gegenpartei geraten würden, der sie nicht gewachsen seien. Schon aus Gründen der Waffengleichheit sei daher eine Rechtsverbeiständung angezeigt. Die Beschwerdeführer seien auch immer anwaltlich vertreten gewesen, soweit ihnen eine Ausweisung aus der Mietwohnung gedroht habe. Das sei der Unterschied zwischen einem normalen mietrechtlichen Verfahren und einer drohenden Kündigung, die dazu führen könnte, dass die Beschwerdeführer auf der Strasse stünden. Alleine die Tatsache, dass die Beschwerdeführer schon weitere Mietverfahren mit anwaltlicher Hilfe erlebt hätten, vermöge die Notwendigkeit einer erneuten anwaltlichen Vertretung nicht zu beseitigen.
5.3.2. Es ist zutreffend, dass der Vermieter im Schlichtungsverfahren anwaltlich vertreten ist. Das ist im Hinblick auf die Waffengleichheit zwischen den Parteien zwar zu berücksichtigen. Dieser Umstand führt jedoch für sich alleine nicht automatisch dazu, dass den Beschwerdeführern die unentgeltliche Verbeiständung ohne weiteres zu bewilligen wäre. Vielmehr sind auch hier die konkreten Umstände des Einzelfalls zu prüfen (dazu Erwägung 3.1).
Im vorliegenden Schlichtungsverfahren fechten die Beschwerdeführer eine Mietvertragsänderung an, wonach der Mietzins neu per letzten Tag des Vormonats im Voraus bezahlt werden soll (oben Erwägung 5.2.2). Im Prozess geht es somit weder um aufwendige oder komplizierte Berechnungen, wie dies beispielsweise bei einer Mietzinserhöhung der Fall sein kann, noch um komplizierte Klauseln im Mietvertrag, deren Auswirkungen einem Laien nicht leicht verständlich wären. Strittig ist einzig der Zeitpunkt der Fälligkeit der künftigen Mietzinsen und damit eine einfache Angelegenheit. Es ist nicht ersichtlich, inwiefern die Beschwerdeführer der Schlichtungsverhandlung und der Beurteilung eines allfälligen Einigungs- oder Urteilsvorschlags durch die Schlichtungsbehörde nicht gewachsen sein sollten. Den allfälligen Urteilsvorschlag könnten sie sodann, wie erwähnt, ohne Weiteres ablehnen (Erwägung 5.2.2). Damit geht es im jetzigen Stadium des Schlichtungsverfahrens um einen Fall, der keinerlei tatsächliche oder rechtliche Schwierigkeiten mit sich bringt.
Hinzu kommt, dass die Beschwerdeführer nach ihren eigenen Vorbringen bereits mietrechtliche Verfahren ohne Rechtsvertretung führten, sodass sie in mietrechtlichen Streitigkeiten nicht prozessunerfahren sind. Daran ändert auch nichts, dass sie in der Vergangenheit in einzelnen Verfahren, bei denen es um Ausweisungen ging, nach eigener Angabe mit anwaltlicher Unterstützung prozessierten. Dieser Umstand der Prozesserfahrung ist bei der Beurteilung der Notwendigkeit einer anwaltlichen Verbeiständung entgegen der Auffassung der Beschwerdeführer sehr wohl zu berücksichtigen. Ausschlaggebendes Kriterium ist nämlich die Fähigkeit der um unentgeltlichen Rechtsbeistand ersuchenden Partei, sich im konkreten Verfahren ohne Hilfe eines Rechtsanwalts zurechtzufinden (dazu Erwägung 3.1). Daran kann hier kein Zweifel bestehen. Den Beschwerdeführern kann mithin die selbstständige Anfechtung der vorliegenden Mietvertragsänderung und das Zurechtfinden im Schlichtungsverfahren ohne Weiteres zugetraut werden, zumal im Schlichtungsverfahren für die Bewilligung des unentgeltlichen Rechtsbeistand ein strenger Massstab anzusetzen ist (Erwägung 3.3).
5.3.3. Unter diesen Umständen hat die Vorinstanz das Gesuch der Beschwerdeführer um Bewilligung der unentgeltlichen Rechtsverbeiständung vor der Schlichtungsbehörde zu Recht abgewiesen.
6.
Als Grund für die Verweigerung der unentgeltlichen Rechtspflege für das kantonale Beschwerdeverfahren gab die Vorinstanz an, dass sich die Beschwerde als von vornherein aussichtslos erweise, weshalb das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das Beschwerdeverfahren abzuweisen sei. Dem halten die Beschwerdeführer nichts entgegen, was über ihre - verworfene (Erwägung 5) - Ansicht hinausginge, ihre Beschwerde hätte gutgeheissen werden müssen. Es hat damit sein Bewenden.
7.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann.
Da die Beschwerde als von vornherein aussichtslos erscheint, ist das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Bestellung eines unentgeltlichen Rechtsbeistands für das bundesgerichtliche Verfahren abzuweisen (<ref-law>), wobei darüber unter den gegebenen Umständen nicht vorgängig separat entschieden werden musste (vgl. Urteil 4A_20/2011 vom 11. April 2011 E. 7.2.2).
Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer in solidarischer Haftung kostenpflichtig (<ref-law>). Dem Beschwerdegegner ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern in solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Beschwerdeführern und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 6. August 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger