Sachverhalt:
A.
A.A._ und B.A._ (Gesuchsteller, Beschwerdeführer) reichten am 4. Mai 2015 bei der Schlichtungsbehörde für Miete und Pacht des Bezirks Bremgarten ein Schlichtungsbegehren betreffend Anfechtung einer Kündigung wegen Zahlungsverzugs ein. Zugleich ersuchten sie für das Schlichtungsverfahren um Bewilligung der unentgeltlichen Rechtspflege unter Bestellung eines unentgeltlichen Rechtsbeistandes.
Der Präsident der Schlichtungsbehörde lehnte das Gesuch um unentgeltliche Rechtspflege mit Verfügung vom 11. Mai 2015 ab.
Eine von den Gesuchstellern dagegen erhobene Beschwerde wies das Obergericht des Kantons Aargau mit Entscheid vom 22. Juni 2015 ab. Zugleich wies es ein Gesuch um Gewährung der unentgeltlichen Rechtspflege für das obergerichtliche Verfahren wegen Aussichtslosigkeit der gestellten Begehren ab und auferlegte den Gesuchstellern eine Entscheidgebühr von Fr. 200.--.
B.
Die Gesuchsteller beantragen mit Beschwerde in Zivilsachen vom 3. August 2015, es sei der Entscheid vom 22. Juni 2015 aufzuheben und ihnen für die Verfahren vor der Mietschlichtungsstelle und vor dem Obergericht die unentgeltliche Rechtspflege zu bewilligen und ein unentgeltlicher Rechtsvertreter zu bestellen. Gleichzeitig ersuchen sie um Gewährung der unentgeltlichen Rechtspflege und Rechtsverbeiständung für das bundesgerichtliche Verfahren.
Die Beschwerdeführer bekräftigten ihren Standpunkt in einer zusätzlichen Eingabe vom 19. August 2015 sowie mit einem weiteren Schreiben vom 17. September 2015.
Auf die Einholung von Vernehmlassungen zur Beschwerde wurde im vorliegenden Fall verzichtet.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 2 S. 59; <ref-ruling> E. 1).
1.1. Wie aus den kantonalen Akten hervorgeht, wurde das Verfahren betreffend Feststellung der Ungültigkeit der Mietvertragskündigung und Erstreckung des Mietverhältnisses von der Schlichtungsstelle mit Entscheid vom 12. Mai 2015 durch Abschreibung infolge Anerkennung der Ungültigkeit der streitbetroffenen Kündigung seitens der Vermieterschaft erledigt. Der angefochtene Entscheid des Obergerichts, mit dem nur darüber entschieden wurde, ob die Schlichtungsbehörde die unentgeltliche Rechtspflege zu Unrecht verweigert habe, stellt unter diesen Umständen einen Endentscheid im Sinne von <ref-law> dar (<ref-ruling> E. 2.2 S. 603), gegen den die Beschwerde an das Bundesgericht grundsätzlich offen steht (Urteil 4A_467/2014 vom 21. Oktober 2014 E. 1.1).
1.2. Nach den Feststellungen der Vorinstanz belief sich der Streitwert im kantonalen Verfahren auf mehr als Fr. 15'000.--. Das Bundesgericht kann den objektiven Streitwert, wie er sich den Akten entnehmen lässt, ermitteln und ist dabei weder an die Schätzung der Beschwerdeführer noch an übereinstimmende Angaben der Parteien noch an eine offensichtlich unrichtige Schätzung der Vorinstanz gebunden (<ref-ruling> E. 1.2 S. 574; <ref-ruling> E. 1.1.1 S. 62).
Bei Beschwerden gegen Endentscheide bestimmt sich der Streitwert nach den Begehren, die vor der Vorinstanz streitig geblieben sind (<ref-law>). Im vorinstanzlichen Verfahren war nur noch der Anspruch auf Gewährung der unentgeltlichen Rechtspflege im Schlichtungsverfahren umstritten. Die Abschreibung des Schlichtungsverfahrens blieb unangefochten und es ging daher mit der Beschwerde nicht mehr um den Zugang zur Justiz zur Beurteilung der Hauptsache. In dieser Situation ist die Rechtsprechung über die Anfechtung von Entscheiden über Kosten- und Entschädigungsfolgen entsprechend anzuwenden, nach der in Fällen, in denen eine Beschwerde an das Bundesgericht einzig die Kosten des kantonalen Verfahrens zum Gegenstand hat und es schon im vorinstanzlichen Verfahren allein um die Kosten ging, sich der Streitwert nach dem Betrag bestimmt, in dem diese vor der Vorinstanz strittig waren (<ref-ruling> E. 1.2.2; Urteil 4A_467/2014 vom 21. Oktober 2014 E. 1.2 mit Hinweisen). Vorliegend kann offensichtlich nicht davon ausgegangen werden, dass der Interessenwert an der Gewährung der unentgeltlichen Rechtspflege für das durch Abschreibung erledigte Schlichtungsverfahren, wie von der Vorinstanz festgestellt, den Betrag von Fr. 15'000.-- übersteigt. Der von <ref-law> geforderte Mindeststreitwert für die Zulässigkeit der Beschwerde in Zivilsachen in mietrechtlichen Fällen ist somit als nicht erreicht zu betrachten.
1.3. Die Beschwerdeführer machen allerdings geltend, die Beschwerde in Zivilsachen sei dennoch zulässig, weil sich eine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law> stelle. Dazu verweisen sie bloss pauschal auf die Beschwerdebegründung sowie auf eine bestimmte Stelle der Beschwerde, an der geltend gemacht wird, es bestünde Klärungsbedarf, falls "tatsächlich bei einer Anfechtung einer ausserordentlichen Kündigung gemäss <ref-law> infolge Zahlungsverzugs trotz anwaltlicher Vertretung der Gegenpartei kein Anspruch auf unentgeltliche Rechtspflege bestehen" sollte. Damit begründen sie nicht hinreichend, warum sich vorliegend eine Rechtsfrage von grundsätzlicher Bedeutung entsprechend der von der Praxis entwickelten Begriffsumschreibung stellen soll, weshalb die Beschwerde in Zivilsachen unzulässig bleibt (<ref-law>; vgl. zum Ganzen <ref-ruling> E. 1.3 mit Hinweisen).
Auf die Beschwerde in Zivilsachen ist demnach nicht einzutreten und die Eingabe vom 3. August 2015 ist, wie eventualiter beantragt, als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>).
1.4. Da auch die übrigen Sachurteilsvoraussetzungen der subsidiären Verfassungsbeschwerde erfüllt sind, ist auf dieselbe - unter Vorbehalt ihrer rechtsgenüglichen Begründung (nachfolgende Erwägung 2) - grundsätzlich einzutreten.
2.
Einziger Beschwerdegrund bei der subsidiären Verfassungsbeschwerde ist die Verletzung verfassungsmässiger Rechte (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung verfassungsmässiger Rechte nur, wenn diese Rüge gemäss den Anforderungen von Art. 106 Abs. 2 i.V.m. <ref-law> ausdrücklich vorgebracht und klar und detailliert begründet wird (<ref-ruling> E. 1.1; <ref-ruling> E. 1.4; <ref-ruling> E. 2.1; <ref-ruling> E. 2.1 S. 143; <ref-ruling> E. 3.2 S. 444). In einer Verfassungsbeschwerde muss rechtsgenügend dargelegt werden, welche verfassungsmässigen Rechte durch das kantonale Gericht inwiefern verletzt worden sind, und solche Rügen sind unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids klar und detailliert zu begründen (<ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 2 S. 591 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann davon nur abweichen, wenn die Sachverhaltsfeststellung unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>). Wird Letzteres geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese verfassungswidrig, insbesondere willkürlich, sein soll (BGE <ref-ruling> E. 2.2; <ref-ruling> E. 7.1 S. 398, 585 E. 4.1 S. 588 f.).
3.
Strittig ist einzig, ob im Schlichtungsverfahren die Bestellung eines unentgeltlichen Rechtsbeistandes zur Wahrung der Rechte der Beschwerdeführer notwendig gewesen wäre.
Nach <ref-law> hat eine Person Anspruch auf unentgeltliche Rechtspflege, wenn sie nicht über die erforderlichen Mittel verfügt (lit. a) und ihr Rechtsbegehren nicht aussichtslos erscheint (lit. b). Wenn dies zur Wahrung ihrer Rechte notwendig ist, insbesondere wenn die Gegenpartei anwaltlich vertreten ist, besteht darüber hinaus ein Anspruch auf unentgeltliche Verbeiständung (<ref-law>).
Die Beschwerdeführer rügen grösstenteils bloss eine unrichtige, nicht aber eine willkürliche, mithin verfassungswidrige, Anwendung der zitierten Bestimmungen (Erwägung 2 vorne). Allerdings stimmen die Voraussetzungen der unentgeltlichen Rechtspflege gemäss Art. 117 f. ZPO mit denjenigen der Minimalgarantie von <ref-law> überein, deren Einhaltung das Bundesgericht in rechtlicher Hinsicht mit freier Kognition prüft (vgl. <ref-ruling> E. 5.1 S. 223; <ref-ruling> E. 2.1). Die zu dieser Garantie ergangene Rechtsprechung ist daher für die Auslegung von Art. 117 f. ZPO zu berücksichtigen (Urteile 4A_537/2013 vom 29. November 2013 E. 4.1; 4A_675/2012 vom 18. Januar 2013 E. 7.2; 5A_565/2011 vom 14. Februar 2012 E. 2.3; vgl. zur Frage der Aussichtslosigkeit: <ref-ruling> E. 2.2.4), insbesondere auch die vom Bundesgericht zur Notwendigkeit der Verbeiständung einer Partei entwickelte Praxis (Urteil 5A_395/2012 vom 16. Juli 2012 E. 4.1). Demnach stellt eine Verletzung von Art. 117 f. ZPO zugleich auch eine Verletzung von <ref-law> dar. Es kann daher auch im Rahmen einer subsidiären Verfassungsbeschwerde als genügend betrachtet werden, wenn die Beschwerdeführer eine Verletzung von Art. 117 f. ZPO rügen.
4.
Die bedürftige Partei hat nach der Rechtsprechung Anspruch auf unentgeltliche Verbeiständung, wenn ihre Interessen in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bereitet, die den Beizug eines Rechtsvertreters erforderlich machen. Droht das in Frage stehende Verfahren besonders stark in die Rechtsposition der betroffenen Person einzugreifen, ist die Bestellung eines unentgeltlichen Rechtsvertreters grundsätzlich geboten (was insbesondere im Strafverfahren zutrifft), sonst nur dann, wenn zur relativen Schwere des Falles besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen die Person auf sich alleine gestellt nicht gewachsen wäre (vgl. zum Ganzen <ref-ruling> E. 2.2 S. 182 mit Hinweisen; Urteil 5A_395/2012 vom 16. Juli 2012 E. 4.3). Dabei sind neben der Komplexität der Rechtsfragen und der Unübersichtlichkeit des Sachverhalts auch in der Person des Betroffenen liegende Gründe zu berücksichtigen, so das Alter, die soziale Situation, Sprachkenntnisse und allgemein die Fähigkeit, sich im Verfahren zurechtzufinden (<ref-ruling> E. 2.5.2 S. 233; <ref-ruling> E. 2b/cc S. 147, je mit Hinweisen).
Massgebend ist schliesslich auch das Prinzip der Waffengleichheit (<ref-ruling> E. 2 S. 28), hält doch <ref-law> ausdrücklich fest, es bestehe Anspruch auf unentgeltliche Verbeiständung, "wenn dies zur Wahrung der Rechte notwendig ist, insbesondere wenn die Gegenpartei anwaltlich vertreten ist" (Urteil 5A_395/2012 vom 16. Juli 2012 E. 4.3; s. ferner das Urteil 4P.316/1994 vom 19. Mai 1995 E. 5a).
Ob die Verbeiständung notwendig ist, bewertet sich nach den konkreten Umständen des Einzelfalls. Die Rechtsnatur des Verfahrens ist ohne Belang. Grundsätzlich fällt die unentgeltliche Verbeiständung für jedes staatliche Verfahren in Betracht, in das der Gesuchsteller einbezogen wird oder das zur Wahrung seiner Rechte notwendig ist (<ref-ruling> E. 2.2 S. 182). Auch für das Schlichtungsverfahren gemäss <ref-law> kann ein unentgeltlicher Rechtsbeistand gewährt werden, wenn die Streitsache dies rechtfertigt. Es gilt insoweit jedoch ein strenger Massstab (<ref-ruling> E. 2c S. 10; <ref-ruling> E. 4c S. 268 f.; <ref-ruling> E. 4 S. 30; vgl. auch <ref-ruling> E. 2.5 S. 15), wobei die Verhältnisse des konkreten Einzelfalls entscheidend bleiben (vgl. zum Ganzen Urteil 5A_395/2012 vom 16. Juli 2012 E. 4.4.1 und 4.4.3).
4.1. Die Vorinstanz verneinte, dass die Schlichtungsbehörde die unentgeltliche Rechtsverbeiständung hätte bewilligen müssen, weil die Interessen der Beschwerdeführer im Schlichtungsverfahren nicht in schwerwiegender Weise betroffen gewesen seien und der Fall in tatsächlicher und rechtlicher Hinsicht keine Schwierigkeiten geboten habe, die den Beizug eines Rechtsvertreters erforderlich gemacht hätten.
Die schwerwiegende Betroffenheit der Beschwerdeführer in ihren Interessen verneinte die Vorinstanz unter Hinweis auf die schlichtende und beratende Funktion der Schlichtungsbehörde sowie darauf, dass die Schlichtungsbehörde im strittigen Fall keine Entscheidkompetenz gehabt habe. Die Beschwerdeführer gehen mit keinem Wort auf diese Erwägungen ein, fechten diese mithin nicht rechtsgenügend an. Sie stellen ihr bloss ihren Standpunkt gegenüber, dass es bei der Wohnungskündigung um einen schwerwiegenden Eingriff gehe, der für sie als Sozialhilfeempfänger noch viel schwerer wiege. Darauf ist mangels Erfüllung der Begründungsanforderungen nicht einzutreten (Erwägung 2).
Zur Frage, ob tatsächliche oder rechtliche Schwierigkeiten gegeben waren, denen die Beschwerdeführer auf sich allein gestellt nicht gewachsen gewesen wären, erwog die Vorinstanz, es sei nicht dargetan, dass die konkrete Streitsache eine besondere Komplexität hinsichtlich der Tat- und Rechtsfragen aufweise. So hätten die Beschwerdeführer, wie sie selbst erklärten, lediglich zu beweisen, dass die Mietzinszahlung rechtzeitig erfolgt sei. Mit Rücksicht auf den strengen Massstab, der im Schlichtungsverfahren an die Notwendigkeit einer Rechtsverbeiständung anzulegen ist, verletzte die Vorinstanz damit offensichtlich kein Bundesrecht. Den Beschwerdeführern kann nicht gefolgt werden, wenn sie bloss darauf beharren, es sei eine besondere Komplexität und die Notwendigkeit einer Rechtsverbeiständung zu bejahen, da die Anfechtung einer Zahlungsverzugskündigung nur Aussicht auf Erfolg haben könne, wenn der Mieter innerhalb der Zahlungsfrist bezahle und dann auch rechtzeitig eine Anfechtung bei der Schlichtungsstelle einreiche. Soweit sie überdies geltend machen, die Vermieterin habe mit dem Aussprechen einer ungerechtfertigten Kündigung gehofft, dass die Beschwerdeführer in eine formelle Falle tappten, um sie auf die Strasse stellen zu können, ergänzen sie überdies den im angefochtenen Urteil festgestellten Sachverhalt unzulässigerweise, weshalb sie damit nicht gehört werden können (Erwägung 2 vorne).
4.2. Die Beschwerdeführer rügten vor der Vorinstanz, die Schlichtungsbehörde hätte ihnen die unentgeltliche Rechtsverbeiständung mit Rücksicht auf den Grundsatz der Waffengleichheit gewähren müssen. Die Vorinstanz erwog dazu, die Beschwerdeführer hätten in ihrem Schlichtungsbegehren keine Vertretung der Beklagten aufgeführt. Sie könnten daher der Schlichtungsbehörde nicht vorwerfen, diese hätte aufgrund der ihr bekannten Vorgeschichte damit rechnen müssen, dass die Beklagte anwaltlich vertreten werde, da sie, die Beschwerdeführer, offensichtlich entgegen ihrer Behauptung selbst nicht davon ausgegangen seien; massgeblich seien die Verhältnisse im Zeitpunkt der Gesuchseinreichung.
Die Beschwerdeführer rügen, die Vorinstanz sei in Willkür verfallen, indem sie dafür gehalten habe, mit einer anwaltlichen Vertretung sei vorliegend nicht zu rechnen gewesen. Darauf kann nicht eingetreten werden, da sich die Beschwerdeführer dabei hinsichtlich einer der Schlichtungsbehörde angeblich "bekannten Vorgeschichte" auf verschiedene Sachverhaltselemente stützen, zu denen die Vorinstanz keine tatsächlichen Feststellungen getroffen hat; die Beschwerdeführer erheben dazu keine Sachverhaltsrüge, die dem Bundesgericht allenfalls eine Ergänzung des im angefochtenen Urteil festgestellten Sachverhalts erlauben könnten (Erwägung 2 vorne).
Unabhängig davon könnte der Rüge ohnehin nicht gefolgt werden. Wie die Vorinstanz zutreffend erwog, sind für die Beurteilung des Anspruchs auf unentgeltliche Verbeiständung die Verhältnisse im Zeitpunkt des Gesuchs massgebend (Urteil 5A_395/2012 vom 16. Juli 2012 E. 4.2; vgl. für die Beurteilung der Erfolgsaussichten bzw. der Bedürftigkeit: <ref-ruling> E. 22 S. 477; <ref-ruling> E. 6.1 S. 223). Die Vorinstanz verletzte kein Bundesrecht, wenn sie bezogen auf diesen Zeitpunkt dafür hielt, die Schlichtungsbehörde habe nicht damit rechnen müssen, dass die Gegenpartei anwaltlich vertreten würde, nachdem die Beschwerdeführer im - durch ihren Anwalt eingereichten - Schlichtungsgesuch keinen Vertreter angegeben hatten. Dies gilt unabhängig davon, ob sich die Gegenpartei in anderen Verfahren gegen die Beschwerdeführer anwaltlich vertreten liess. Wenn die Vorinstanz aus dem Umstand, dass im Schlichtungsgesuch keine Vertretung der Gegenpartei angegeben worden war, schloss, die Beschwerdeführer seien selber nicht davon ausgegangen, dass sich die Gegenpartei vertreten lasse, ist sie nicht in Willkür verfallen.
Fehl geht schliesslich das sinngemäss vorgebrachte Argument der Beschwerdeführer, es sei im massgeblichen Zeitpunkt der Gesuchseinreichung nie möglich zu wissen, ob die eine Partei anwaltlich vertreten werde, weshalb eine unentgeltliche Rechtspflege wegen Waffengleichheit nie bewilligt werden könnte, wenn der vorinstanzlichen Auffassung gefolgt würde. Bevor für die Beschwerdeführer feststand, dass die Gegenpartei sich anwaltlich vertreten lässt, wäre es ihnen im vorliegenden Fall, in dem die Interessen der Beschwerdeführer nicht in schwerwiegender Weise betroffen waren und der keine besondere Komplexität aufwies, zumutbar gewesen, zunächst ohne anwaltliche Vertretung an die Schlichtungsbehörde zu gelangen und ein Gesuch um unentgeltliche Verbeiständung zu stellen, sobald feststand, dass die Gegenpartei einen Anwalt beigezogen hat.
5.
Nach den vorstehenden Ausführungen ist es nicht zu beanstanden, wenn die Vorinstanz die bei ihr eingereichte Beschwerde als aussichtslos betrachtete (zum Begriff der Aussichtslosigkeit vgl. <ref-ruling> E. 2.2 S. 476) und den Beschwerdeführern die Gewährung der unentgeltlichen Rechtspflege für das vorinstanzliche Verfahren verweigerte.
6.
Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Da sie von vornherein als aussichtslos erschien, kann dem Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren nicht entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Die Gerichtskosten sind somit den unterliegenden Beschwerdeführern unter solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1 - 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Rechtsverbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt.
4.
Dieses Urteil wird den Beschwerdeführern und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 24. September 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Widmer