Sachverhalt:
A.
Am 20. Dezember 2013 schlossen A.A._ und B.A._ (Mieter, Beschwerdeführer) mit der C._ AG (Vermieterin, Beschwerdegegnerin) einen unbefristeten, erstmals per 1. Januar 2019 kündbaren Mietvertrag über eine 4-Zimmer-Maisonettewohnung an der D._-Strasse in E._ zu einem monatlichen Mietzins von Fr. 1'540.- plus Nebenkosten.
Am 16. Mai 2014 kündigte die Vermieterin das Mietverhältnis ausserordentlich per 30. September 2014. Sie nannte mehrere Gründe für die Kündigung und stützte sich dabei sowohl auf Art. 257f Abs. 3 und 4 OR (Verletzung der Pflicht zu Sorgfalt und Rücksichtnahme) als auch auf Art. 266g OR (Kündigung aus wichtigen Gründen).
B.
Mit Klage vom 24. September 2014 beantragten die Mieter dem Bezirksgericht Bremgarten, es sei festzustellen, dass die Kündigung vom 16. Mai 2014 ungültig ist. Am 29. April 2015 wies der Präsident des Bezirksgerichts Bremgarten die Klage ab. Die Entscheidgebühr von Fr. 4'535.-- auferlegte er den Klägern solidarisch. Zufolge Bewilligung der unentgeltlichen Rechtspflege gehe sie einstweilen zulasten des Kantons. A usserdem verpflichtete er die Mieter, der Vermieterin eine Parteientschädigung von Fr. 6'602.65 zu bezahlen.
Gegen diesen Entscheid erhoben die Mieter Berufung an das Obergericht des Kantons Aargau. Sie beantragten weiterhin die Feststellung, dass die Kündigung vom 16. Mai 2014 ungültig sei. Der Instruktionsrichter des Obergerichts erwog, die Kläger seien gemäss Auskunft über Personendaten der Gemeinde E._ vom 23. September 2015 per 31. August 2015 an die F._-Strasse in G._ gezogen. Unter diesen Umständen könnten sie kein rechtlich geschütztes Interesse an der beantragten Feststellung der Ungültigkeit der Kündigung vom 16. Mai 2014 haben. Mit Verfügung vom 20. Oktober 2015 hob er den erstinstanzlichen Entscheid auf und verfügte stattdessen, die Klage werde als gegenstandslos geworden abgeschrieben. Die erstinstanzliche Entscheidgebühr auferlegte er den Parteien je zur Hälfte, wobei der Anteil der Mieter zufolge Bewilligung der unentgeltlichen Rechtspflege einstweilen zulasten des Kantons gehe. Die Parteikosten würden wettgeschlagen. Sodann schrieb er die Berufung als gegenstandslos geworden ab. Das Gesuch der Mieter um Bewilligung der unentgeltlichen Rechtspflege für das Berufungsverfahren wies er ab und auferlegte die obergerichtliche Entscheidgebühr von Fr. 200.-- den Parteien je zur Hälfte. Die Parteikosten schlug er wett.
C.
Die Mieter beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, die Verfügung des Obergerichts des Kantons Aargau vom 20. Oktober 2015 sei aufzuheben. Es sei festzustellen, dass die von der Vermieterin ausgesprochene Kündigung vom 16. Mai 2014 des Mietverhältnisses ungültig sei. Es sei den Beschwerdeführern für das Berufungsverfahren vor Obergericht die unentgeltliche Rechtspflege zu bewilligen und Dr. Peter Steiner als unentgeltlichen Rechtsvertreter beizugeben.
Ausserdem ersuchen sie für das bundesgerichtliche Beschwerdeverfahren um Bewilligung der unentgeltlichen Rechtspflege mit Dr. Peter Steiner als unentgeltlichen Rechtsvertreter.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Wird ein Mieter zwangsweise aus einer Mietwohnung ausgewiesen oder verlässt er diese - wie vorliegend - von sich aus, nachdem er eine andere Wohnung gefunden hat, und übergibt er sie der Vermieterschaft, sind nach der bundesgerichtlichen Praxis Beschwerdeverfahren, welche die Anfechtung der Kündigung sowie die Ausweisung des Mieters betreffen, als gegenstandslos abzuschreiben (<ref-ruling> E. 3.3 S. 247 f.; Verfügung 4A_364/2014 vom 18. September 2014 E. 1.1; Urteil 4A_622/2013 vom 26. Mai 2014 E. 1; je mit Hinweisen).
1.2. Die Vorinstanz stellte fest, die Beschwerdeführer seien aus der streitbetroffenen Wohnung ausgezogen und per 31. August 2015 nach G._ gezogen. Sie hätten nicht behauptet, sie wollten am Mietvertrag mit der Beschwerdegegnerin festhalten und die von der Beschwerdegegnerin vermietete Wohnung weiterhin mieten.
Die Beschwerdeführer beanstanden letztere Feststellung als willkürlich. Sie zitieren ihre diesbezüglichen Ausführungen vor Vorinstanz:
"Auch wenn sich die [Beschwerdeführer] in einer anderen Gemeinde angemeldet haben, haben sie nach wie vor ein genügendes Rechtsschutzinteresse, sich gegen den die Kündigung gutheissenden Entscheid durch die Vorinstanz zur Wehr zu setzen. Einerseits ist ein Mietvertrag für eine Wohnung nicht davon abhängig, ob man ausschliesslich darin wohnt oder nicht. Andererseits sind die [Beschwerdeführer] auch durch die im angefochtenen Entscheid ergangenen Kostenfolgen beschwert."
Die Vorinstanz hat diese Ausführungen wiedergegeben und beachtet. Wenn sie jedoch in der zwar grundsätzlich richtigen, aber allzu allgemeinen Aussage, ein Mietvertrag für eine Wohnung sei nicht davon abhängig, dass man ausschliesslich darin wohne oder nicht, keine konkrete Behauptung erkennen konnte, wonach die Beschwerdeführer die Wohnung, aus der sie ausgezogen sind, weiterhin mieten wollten, ist dies keineswegs unhaltbar, sondern vielmehr nachvollziehbar.
Die Vorinstanz ging demnach entgegen dem Vorbringen der Beschwerdeführer zu Recht davon aus, die Beschwerdeführer hätten kein rechtlich geschütztes Interesse an der Feststellung der Ungültigkeit der Kündigung vom 16. Mai 2014 mehr gehabt.
1.3. Aus den vorstehenden Erwägungen ergibt sich sodann, dass den Beschwerdeführern das Rechtsschutzinteresse an der mit der Beschwerde an das Bundesgericht weiterhin beantragten Feststellung der Ungültigkeit der Kündigung vom 16. Mai 2014 bereits im Zeitpunkt der Beschwerdeeinreichung abging, weshalb insoweit auf die Beschwerde nicht eingetreten werden kann (Art. 76 Abs. 1 lit. b BGG; <ref-ruling> E. 1.1; <ref-ruling> E. 1.3.1 S. 24 f.).
2.
Die Beschwerdeführer beanstanden ferner den Kostenentscheid der Vorinstanz. Sie rügen eine Verletzung von Art. 107 ZPO und eine willkürliche Ermessensausübung.
2.1. Ist ein Beschwerdeführer zur Anfechtung in der Sache selber nicht legitimiert oder hat er kein aktuelles Interesse mehr an der Anfechtung des Hauptsachenentscheids, kann er zwar dennoch gegen den Kostenentscheid Beschwerde führen, soweit er durch diesen persönlich und unmittelbar in seinen Interessen betroffen wird (<ref-ruling> E. 1b S. 255; Urteil 4A_93/2015 vom 22. September 2015 E. 1.3.2.4). Die Belastung mit Kosten verschafft ihm indes keine Möglichkeit, indirekt über den Kostenentscheid eine Überprüfung des Entscheids in der Hauptsache, d.h. vorliegend über die Gültigkeit der Mietvertragskündigung, zu erlangen. Daher kann er nur geltend machen, die Kostenverlegung sei aus einem anderen Grund als dem blossen Umstand, dass er in der Hauptsache unterlag, verfassungs- oder bundesrechtswidrig (Urteile 4A_93/2015 vom 22. September 2015 E. 1.3.2.4; 4A_576/2014 vom 25. März 2014 E. 1.3.2; Verfügung 4A_364/2014 vom 18. September 2014 E. 1.2.2; je mit Hinweisen).
2.2. Das Gericht kann von den Verteilungsgrundsätzen nach Art. 106 ZPO abweichen und die Prozesskosten nach Ermessen verteilen, wenn das Verfahren als gegenstandslos abgeschrieben wird und das Gesetz nichts anderes vorsieht (Art. 107 Abs. 1 lit. e ZPO). Dabei ist etwa zu berücksichtigen, welche Partei Anlass zur Klage gegeben hat, welches der mutmassliche Prozessausgang gewesen wäre und bei welcher Partei die Gründe eingetreten sind, die dazu geführt haben, dass das Verfahren gegenstandslos wurde (Urteile 4A_346/2015 vom 16. Dezember 2015 E. 5; 5A_885/2014 vom 19. März 2015 E. 2.4).
Das Bundesgericht überprüft Ermessensentscheide gemäss ständiger Praxis nur mit Zurückhaltung. Es ersetzt namentlich das Ermessen der Vorinstanz nicht durch sein eigenes, sondern schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die zwingend hätten beachtet werden müssen. Ausserdem greift das Bundesgericht in Ermessensentscheide ein, falls sich diese als offensichtlich unbillig bzw. als in stossender Weise ungerecht erweisen (<ref-ruling> E. 11.2; <ref-ruling> E. 2.1 S. 254; <ref-ruling> E. 2.2.1. S. 279).
2.3. Die Vorinstanz erwog, die Beschwerdeführer hätten Anlass zur Kündigung und damit zur Klage gegeben. Vor der ersten Instanz seien sie auch unterlegen, doch hätten sie vor Obergericht mutmasslich obsiegt, da die Beschwerdegegnerin den ihr obliegenden Beweis für die Zustellung der Abmahnung vom 25. April 2014 nicht erbracht habe. Die Kündigung wäre deshalb als nichtig zu qualifizieren gewesen. Dagegen seien die Gründe, die dazu geführt hätten, dass das Verfahren gegenstandslos geworden sei, bei den Beschwerdeführern eingetreten, da sie noch während der Berufungsfrist aus der Wohnung ausgezogen seien. Unter diesen Umständen seien die Gerichtskosten von Fr. 200.-- den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen. Diese Kostenfolge wandte sie auf beide Instanzen an.
2.4. Die Beschwerdeführer halten diese Kostenfolge für unhaltbar. Nachdem die Vorinstanz erwogen habe, die Kündigung wäre als nichtig zu qualifizieren gewesen, hätte sie die Kosten der Beschwerdegegnerin auferlegen müssen. Dies gelte umso mehr für die erstinstanzlichen Kosten. Denn die Tatsache, dass sich die Beschwerdeführer per 31. August 2015 in G._ abgemeldet hätten, vermöge keinen vernünftigen Grund abzugeben für die Halbierung der Kosten für den erstinstanzlichen Entscheid vom 29. April 2015.
2.5. Die Vorinstanz hat bei ihrem Kostenentscheid die zutreffenden Kriterien berücksichtigt, die bei einer Abschreibung des Verfahrens zufolge Gegenstandslosigkeit anzuwenden sind (vgl. Erwägung 2.2). Dabei hat sie unwidersprochen zulasten der Beschwerdeführer veranschlagt, dass diese Anlass zur Kündigung und damit zur Klage gegeben haben, sowie dass bei denselben die Gründe eingetreten sind, die dazu geführt haben, dass das Verfahren gegenstandslos wurde (Auszug aus der gemieteten Wohnung). Einzig betreffend den mutmasslichen Prozessausgang gelangte sie - aufgrund einer von der ersten Instanz abweichenden Beurteilung - zur Ansicht, dass die Kündigung mangels Beweises der Zustellung des Abmahnungsschreibens vom 25. April 2014 wohl als nichtig zu qualifizieren gewesen wäre. Das Kriterium des mutmasslichen Prozessausgangs veranschlagte sie mithin zugunsten der Beschwerdeführer. Da der mutmassliche Prozessausgang aber bei einer Abschreibung des Verfahrens zufolge Gegenstandslosigkeit nicht allein massgebend ist für die Kostenverteilung, sondern auch die anderen genannten Kriterien berücksichtigt werden dürfen, erscheint es nicht unhaltbar, wenn die Vorinstanz die Kosten hälftig auf die Parteien aufteilte. Unbilligkeit ergibt sich auch nicht aufgrund des vorgebrachten Umstands, wonach die Parteien an der Verhandlung vom 24. März 2015 vor Bezirksgericht einen Vergleich abgeschlossen hätten, der aber von der Beschwerdegegnerin am 30. März 2015 widerrufen worden sei. Ohnehin findet dieses Vorbringen in der angefochtenen Verfügung keine Stütze und wird nicht mit präzisen Aktenhinweisen belegt, weshalb es vor Bundesgericht nicht berücksichtigt werden kann (Art. 105 Abs. 1 BGG). Das Bundesgericht hat somit keinen hinreichenden Anlass, in den Ermessensentscheid der Vorinstanz einzugreifen.
Dies gilt auch betreffend die erstinstanzlichen Kosten. Zunächst geht die Gehörsrüge wegen angeblich fehlender Begründung der erstinstanzlichen Kostenverteilung fehl, ist doch offensichtlich, dass die in Erwägung 2.3 der angefochtenen Verfügung gegebene Begründung für die Halbierung der Prozesskosten auch für die erstinstanzlichen Prozesskosten gilt. Sodann übersehen die Beschwerdeführer, dass die Klage als gegenstandslos geworden abgeschrieben wurde, weshalb auch beim diesbezüglichen Kostenentscheid das Kriterium mitspielt, welche Partei die Gründe für die Gegenstandslosigkeit gesetzt hat.
3.
In einem letzten Punkt rügen die Beschwerdeführer die Verweigerung der unentgeltlichen Rechtspflege für das Berufungsverfahren als verfassungswidrig (Art. 9, 29 Abs. 1 und 3 und Art. 29a BV, Art. 6 Ziff. 1 EMRK).
3.1. Die Vorinstanz wies das Gesuch um Bewilligung der unentgeltlichen Rechtspflege ab, weil die Beschwerdeführer ihre Mittellosigkeit nicht belegt hätten. Die eingereichte Bestätigung betreffend Sozialhilfe der Gemeinde E._ vom 8. April 2015 sei nicht mehr aktuell.
3.2. Nach Art. 117 ZPO hat eine Person Anspruch auf unentgeltliche Rechtspflege, wenn sie nicht über die erforderlichen Mittel verfügt (lit. a) und ihr Rechtsbegehren nicht aussichtslos erscheint (lit. b). Sofern es zur Wahrung der Rechte notwendig ist, umfasst die unentgeltliche Rechtspflege die Bestellung eines unentgeltlichen Rechtsbeistands (Art. 118 Abs. 1 lit. c ZPO). Als bedürftig gilt eine Person dann, wenn sie die Kosten eines Prozesses nicht aufzubringen vermag, ohne jene Mittel anzugreifen, die für die Deckung des eigenen notwendigen Lebensunterhalts und desjenigen ihrer Familie erforderlich sind. Die prozessuale Bedürftigkeit beurteilt sich nach der gesamten wirtschaftlichen Situation des Rechtsuchenden im Zeitpunkt der Einreichung des Gesuchs (<ref-ruling> E. 4.1 S. 371; <ref-ruling> E. 5.1 S. 223; <ref-ruling> E. 2.5.1). Dazu gehören nicht nur die Einkommens-, sondern auch die Vermögensverhältnisse (<ref-ruling> E. 3b S. 98 mit Hinweisen).
Die gesuchstellende Person hat nach Art. 119 Abs. 2 ZPO ihre Einkommens- und Vermögensverhältnisse darzulegen und sich zur Sache sowie über ihre Beweismittel zu äussern. Es trifft sie eine umfassende Mitwirkungsobliegenheit (Urteile 4A_264/2014 vom 17. Oktober 2014 E. 3.2; 4A_403/2013 vom 11. Oktober 2013 E. 3.2.2; 4A_114/2013 vom 20. Juni 2013 E. 2.2 und 4.3.1; vgl. zum bundesgerichtlichen Verfahren <ref-ruling> E. 4a). An die klare und gründliche Darstellung der finanziellen Situation durch die gesuchstellende Person selbst dürfen umso höhere Anforderungen gestellt werden, je komplexer diese Verhältnisse sind (<ref-ruling> E. 3a S. 182; Urteil 4A_264/2014 vom 17. Oktober 2014 E. 3.2). Das Gericht hat den Sachverhalt aber immerhin dort weite r abzuklären, wo Unsicherheiten und Unklarheiten bestehen (Urteile 4A_264/2014 vom 17. Oktober 2014 E. 3.2; 4A_319/2013 vom 31. Juli 2013 E. 2.2; 5A_451/2012 vom 27. August 2012 E. 2.1), und es hat allenfalls unbeholfene Rechtsuchende auf die Angaben hinzuweisen, die es zur Beurteilung des Gesuchs benötigt (<ref-ruling> E. 3a S. 181; Urteil 4A_264/2014 vom 17. Oktober 2014 E. 3.2). Das Gesuch kann mangels ausreichender Substantiierung oder mangels Bedürftigkeitsnachweises abgewiesen werden, wenn der Gesuchsteller seinen Obliegenheiten nicht (genügend) nachkommt (<ref-ruling> E. 4a S. 164 f.; <ref-ruling> E. 3a S. 181 f.; Urteile 5A_142/2015 vom 5. Januar 2016 E. 3.7; 2C_683/2014 vom 24. Oktober 2014 E. 3.1.1).
3.3. Die anwaltlich vertretenen Beschwerdeführer legten ihrem Gesuch um Bewilligung der unentgeltlichen Rechtspflege mit der Berufungsschrift vom 7. September 2015 einzig die Bestätigung betreffend Sozialhilfe der Gemeinde E._ vom 8. April 2015 bei. Die Vorinstanz entschied nicht verfassungswidrig, wenn sie dieses Schreiben nicht als hinreichenden Beleg für die Bedürftigkeit der Beschwerdeführer genügen liess. Zum einen datiert es vom 8. April 2015 und somit fünf Monate früher als der massgebende Zeitpunkt der Gesuchseinreichung (7. September 2015). Es orientiert deshalb nicht über die aktuelle finanzielle Lage der Beschwerdeführer. Zum andern geht aus dem Schreiben hervor, dass die den Beschwerdeführern am 3. Februar 2014 befristet für ein Jahr bewilligte Sozialhilfe eigentlich abgelaufen war. Nur weil der Sozialdienst mit den Revisionen in Verzug sei, habe der Anspruch auf Sozialhilfe weiterhin Gültigkeit. Gerade mit Blick auf diese unsicheren Umstände (Gültigkeit des eigentlich längst abgelaufenen Anspruchs nur weil der Sozialdienst mit Revisionen in Verzug ist) musste die Vorinstanz nicht einfach vom weiteren Fortbestand des Sozialhilfeanspruchs ausgehen, sondern durfte verlangen, dass die Beschwerdeführer einen aktualisierten Beleg einreichten, der über die Situation im Zeitpunkt der Gesuchseinreichung Auskunft gibt. Sie handelte damit weder willkürlich noch überspitzt formalistisch.
Die Beschwerdeführer bringen vor, wie die Bestätigung vom 8. April 2015 belege, sei die Gemeinde mit den Revisionen um Monate in Verzug und damit offensichtlich nicht in der Lage, ständig neue Bestätigungen zu erstellen. In dieser Situation könne von den Beschwerdeführern nicht verlangt werden, "ständig neue Bestätigungen vorzulegen". Das Vorbringen ist unbehelflich. Es geht nicht darum, "ständig neue Bestätigungen" vorzulegen. Verlangt ist nur eine einzige, auf den Zeitpunkt des Gesuchs bezogene aktualisierte Bestätigung. Der Rückstand mit den Revisionen kann kein Hinderungsgrund sein, eine solche zu erstellen. Dem stand auch nicht entgegen, dass sich die Beschwerdeführer per 31. August 2015 in G._ angemeldet hatten. Sie hätten gleichwohl vom Sozialdienst E._ eine Bestätigung anfordern können, dass sie bis dahin Sozialhilfe bezogen, um so ihre aktuelle finanzielle Lage zu belegen.
Die Vorbringen gegen die Verweigerung der unentgeltlichen Rechtspflege für das Berufungsverfahren erweisen sich als unbegründet.
4.
Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Da sie von vornherein als aussichtslos erschien, kann dem Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren nicht entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Die Gerichtskosten sind somit den unterliegenden Beschwerdeführern in solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Da keine Vernehmlassung eingeholt worden ist und der Beschwerdegegnerin somit keine Kosten erwachsen sind, entfällt die Zusprechung einer Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 22. Januar 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger