Sachverhalt:
A.
A.a. Am 20. Dezember 2013 schlossen A.A._ und B.A._ (Mieter, Beschwerdeführer) mit der C._ AG (Vermieterin, Beschwerdegegnerin) einen unbefristeten, erstmals per 1. Januar 2019 kündbaren Mietvertrag über eine 4-Zimmer-Maisonettewohnung an der D._-Strasse in E._ zu einem monatlichen Mietzins von Fr. 1'540.-- plus Nebenkosten.
A.b. Am 16. Mai 2014 kündigte die Vermieterin das Mietverhältnis ausserordentlich per 30. September 2014, gestützt auf Art. 257f Abs. 3 und 4 OR (Verletzung der Pflicht zu Sorgfalt und Rücksichtnahme) und <ref-law> (Kündigung aus wichtigen Gründen). Die Mieter fochten diese Kündigung an. Mit Verfügung vom 20. Oktober 2015 schrieb das Obergericht des Kantons Aargau auf Berufung der Mieter hin die Klage und die Berufung als gegenstandslos geworden ab. Die Mieter haben gegen diese Verfügung Beschwerde an das Bundesgericht erhoben (Verfahren 4A_667/2015).
A.c. Am 23. Juni 2015 kündigte die Vermieterin das Mietverhältnis erneut ausserordentlich, diesmal wegen Zahlungsrückstands gestützt auf <ref-law> auf den 31. Juli 2015. Am 30. Juli 2015 reichten die Mieter ein Schlichtungsgesuch ein.
B.
Mit Begehren vom 4. August 2015 im Sinne von <ref-law> ersuchte die Vermieterin das Bezirksgericht Bremgarten, die Mieter seien unter Androhung der polizeilichen Vollstreckung zu verpflichten, das Mietobjekt unverzüglich zu räumen und zu verlassen. Am 7. September 2015 hiess der Gerichtspräsident das Gesuch gut und verpflichtete die Mieter, die 4-Zimmer-Maisonettewohnung, Hausteil rechts, Dachgeschoss rechts, an der D._-Strasse in E._ bis spätestens am 21. September 2015 zu verlassen und ordnungsgemäss zu räumen. Für den Widerhandlungsfall werde als Vollstreckungsmassnahme die polizeiliche Räumung angeordnet (Dispositivziffer 1).
Gegen diesen Entscheid erhoben die Mieter Berufung an das Obergericht des Kantons Aargau. Sie beantragten weiterhin, auf das Gesuch vom 4. August 2015 sei nicht einzutreten. Der Instruktionsrichter des Obergerichts erwog, die Kläger seien gemäss Auskunft über Personendaten der Gemeinde E._ vom 23. September 2015 per 31. August 2015 an die F._-Strasse in G._ gezogen. Mit dem Auszug aus der streitbetroffenen Wohnung hätten sie kein rechtlich geschütztes Interesse an der Anfechtung des Ausweisungsentscheids. Die Klage sei gegenstandslos geworden und abzuschreiben. Mit Verfügung vom 20. Oktober 2015 hob er dementsprechend Dispositivziffer 1 des erstinstanzlichen Entscheids auf und verfügte stattdessen, die Klage werde als gegenstandslos geworden abgeschrieben. Sodann schrieb er die Berufung als gegenstandslos geworden ab. Das Gesuch der Mieter um Bewilligung der unentgeltlichen Rechtspflege für das Berufungsverfahren wies er ab und auferlegte die obergerichtliche Entscheidgebühr von Fr. 200.-- und eine Parteientschädigung von Fr. 800.-- den Mietern.
C.
Die Mieter beantragen dem Bundesgericht, die Verfügung des Obergerichts des Kantons Aargau vom 20. Oktober 2015 sei aufzuheben. Auf das Mietausweisungsgesuch vom 4. August 2015 sei nicht einzutreten, eventuell sei es abzuweisen. Es sei den Beschwerdeführern für das Berufungsverfahren vor Obergericht die unentgeltliche Rechtspflege zu bewilligen und Dr. Peter Steiner als unentgeltlichen Rechtsvertreter beizugeben.
Ausserdem ersuchen sie für das bundesgerichtliche Beschwerdeverfahren um Bewilligung der unentgeltlichen Rechtspflege mit Dr. Peter Steiner als unentgeltlichen Rechtsvertreter.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Ist streitig, ob die Voraussetzungen für die Anordnung der Räumung der streitbetroffenen Liegenschaft im summarischen Verfahren nach <ref-law> (sog. "Rechtsschutz in klaren Fällen") gegeben sind, ist als Streitwert der durch die Verzögerung mutmasslich entstehende Schaden zu betrachten, wenn die Voraussetzungen einer Ausweisung im Verfahren nach <ref-law> verneint werden. Dieser besteht im hypothetisch anfallenden bzw. entgangenen Miet- oder Gebrauchswert für die Zeit, bis voraussichtlich ein Ausweisungsentscheid in einem Prozess im ordentlichen Verfahren ergehen könnte (Urteile 4A_152/2015 vom 8. Juni 2015 E. 1.2; 4A_449/2014 vom 19. November 2014 E. 2.1; 4A_622/2013 vom 26. Mai 2014 E. 2; 4A_273/2012 vom 30. Oktober 2012 E. 1.2.2, nicht publ. in: <ref-ruling>; je mit Hinweisen). Die erste Instanz ging unwidersprochen voneiner Dauer von 6 Monaten und mithin einem Streitwert von Fr. 10'140.-- aus. Auch gemäss Vorinstanz beläuft sich der Streitwert auf weniger als Fr. 15'000.--. Die Beschwerdeführer stellen dies nicht in Frage. Davon ist auszugehen. Die Grenze für die Zulässigkeit der Beschwerde in Zivilsachen in mietrechtlichen Fällen (<ref-law>) ist somit nicht erreicht. Demnach ist die Beschwerde als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>).
2.
2.1. Wird ein Mieter zwangsweise aus einer Mietwohnung ausgewiesen oder verlässt er diese - wie vorliegend - von sich aus, nachdem er eine andere Wohnung gefunden hat, und übergibt er sie der Vermieterschaft, sind nach der bundesgerichtlichen Praxis Beschwerdeverfahren, welche die Anfechtung der Kündigung sowie die Ausweisung des Mieters betreffen, als gegenstandslos abzuschreiben (<ref-ruling> E. 3.3 S. 247 f.; Verfügung 4A_364/2014 vom 18. September 2014 E. 1.1; Urteil 4A_622/2013 vom 26. Mai 2014 E. 1; je mit Hinweisen).
2.2. Die Vorinstanz stellte fest, die Beschwerdeführer hätten nicht behauptet, sie wollten am Mietvertrag mit der Beschwerdegegnerin festhalten und die von der Beschwerdegegnerin vermietete Wohnung weiterhin mieten. Vielmehr hätten sie die Wohnung nach unbestrittener Darstellung der Beschwerdegegnerin verlassen und könnten daher kein rechtlich geschütztes Interesse an der Anfechtung des Ausweisungsentscheides haben.
Die Beschwerdeführer beanstanden erstere Feststellung als willkürlich. Sie zitieren ihre diesbezüglichen Ausführungen vor Vorinstanz:
"Auch wenn sich die [Beschwerdeführer] in einer anderen Gemeinde angemeldet haben, haben sie nach wie vor ein genügendes Rechtsschutzinteresse, sich gegen die zu Unrecht erfolgte Ausweisung durch die Vorinstanz zur Wehr zu setzen. Einerseits ist ein Mietvertrag für eine Wohnung nicht davon abhängig, ob man ausschliesslich darin wohnt oder nicht. Andererseits sind die [Beschwerdeführer] auch durch die im angefochtenen Entscheid ergangenen Kostenfolgen beschwert."
Die Vorinstanz hat diese Ausführungen wiedergegeben und beachtet. Wenn sie jedoch in der zwar grundsätzlich richtigen, aber allzu allgemeinen Aussage, ein Mietvertrag für eine Wohnung sei nicht davon abhängig, dass man ausschliesslich darin wohne oder nicht, keine konkrete Behauptung erkennen konnte, wonach die Beschwerdeführer die Wohnung, aus der sie ausgezogen sind, weiterhin mieten wollten, ist dies keineswegs unhaltbar, sondern vielmehr nachvollziehbar.
Die Vorinstanz ging demnach entgegen dem Vorbringen der Beschwerdeführer zu Recht davon aus, die Beschwerdeführer hätten mit dem Auszug aus der Wohnung kein rechtlich geschütztes Interesse mehr an der Anfechtung der Mietausweisung.
2.3. Aus den vorstehenden Erwägungen ergibt sich sodann, dass den Beschwerdeführern das Rechtsschutzinteresse am mit der Beschwerde an das Bundesgericht weiterhin beantragten Nichteintreten auf das Mietausweisungsgesuch vom 4. August 2015 bereits im Zeitpunkt der Beschwerdeeinreichung abging, weshalb insoweit auf die Beschwerde nicht eingetreten werden kann (<ref-law>; <ref-ruling> E. 1.1; <ref-ruling> E. 1.3.1 S. 24 f.).
3.
Die Beschwerdeführer beanstanden ferner den Kostenentscheid der Vorinstanz. Sie rügen eine willkürliche Anwendung von <ref-law> und eine willkürliche Ermessensausübung.
3.1. Ist ein Beschwerdeführer zur Anfechtung in der Sache selber nicht legitimiert oder hat er kein aktuelles Interesse mehr an der Anfechtung des Hauptsachenentscheids, kann er zwar dennoch gegen den Kostenentscheid Beschwerde führen, soweit er durch diesen persönlich und unmittelbar in seinen Interessen betroffen wird (<ref-ruling> E. 1b S. 255; Urteil 4A_93/2015 vom 22. September 2015 E. 1.3.2.4). Die Belastung mit Kosten verschafft ihm indes keine Möglichkeit, indirekt über den Kostenentscheid eine Überprüfung des Entscheids in der Hauptsache, d.h. vorliegend über die Zulässigkeit der angeordneten Ausweisung im Verfahren nach <ref-law>, zu erlangen. Daher kann er nur geltend machen, die Kostenverlegung verstosse aus einem anderen Grund als dem blossen Umstand, dass er in der Hauptsache unterlag, gegen seine verfassungsmässigen Rechte (Urteile 4A_93/2015 vom 22. September 2015 E. 1.3.2.4; 4A_576/2014 vom 25. März 2014 E. 1.3.2; Verfügung 4A_364/2014 vom 18. September 2014 E. 1.2.2; je mit Hinweisen).
Letzteres verkennen die Beschwerdeführer. Sie diskutieren die Erfolgschancen ihrer Berufung und zitieren ihre Ausführungen in der Berufungsschrift, welche die Vorinstanz angeblich in Verletzung ihres Gehörsanspruchs nicht beachtet habe. Die Vorinstanz hat jedoch miteingehender Erwägung verneint, dass die Beschwerdeführer mit der Zusendung der drei Checks am 15. Juni 2015 ihrer Zahlungspflicht nachgekommen seien. Sie ist im Rahmen der Beurteilung der Erfolgschancen der Berufung entgegen der Behauptung der Beschwerdeführer in genügender Weise auf ihre Vorbringen eingegangen und hat sie mit überzeugender Begründung verworfen. Weder die Gehörsrüge noch der Willkürvorwurf ist begründet.
3.2. Das Gericht kann von den Verteilungsgrundsätzen nach <ref-law> abweichen und die Prozesskosten nach Ermessen verteilen, wenn das Verfahren als gegenstandslos abgeschrieben wird und das Gesetz nichts anderes vorsieht (<ref-law>). Dabei ist etwa zu berücksichtigen, welche Partei Anlass zur Klage gegeben hat, welches der mutmassliche Prozessausgang gewesen wäre und bei welcher Partei die Gründe eingetreten sind, die dazu geführt haben, dass das Verfahren gegenstandslos wurde (Urteile 4A_346/2015 vom 16. Dezember 2015 E. 5; 5A_885/2014 vom 19. März 2015 E. 2.4).
Das Bundesgericht überprüft Ermessensentscheide gemäss ständiger Praxis nur mit Zurückhaltung. Es ersetzt namentlich das Ermessen der Vorinstanz nicht durch sein eigenes, sondern schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die zwingend hätten beachtet werden müssen. Ausserdem greift das Bundesgericht in Ermessensentscheide ein, falls sich diese als offensichtlich unbillig bzw. als in stossender Weise ungerecht erweisen (<ref-ruling> E. 11.2; <ref-ruling> E. 2.1 S. 254; <ref-ruling> E. 2.2.1. S. 279).
Die Vorinstanz erwog, die Beschwerdeführer hätten Anlass zur Kündigung und damit zur Klage gegeben. Vor der ersten Instanz seien sie unterlegen und hätten auch vor Obergericht mutmasslich nicht obsiegt. Die Beschwerdeführer zeigen keine willkürliche Ermessensausübung auf, indem sie bloss auf ihrem vor Vorinstanz eingenommenen Standpunkt beharren. Die Vorinstanz hat in willkürfreier Anwendung der massgebenden Kriterien der Kostenverteilung bei Verfahrensabschreibung zufolge Gegenstandslosigkeit zu Recht die Prozesskosten den Beschwerdeführern auferlegt, die Anlass zur Kündigung und zur Klage gaben, deren Berufung aussichtslos erschien, und die den Grund für die Gegenstandslosigkeit setzten.
Unbilligkeit ergibt sich auch nicht aufgrund des vorgebrachten Umstands, wonach die Parteien an der Verhandlung vom 24. März 2015 vor Bezirksgericht einen Vergleich abgeschlossen hätten, der aber von der Beschwerdegegnerin am 30. März 2015 widerrufen worden sei. Ohnehin findet dieses Vorbringen in der angefochtenen Verfügung keine Stütze und wird nicht mit präzisen Aktenhinweisen belegt, weshalb es vor Bundesgericht nicht berücksichtigt werden kann (<ref-law>). Das Bundesgericht hat somit keinen hinreichenden Anlass, in den Ermessensentscheid der Vorinstanz einzugreifen.
4.
In einem letzten Punkt rügen die Beschwerdeführer die Verweigerung der unentgeltlichen Rechtspflege für das Berufungsverfahren als verfassungswidrig (Art. 9, 29 Abs. 1 und 3 und <ref-law>, Art. 6 Ziff. 1 EMRK).
Die Vorinstanz wies das Gesuch um Bewilligung der unentgeltlichen Rechtspflege für das Berufungsverfahren ab, weil die Beschwerdeführer ihre Mittellosigkeit nicht belegt hätten. Die eingereichte Bestätigung betreffend Sozialhilfe der Gemeinde E._ vom 8. April 2015 sei nicht mehr aktuell. Ausserdem sei die Berufung aussichtslos.
Dieser Entscheid ist nicht zu beanstanden. Nachdem die Beschwerdeführer die rechtzeitige Bezahlung des Mietzinsausstandes nicht zu belegen vermochten, indem sie bloss auf der Zusendung der drei Checks am 15. Juni 2015 beharren, ohne die diesbezüglichen Erwägungen der Vorinstanz als willkürlich auszuweisen, ist die Verweigerung der unentgeltlichen Rechtspflege bereits wegen Aussichtslosigkeit verfassungskonform. Damit erübrigt es sich, auf die Frage des Belegs der Bedürftigkeit näher einzugehen. Immerhin kann auf die diesbezüglichen Erwägungen im Parallelverfahren, Urteil 4A_667/2015 vom 22. Januar 2016 E. 3, verwiesen werden, die auch vorliegend gelten, zumal die Beschwerdeführer ihre Beschwerde insofern weitgehend identisch formulieren wie in jenem Verfahren.
5.
Soweit von rechtsgenüglich begründeten Verfassungsrügen auszugehen ist, erweist sich die Beschwerde als unbegründet (Art. 116 und Art. 106 Abs. 2 BGG). Sie ist abzuweisen, soweit darauf eingetreten werden kann.
Da sie von vornherein als aussichtslos erschien, kann dem Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren nicht entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Die Gerichtskosten sind somit den unterliegenden Beschwerdeführern in solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Da keine Vernehmlassung eingeholt worden ist und der Beschwerdegegnerin somit keine Kosten erwachsen sind, entfällt die Zusprechung einer Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 22. Januar 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger