Sachverhalt: A. Am 20. Dezember 2013 schlossen A.A._ und B.A._ (Mieter, Beschwerdeführer) mit der C._ AG (Vermieterin, Beschwerdegegnerin) einen unbefristeten, erstmals per 1. Januar 2019 kündbaren Mietvertrag über eine 4-Zimmer-Maisonettewohnung an der D._-Strasse in E._ zu einem monatlichen Mietzins von Fr. 1'540.- plus Nebenkosten. Am 16. Mai 2014 kündigte die Vermieterin das Mietverhältnis ausserordentlich per 30. September 2014. Sie nannte mehrere Gründe für die Kündigung und stützte sich dabei sowohl auf Art. 257f Abs. 3 und 4 OR (Verletzung der Pflicht zu Sorgfalt und Rücksichtnahme) als auch auf Art. 266g OR (Kündigung aus wichtigen Gründen). B. Mit Klage vom 24. September 2014 beantragten die Mieter dem Bezirksgericht Bremgarten, es sei festzustellen, dass die Kündigung vom 16. Mai 2014 ungültig ist. Am 29. April 2015 wies der Präsident des Bezirksgerichts Bremgarten die Klage ab. Die Entscheidgebühr von Fr. 4'535.-- auferlegte er den Klägern solidarisch. Zufolge Bewilligung der unentgeltlichen Rechtspflege gehe sie einstweilen zulasten des Kantons. A usserdem verpflichtete er die Mieter, der Vermieterin eine Parteientschädigung von Fr. 6'602.65 zu bezahlen. Gegen diesen Entscheid erhoben die Mieter Berufung an das Obergericht des Kantons Aargau. Sie beantragten weiterhin die Feststellung, dass die Kündigung vom 16. Mai 2014 ungültig sei. Der Instruktionsrichter des Obergerichts erwog, die Kläger seien gemäss Auskunft über Personendaten der Gemeinde E._ vom 23. September 2015 per 31. August 2015 an die F._-Strasse in G._ gezogen. Unter diesen Umständen könnten sie kein rechtlich geschütztes Interesse an der beantragten Feststellung der Ungültigkeit der Kündigung vom 16. Mai 2014 haben. Mit Verfügung vom 20. Oktober 2015 hob er den erstinstanzlichen Entscheid auf und verfügte stattdessen, die Klage werde als gegenstandslos geworden abgeschrieben. Die erstinstanzliche Entscheidgebühr auferlegte er den Parteien je zur Hälfte, wobei der Anteil der Mieter zufolge Bewilligung der unentgeltlichen Rechtspflege einstweilen zulasten des Kantons gehe. Die Parteikosten würden wettgeschlagen. Sodann schrieb er die Berufung als gegenstandslos geworden ab. Das Gesuch der Mieter um Bewilligung der unentgeltlichen Rechtspflege für das Berufungsverfahren wies er ab und auferlegte die obergerichtliche Entscheidgebühr von Fr. 200.-- den Parteien je zur Hälfte. Die Parteikosten schlug er wett. C. Die Mieter beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, die Verfügung des Obergerichts des Kantons Aargau vom 20. Oktober 2015 sei aufzuheben. Es sei festzustellen, dass die von der Vermieterin ausgesprochene Kündigung vom 16. Mai 2014 des Mietverhältnisses ungültig sei. Es sei den Beschwerdeführern für das Berufungsverfahren vor Obergericht die unentgeltliche Rechtspflege zu bewilligen und Dr. Peter Steiner als unentgeltlichen Rechtsvertreter beizugeben. Ausserdem ersuchen sie für das bundesgerichtliche Beschwerdeverfahren um Bewilligung der unentgeltlichen Rechtspflege mit Dr. Peter Steiner als unentgeltlichen Rechtsvertreter. Es wurden keine Vernehmlassungen eingeholt.