Sachverhalt: A. A.a. Am 20. Dezember 2013 schlossen A.A._ und B.A._ (Mieter, Beschwerdeführer) mit der C._ AG (Vermieterin, Beschwerdegegnerin) einen unbefristeten, erstmals per 1. Januar 2019 kündbaren Mietvertrag über eine 4-Zimmer-Maisonettewohnung an der D._-Strasse in E._ zu einem monatlichen Mietzins von Fr. 1'540.-- plus Nebenkosten. A.b. Am 16. Mai 2014 kündigte die Vermieterin das Mietverhältnis ausserordentlich per 30. September 2014, gestützt auf Art. 257f Abs. 3 und 4 OR (Verletzung der Pflicht zu Sorgfalt und Rücksichtnahme) und Art. 266g OR (Kündigung aus wichtigen Gründen). Die Mieter fochten diese Kündigung an. Mit Verfügung vom 20. Oktober 2015 schrieb das Obergericht des Kantons Aargau auf Berufung der Mieter hin die Klage und die Berufung als gegenstandslos geworden ab. Die Mieter haben gegen diese Verfügung Beschwerde an das Bundesgericht erhoben (Verfahren 4A_667/2015). A.c. Am 23. Juni 2015 kündigte die Vermieterin das Mietverhältnis erneut ausserordentlich, diesmal wegen Zahlungsrückstands gestützt auf Art. 257d Abs. 2 OR auf den 31. Juli 2015. Am 30. Juli 2015 reichten die Mieter ein Schlichtungsgesuch ein. B. Mit Begehren vom 4. August 2015 im Sinne von Art. 257 ZPO ersuchte die Vermieterin das Bezirksgericht Bremgarten, die Mieter seien unter Androhung der polizeilichen Vollstreckung zu verpflichten, das Mietobjekt unverzüglich zu räumen und zu verlassen. Am 7. September 2015 hiess der Gerichtspräsident das Gesuch gut und verpflichtete die Mieter, die 4-Zimmer-Maisonettewohnung, Hausteil rechts, Dachgeschoss rechts, an der D._-Strasse in E._ bis spätestens am 21. September 2015 zu verlassen und ordnungsgemäss zu räumen. Für den Widerhandlungsfall werde als Vollstreckungsmassnahme die polizeiliche Räumung angeordnet (Dispositivziffer 1). Gegen diesen Entscheid erhoben die Mieter Berufung an das Obergericht des Kantons Aargau. Sie beantragten weiterhin, auf das Gesuch vom 4. August 2015 sei nicht einzutreten. Der Instruktionsrichter des Obergerichts erwog, die Kläger seien gemäss Auskunft über Personendaten der Gemeinde E._ vom 23. September 2015 per 31. August 2015 an die F._-Strasse in G._ gezogen. Mit dem Auszug aus der streitbetroffenen Wohnung hätten sie kein rechtlich geschütztes Interesse an der Anfechtung des Ausweisungsentscheids. Die Klage sei gegenstandslos geworden und abzuschreiben. Mit Verfügung vom 20. Oktober 2015 hob er dementsprechend Dispositivziffer 1 des erstinstanzlichen Entscheids auf und verfügte stattdessen, die Klage werde als gegenstandslos geworden abgeschrieben. Sodann schrieb er die Berufung als gegenstandslos geworden ab. Das Gesuch der Mieter um Bewilligung der unentgeltlichen Rechtspflege für das Berufungsverfahren wies er ab und auferlegte die obergerichtliche Entscheidgebühr von Fr. 200.-- und eine Parteientschädigung von Fr. 800.-- den Mietern. C. Die Mieter beantragen dem Bundesgericht, die Verfügung des Obergerichts des Kantons Aargau vom 20. Oktober 2015 sei aufzuheben. Auf das Mietausweisungsgesuch vom 4. August 2015 sei nicht einzutreten, eventuell sei es abzuweisen. Es sei den Beschwerdeführern für das Berufungsverfahren vor Obergericht die unentgeltliche Rechtspflege zu bewilligen und Dr. Peter Steiner als unentgeltlichen Rechtsvertreter beizugeben. Ausserdem ersuchen sie für das bundesgerichtliche Beschwerdeverfahren um Bewilligung der unentgeltlichen Rechtspflege mit Dr. Peter Steiner als unentgeltlichen Rechtsvertreter. Es wurden keine Vernehmlassungen eingeholt.