Sachverhalt:
A.
Die C._ AG (Vermieterin, Beschwerdegegnerin) vermietete A.A._ und B.A._ (Mieter, Beschwerdeführer) mit Vertrag vom 15. Juli 2008 eine Dreizimmerwohnung in der Liegenschaft U._.
Mit öffentlich beurkundetem Kaufvertrag vom 16. Februar 2012 wurde die Liegenschaft an D._ verkauft. Diese kündigte den Mietvertrag mit amtlichem Formular vom 30. Juni 2012. Die Mieter fochten die Kündigung bei der Schlichtungsstelle für Miete und Pacht des Bezirks Baden an.
Noch während des Schlichtungsverfahrens veräusserte D._ die Mietliegenschaft am 12. September 2012 wiederum an die C._ AG.
Die Schlichtungsstelle stellte den Mietern am 24. Januar 2013 die Klagebewilligung aus.
Die Mieter erhoben am 28. Februar 2013 beim Bezirksgericht Baden Klage gegen D._. Sie beantragten u.a., es sei festzustellen, dass die Kündigung des Mietverhältnisses vom 5. März 2012 per 30. Juni 2012 ungültig ist, eventualiter sei das Mietverhältnis der Parteien um 4 Jahre zu erstrecken.
Der Präsident des Bezirksgerichts Baden trat am 17. Juni 2013 auf die Klage mangels Passivlegitimation von D._ nicht ein. Dieser Entscheid blieb insoweit unangefochten. Eine gegen die Kostenverteilung und die Verweigerung der unentgeltlichen Rechtspflege gerichtete Beschwerde der Mieter wies das Obergericht des Kantons Aargau am 3. September 2013 ab. Das Bundesgericht, an das die Mieter in der Folge gelangten, verweigerte diesen mit Verfügung vom 5. November 2013 die Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren und trat mit Entscheid vom 6. Januar 2014 auf das Rechtsmittel mangels Leistung des Kostenvorschusses nicht ein (Verfahren 4A_529/2013).
B.
Auf Klage der C._ AG vom 11. September 2013 stellte der Präsident des Bezirksgerichts Baden mit Entscheid vom 7. November 2013 im Verfahren nach Art. 257 ZPO fest, dass das Mietverhältnis zwischen der C._ AG und den Mietern hinsichtlich der vorstehend genannten Wohnung sowie Lager und Gewerberaum seit dem 30. Juni 2012 aufgelöst sei, und verpflichtete die Mieter, das Mietobjekt bis spätestens innert 10 Tagen nach Zustellung des Entscheids zu räumen und ordnungsgemäss zu übergeben. Gleichzeitig wies er das Gesuch der Mieter um Gewährung der unentgeltlichen Rechtspflege wegen Aussichtslosigkeit von deren Rechtsbegehren ab.
Das Obergericht des Kantons Aargau, an das die Mieter in der Folge gelangten, trat mit Entscheid vom 10. Dezember 2013 auf ihr Ablehnungsbegehren gegen die Oberrichter Bürgi, Lienhard und Richli nicht ein. Gleichzeitig wies es die Beschwerde gegen den Entscheid vom 7. November 2013 ab, soweit es darauf eintrat. Ein Gesuch der Mieter um unentgeltliche Rechtspflege für das Beschwerdeverfahren wies es wegen Aussichtslosigkeit von deren Rechtsbegehren ab.
C.
Die Mieter beantragen mit Beschwerde in Zivilsachen, der Entscheid vom 10. Dezember 2013 sei aufzuheben, auf die Klage vom 11. September 2013 sei nicht einzutreten und den Beschwerdeführern für die vorinstanzlichen Verfahren die unentgeltliche Rechtspflege zu bewilligen. Ferner ersuchen sie um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.
Mit Verfügung vom 10. Februar 2014 trat die Präsidentin der I. zivilrechtlichen Abteilung auf ein Gesuch der Beschwerdeführer um Erteilung der aufschiebenden Wirkung nicht ein.

Erwägungen:
1.
Die Präsidentin der I. zivilrechtlichen Abteilung führte in der Verfügung vom 10. Februar 2014 aus, das Gesuch der Beschwerdeführer um aufschiebende Wirkung sei damit begründet worden, dass die sofortige Ausweisung der Beschwerdeführer aus der Mietwohnung verhindert werden müsse. Die Beschwerdegegnerin habe mit Stellungnahme vom 10. Januar 2014 darauf hingewiesen, dass die Beschwerdeführer die Mietwohnung bereits verlassen hätten. Diese Stellungnahme sei am 13. Januar 2014 an die Beschwerdeführer versandt worden, die sich dazu nicht geäussert hätten. Unter diesen Umständen sei davon auszugehen, dass der Zweck des Gesuchs um aufschiebende Wirkung, nämlich die Verhinderung der Ausweisung, nicht mehr erreicht werden könne, weshalb auf das Gesuch mangels schützenswerten Interesses der Beschwerdeführer nicht einzutreten sei. Die Beschwerdeführer reagierten auf diese Verfügung, die ihnen am 17. Februar 2014 zugestellt wurde, nicht. Unter diesen Umständen ist weiterhin davon auszugehen, dass die Beschwerdeführer das Mietobjekt bereits verlassen haben.
Den Beschwerdeführern fehlt daher im heutigen Zeitpunkt ein aktuelles Rechtsschutzinteresse an der Beurteilung der vorliegenden Beschwerde, soweit sie sich gegen die vorinstanzliche Abweisung der Beschwerde gegen die erstinstanzliche Feststellung der Auflösung des Mietverhältnisses per 30. Juni 2012 durch die Erstinstanz richtet. In diesem Punkt und auch soweit sich die Beschwerde gegen die vorinstanzliche Abweisung der Beschwerde gegen den erstinstanzlichen Räumungsbefehl richtet, ist sie gegenstandslos (vgl. <ref-ruling> E. 1; <ref-ruling> E. 3a S. 354).
Zu beurteilen bleibt das Begehren, es sei der Entscheid der Vorinstanz über die Verweigerung der unentgeltliche Rechtspflege für die vorinstanzlichen Verfahren aufzuheben und den Beschwerdeführern dieselbe zu bewilligen.
2.
Nach den vorinstanzlichen Feststellungen im Zusammenhang mit der Frage nach der Zulässigkeit der Berufung nach Art. 308 ff. ZPO belief sich der Streitwert im vorinstanzlichen Verfahren auf weniger als Fr. 10'000.-- und erreicht damit die Streitwertgrenze für die Zulässigkeit der Beschwerde in Zivilsachen nach Art. 74 Abs. 1 lit. a BGG nicht. Diese Feststellung wird von den Beschwerdeführern allerdings zu Recht in Frage gestellt.
Der Streitwert bestimmt sich nach Art. 51 Abs. 1 lit. a BGG bei Beschwerden gegen Endentscheide nach den Begehren, die vor der Vorinstanz streitig geblieben sind. Ist strittig, ob die Voraussetzungen für die Anordnung der Räumung der streitbetroffenen Liegenschaft im summarischen Verfahren nach Art. 257 ZPO (sog. "Rechtsschutz in klaren Fällen") gegeben sind, ist als Streitwert der durch die Verzögerung mutmasslich entstehende Schaden zu betrachten, wenn die Voraussetzungen einer Ausweisung im Verfahren nach Art. 257 ZPO verneint werden, bestehend im hypothetisch anfallenden bzw. entgangenen Miet- oder Gebrauchswert für die Zeit, bis voraussichtlich ein Ausweisungsentscheid in einem Prozess im ordentlichen Verfahren ergehen könnte (Urteil 4A_273/2012 vom 30. Oktober 2012 E. 1.2.2 mit Hinweis, nicht publ. in: <ref-ruling>).
Die Beschwerdeführer beantragten im vorinstanzlichen Verfahren u.a., es sei festzustellen, dass die Mietverhältnisse zwischen den Parteien über die Dreizimmerwohnung in der Liegenschaft U._ im Erdgeschoss sowie zwischen der Gesuchstellerin (Beschwerdegegnerin) und dem Gesuchsgegner 2 (A.A._) über den Lager- und Gewerberaum nicht aufgelöst seien. Sie stellten sich dabei auf den Standpunkt, die Kündigung sei entgegen der erstinstanzlichen Auffassung nicht rechtskräftig und die Kündigung sei mangels Parteiwechsel im Verfahren betreffend Anfechtung der Kündigung dahingefallen. Formell war damit die Kündigung strittig. Daran ändert nichts, dass über die Kündigung nach der vorinstanzlichen Auffassung bereits rechtskräftig entschieden sei. War damit die Kündigung Streitgegenstand, wird bei einem monatlichen Mietzins von Fr. 1'700.-- der Streitwert von Fr. 15'000.-- nach Art. 74 Abs. 1 lit. a BGG offensichtlich erreicht, käme doch die dreijährige Kündigungssperrfrist gemäss Art. 271a Abs. 1 lit. e OR zum Tragen, wenn die Beschwerdeführer mit ihrem Standpunkt durchdringen würden (vgl. <ref-ruling> E. 1.1).
Soweit sie nicht gegenstandslos ist, ist demnach auf die Beschwerde in Zivilsachen, deren übrige Sachurteilsvoraussetzungen zu keinen Bemerkungen Anlass geben, unter Vorbehalt einer rechtsgenügenden Begründung (nachfolgende Erwägung 3) grundsätzlich einzutreten. Ob sich eine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von Art. 74 Abs. 2 lit. a BGG stellt, wie die Beschwerdeführer geltend machen, muss nicht geprüft werden.
3.
3.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (Urteil 4A_408/2013 vom 17. Januar 2014 E. 2, zur Publikation vorgesehen; vgl. auch <ref-ruling> E. 2.1 S. 245 f.).
Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.1/2.2; <ref-ruling> E. 3.2 S. 444). Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von Art. 9 BV geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr anhand der Erwägungen des angefochtenen Urteils im Einzelnen aufzuzeigen, inwiefern dieses offensichtlich unhaltbar ist (<ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 3 S. 352). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.8; <ref-ruling> E. 2.1; <ref-ruling> E. 3.1. S. 399).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (vgl. <ref-ruling> E. 1.2; <ref-ruling> E. 2.2.2; <ref-ruling> E. 1.4.3; <ref-ruling> E. 3 und 7.1, 462 E. 2.4). Soweit sie den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_275/2011 vom 20. Oktober 2011 E. 2, nicht publ. in: <ref-ruling>; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>). Überdies hat sie darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE <ref-ruling> E. 2.2.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 1.3.1 S. 18; <ref-ruling> E. 1.4.3).
3.3. Diesen Grundsätzen trägt die vorliegende Beschwerde in verschiedener Hinsicht nicht Rechnung. Insbesondere bringen die Beschwerdeführer bei ihren Ausführungen in vielfacher Hinsicht tatsächliche Elemente ins Spiel, die im angefochtenen Urteil nicht festgestellt sind, ohne dazu Sachverhaltsrügen im vorstehenden Sinn zu substanziieren. Insoweit können sie nicht gehört werden.
4.
Die Beschwerdeführer stellten im vorinstanzlichen Verfahren ein Ausstandsbegehren gegen die drei Oberrichter Bürgi, Lienhard und Richli. Die Vorinstanz trat auf das Begehren im angefochtenen Entscheid - unter Mitwirkung von zwei der abgelehnten Richter - nicht ein, mit der Begründung, die Mitwirkung in einem früheren Verfahren der Partei genüge nicht, um einen Richter oder ein Gericht abzulehnen.
Die Beschwerdeführer rügen, die Vorinstanz sei unter willkürlicher Sachverhaltsfeststellung auf das Ausstandsbegehren nicht eingetreten, indem sie festgehalten habe, die Beschwerdeführer hätten das Begehren mit der einzigen Begründung gestellt, dass die entsprechenden Oberrichter bereits am Entscheid vom 3. September 2013 bzw. in einem früheren Verfahren der Partei mitgewirkt hätten. Die Beschwerdeführer hätten in der Berufung verlangt, die Oberrichter müssten wegen Befangenheit in den Ausstand treten, da sie bereits im Entscheid vom 3. September 2013 mitgewirkt hätten, bei dem sich vorfrageweise analoge Fragen wie im neuen Verfahren betreffend Ausweisung stellten.
In der Berufungs- bzw. Beschwerdeschrift an die Vorinstanz (S. 14) brachten die Beschwerdeführer bloss vor, sie gingen davon aus, dass die genannten Oberrichter für das Berufungsverfahren von sich aus wegen Voreingenommenheit in den Ausstand treten würden, falls sie die Auffassung verträten, die Beschwerdeführer hätten in ihrer Klage vom 28. Februar 2013 eine andere Partei als die in der Klagebewilligung als Beklagte bezeichnete einklagen müssen. Damit machten sie weder klar geltend, dass sie den Ausstand wegen Vorbefassung der abgelehnten Richter mit der gleichen Sache verlangten, noch begründeten sie in substanziierter Weise, hinsichtlich welcher sich im aktuellen Verfahren stellenden Fragen die Vorinstanz von einer relevanten Vorbefassung der Richter hätte ausgehen müssen, weil das Verfahren insoweit nicht mehr als offen erschiene (vgl. <ref-ruling> E. 4.2.1 S. 429; <ref-ruling> E. 1.2, 113 E. 3.4 S. 116 mit Hinweisen). Wenn die Vorinstanz im Lichte der vorgebrachten Begründung, es sei von einer Voreingenommenheit der Richter auszugehen, wenn sie eine gewisse Frage in einem bestimmten Sinn beantworten würden, annahm, die Richter würden bloss abgelehnt, weil sie in einem früheren Verfahren der Beschwerdeführer mitgewirkt hätten, verfiel sie nicht in Willkür. Die Beschwerde ist insoweit unbegründet.
5.
Wie bereits ausgeführt, beanstanden die Beschwerdeführer die Feststellungen der Vorinstanz zum Streitwert im vorinstanzlichen Verfahren mit Blick auf die gestellten Rechtsbegehren zu Recht (Erwägung 2 vorne; vgl. Art. 91 Abs. 1 ZPO). Die Beschwerdeführer rügen damit zu Recht, dass die Vorinstanz unzutreffenderweise angenommen habe, der für die Zulässigkeit der Berufung erforderliche Streitwert von Fr. 10'000.-- (Art. 308 Abs. 2 ZPO) sei nicht erreicht, weshalb die von ihnen eingereichte Berufung als Beschwerde zu behandeln gewesen wäre. Sie legen allerdings mit keinem Wort dar und es ist auch nicht erkennbar, inwiefern sich dies - insbesondere mit Blick auf die unterschiedliche Kognition des Gerichts im Berufungs- und im Beschwerdeverfahren - auf den Ausgang des Rechtsmittelverfahrens ausgewirkt haben soll. Eine Aufhebung des angefochtenen Entscheids rechtfertigt sich unter diesen Umständen nicht.
6.
Die Beschwerdeführer rügen, die Vorinstanz sei zu Unrecht von der Aussichtslosigkeit ihrer Begehren im erstinstanzlichen Verfahren und im Berufungsverfahren ausgegangen und habe ihnen die unentgeltliche Rechtspflege zu Unrecht verweigert.
6.1. Als aussichtslos sind Begehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde. Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer vorläufigen und summarischen Prüfung der Prozessaussichten, wobei die Verhältnisse im Zeitpunkt der Einreichung des Gesuchs massgebend sind (<ref-ruling> E. 2.2.4 mit Hinweisen).
6.2. Die Beschwerdeführer machen geltend, die Vorinstanz habe willkürlich verneint, dass die Erstinstanz ihre Begründungspflicht (Art. 29 Abs. 2 BV) verletzt habe, indem diese ihre Begründung in der Stellungnahme zum Ausweisungsbegehren vom 25. Oktober 2013 für das Dahinfallen der Kündigung als unzureichend bezeichnet, indes mit keinem Wort ausgeführt habe, weshalb dies der Fall sein soll.
Es trifft zu, dass die Erstinstanz nicht explizit ausführte, weshalb die Begründung der Beschwerdeführer zum Dahinfallen der Kündigung mangels Parteiwechsel im Kündigungsanfechtungsverfahren unzureichend sein soll. Allerdings ergibt sich aus ihren Erwägungen, dass sie die Begründung bloss in dem Sinne als unzureichend betrachtete, als sie geeignet gewesen wäre, das Nichtvorliegen eines klaren Falles nach Art. 257 ZPO aufzuzeigen, nicht aber in dem Sinne, dass sie auf das Argument der Beschwerdeführer mangels Erfüllung der Begründungsanforderungen nicht eingetreten wäre. So behandelte sie das Argument des Dahinfallens der Kündigung mangels Parteiwechsels durch Verweis auf den Entscheid des Obergerichts des Kantons Aargau vom 3. September 2013. Daraus ergibt sich von selbst, weshalb sie die Stellungnahme im vorstehend ausgeführten Sinn als unzureichend bezeichnete. Eine Gehörsverletzung ist nicht erkennbar und wurde von der Vorinstanz zu Recht verneint.
6.3. Die Beschwerdeführer halten dafür, die Vorinstanz habe zu Unrecht die Anwendung der Verfahrensart "Rechtsschutz in klaren Fällen" gemäss Art. 257 ZPO für zulässig erachtet. Sie vertreten die Auffassung, es hätte eines ausdrücklichen Antrags der Beschwerdegegnerin bedurft, dieses Verfahren anzuwenden. Die Erst- bzw. die Vorinstanz hätten mangels eines solchen Antrags gegen die Dispositionsmaxime verstossen. Ausserdem sei weder der Sachverhalt unbestritten oder sofort beweisbar noch die Rechtslage klar.
Die Vorinstanz hielt dazu in einer Hauptbegründung fest, die Beschwerdegegnerin habe zwar nicht ausdrücklich verlangt, das Gesuch im summarischen Verfahren nach Art. 257 ZPO zu behandeln, doch hätte die Erstinstanz das Begehren gestützt auf die Begründung, insbesondere aufgrund der in Rechtskraft erwachsenen Kündigung und des Fehlens der Klagebewilligung der Schlichtungsbehörde (Art. 198 lit. a ZPO), in diesem Sinn auslegen dürfen (<ref-ruling> E. 6.2).
Die Beschwerdeführer legen nicht hinreichend dar, inwiefern diese Auffassung der Vorinstanz gegen Bundesrecht verstossen soll, indem sie bloss darauf beharren, die Beschwerdegegnerin hätte ein ausdrückliches Begehren auf Durchführung des Verfahrens nach Art. 257 ZPO stellen müssen. Indem sie sich im Weiteren bloss gegen eine Zusatzbegründung der Vorinstanz zu diesem Punkt wenden, vermögen sie die Auslegung des Begehrens durch die Vorinstanz nicht umzustossen, nach der dessen Behandlung im Verfahren nach Art. 257 ZPO nicht zu beanstanden ist. Ob die Wahl einer besonderen, dem Anliegen der Prozessökonomie entsprechenden Verfahrensart durch das Gericht ohne entsprechenden Parteiantrag überhaupt geeignet ist, gegen die Dispositions- oder Verhandlungsmaxime zu verstossen, wie die Beschwerdeführer geltend machen, ist überdies fraglich, kann hier indessen offen bleiben.
6.4. In der Sache hielt die Vorinstanz dafür, der Sachverhalt sei sofort beweisbar und die Rechtslage klar, so dass die Erstinstanz zu Recht die Voraussetzungen nach Art. 257 ZPO für den Rechtsschutz in klaren Fällen als gegeben erachtet und die Ausweisung angeordnet habe. Die Kündigung des Mietverhältnisses sei rechtskräftig geworden, nachdem die Beschwerdeführer es unterlassen hätten, den Entscheid vom 17. Juni 2013 anzufechten, mit dem das Bezirksgericht auf die Kündigungsanfechtungsklage nicht eingetreten sei. Der Auffassung der Beschwerdeführer, die Kündigung sei dahingefallen, weil die Beschwerdegegnerin nicht in den Feststellungsprozess (betreffend der Gültigkeit der Kündigung) eingetreten sei, sei in zweifacher Hinsicht unzutreffend. Erstens sei die Beschwerdegegnerin von Gesetzes wegen (Art. 261 Abs. 1 OR) als neue Eigentümerin und Vermieterin anstelle von D._ in den Prozess eingetreten, da Kündigung und Erstreckung Gegenstand des hängigen Verfahrens bildeten. Die Beschwerdeführer hätten keinen Grund für ihre Auffassung genannt, dass die betreffende Rechtsprechung (<ref-ruling> E. 4c/aa S. 277) unter der Schweizerischer Zivilprozessordnung zu "präzisieren" sei und ein solcher sei auch nicht zu sehen. Zweitens sei das Mietverhältnis nach Art. 261 Abs. 1 OR mit allen Rechten und Pflichten in gekündigtem Zustand mit dem Eigentum an der Mietliegenschaft auf die Beschwerdegegnerin übergegangen und diese könne als neue Eigentümerin und Vermieterin der Liegenschaft gestützt auf die rechtskräftige Kündigung die Ausweisung der Beschwerdeführer verlangen.
Diese Ausführungen erscheinen zutreffend und erweisen sich auch im Lichte der Ausführungen der Beschwerdeführer als rechtsbeständig. Die Beschwerdeführer bringen im Wesentlichen vor, die Beschwerdegegnerin habe zu Unrecht ein Ausweisungsbegehren gestellt, sei sie doch im Kündigungsanfechtungsverfahren nicht infolge Parteiwechsels in das Verfahren eingetreten und könne dieses Verfahren somit für sie keine Geltung haben. Über die Gültigkeit der Kündigung sei überhaupt nie entschieden worden, da das Bezirksgericht am 27. Juni 2013 einen Nichteintretensentscheid habe fällen müssen, nachdem die Beschwerdegegnerin bzw. D._ einen Handwechsel betreffend der Mietliegenschaft herbeigeführt und nachfolgend einen Parteiwechsel im Kündigungsanfechtungsverfahren verhindert habe.
Diese Vorbringen sind unbehelflich und vermögen die vorinstanzlichen Erwägungen nicht zu entkräften, dass die Kündigung des Mietverhältnisses rechtskräftig geworden ist, nachdem die Beschwerdeführer den Nichteintretensentscheid vom 27. Juni 2013 nicht angefochten haben und dass das Mietverhältnis nach Art. 261 Abs. 1 OR in gekündigtem Zustand mit dem Eigentum an der Mietliegenschaft auf die Beschwerdegegnerin übergegangen ist. Dass es mangels Anfechtung des Nichteintretensentscheids nie zu einer materiellen Überprüfung der Gültigkeit der Kündigung kam, was sich die Beschwerdeführer selber zuzuschreiben haben, ist bei dieser Sachlage nicht ausschlaggebend und der Beschwerdegegnerin kann auch kein Verstoss gegen Treu und Glauben vorgeworfen werden, wenn sie gestützt auf die rechtskräftig gewordene Kündigung ein Ausweisungsverfahren einleitete.
Überdies hätte es der Umstand, dass die Beschwerdegegnerin von Gesetzes wegen in den Prozess betreffend Kündigungsanfechtung eingetreten war, den Beschwerdeführern - entgegen ihrer Auffassung - ermöglicht, einen Parteiwechsel herbeizuführen oder gar von Beginn weg die "richtige" Partei ins Recht zu fassen, wussten sie doch nach den unbestrittenen Ausführungen im erstinstanzlichen Entscheid schon während des Sühnverfahrens vom Eigentümerwechsel. Die Beschwerdeführer beharren zwar auf ihrer Ansicht, nach Art. 83 Abs. 1 ZPO hätte es - anders als nach der in <ref-ruling> E. 4c/aa S. 277 publizierten Rechtsprechung - eines formellen Parteiwechsels bedurft und könne nicht gestützt auf Art. 261 Abs. 1 OR von einem solchen ausgegangen werden. Soweit sie dafür überhaupt sachbezogene Gründe anführen, erheischt insbesondere auch ihr Vorbringen, dass die Schlichtungsbehörde unter der ZPO keinen Entscheid mehr über die Gültigkeit der Kündigung fällen müsse und somit bei Scheitern der Vermittlung immer der Mieter Klage einreichen müsse, keine Überprüfung der im zitierten Entscheid publizierten Praxis.
6.5. Die Erstinstanz wies das Gesuch um unentgeltliche Rechtspflege ab, nahm den Entscheid über das betreffende Begehren aber nicht ins Dispositiv ihres Entscheides auf. Die Vorinstanz führte dazu aus, es liege darin kein Grund, die Sache an die Erstinstanz zurückzuweisen. Diese könne das unvollständige Dispositiv nach Art. 334 Abs. 1 ZPO berichtigen.
Die vorinstanzliche Auffassung, es liege eine unvollständiges und der Berichtigung zugängliches Dispositiv im Sinne von Art. 334 Abs. 1 ZPO vor, wenn der vom Gericht in seinen Erwägungen gefällte Entscheid über das Begehren um Gewährung der unentgeltlichen Rechtspflege im Dispositiv keine Erwähnung findet, ist nicht zu beanstanden. Der gegenteiligen Ansicht der Beschwerdeführer, es liege nicht ein unvollständiges, sondern bezüglich der unentgeltlichen Rechtspflege überhaupt kein Dispositiv vor, so dass eine Ergänzung nicht zulässig sei, kann nicht gefolgt werden (vgl. dazu Carcagni Roesler, in: Schweizerische Zivilprozessordnung, Baker & Mc Kenzie [Hrsg.], 2010, N. 9 zu Art. 334 ZPO; Schwander, in: Schweizerische Zivilprozessordnung [ZPO], Kommentar, Brunner und andere [Hrsg.], 2011, N. 8 zu Art. 98 ZPO).
6.6. Die Vorinstanz verletzte nach dem Ausgeführten kein Bundesrecht, wenn sie den Standpunkt der Beschwerdeführer im erst- und im zweitinstanzlichen Verfahren als aussichtslos beurteilte und ihnen für beide Verfahren die unentgeltliche Rechtspflege verweigerte.
7.
Die Beschwerde ist nach dem Ausgeführten abzuweisen, soweit darauf einzutreten ist und soweit sie nicht gegenstandslos ist. Damit werden die Beschwerdeführer grundsätzlich kostenpflichtig (Art. 66 Abs. 1 BGG). Sie haben jedoch auch für das bundesgerichtliche Verfahren um Bewilligung der unentgeltlichen Rechtspflege ersucht. Diese kann ihnen bewilligt werden, da die Voraussetzungen nach Art. 64 BGG erfüllt sind. Zum einen ist die Bedürftigkeit der Beschwerdeführer ausgewiesen. Zum andern kann ihre Beschwerde nicht als zum Vornherein aussichtslos bezeichnet werden. Auch die Notwendigkeit einer rechtlichen Verbeiständung ist zu bejahen. Die Gerichtskosten sind demnach auf die Gerichtskasse zu nehmen und dem Rechtsvertreter der Beschwerdeführer ist ein Honorar aus der Gerichtskasse auszurichten. Es wird indessen auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Die Gewährung der unentgeltlichen Rechtspflege befreit die Partei nicht von der Pflicht zur Leistung einer Parteientschädigung an die Gegenpartei. Die Beschwerdeführer haben demnach der Beschwerdegegnerin, die zwar nicht zur Vernehmlassung zur Beschwerde eingeladen wurde, indessen innert angesetzter Frist zum Gesuch um aufschiebende Wirkung Stellung nahm, für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung auszurichten (Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist und soweit sie nicht gegenstandslos ist.
2.
Den Beschwerdeführern wird für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege bewilligt und es wird ihnen Rechtsanwalt Dr. Peter Steiner als Rechtsvertreter beigegeben.
3.
Es werden keine Gerichtskosten erhoben.
4.
Rechtsanwalt Dr. Peter Steiner wird aus der Bundesgerichtskasse ein Honorar von Fr. 2'500.-- ausgerichtet.
5.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen.
6.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 26. Mai 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer