Sachverhalt: A. Die C._ AG (Vermieterin, Beschwerdegegnerin) vermietete A.A._ und B.A._ (Mieter, Beschwerdeführer) mit Vertrag vom 15. Juli 2008 eine Dreizimmerwohnung in der Liegenschaft U._. Mit öffentlich beurkundetem Kaufvertrag vom 16. Februar 2012 wurde die Liegenschaft an D._ verkauft. Diese kündigte den Mietvertrag mit amtlichem Formular vom 30. Juni 2012. Die Mieter fochten die Kündigung bei der Schlichtungsstelle für Miete und Pacht des Bezirks Baden an. Noch während des Schlichtungsverfahrens veräusserte D._ die Mietliegenschaft am 12. September 2012 wiederum an die C._ AG. Die Schlichtungsstelle stellte den Mietern am 24. Januar 2013 die Klagebewilligung aus. Die Mieter erhoben am 28. Februar 2013 beim Bezirksgericht Baden Klage gegen D._. Sie beantragten u.a., es sei festzustellen, dass die Kündigung des Mietverhältnisses vom 5. März 2012 per 30. Juni 2012 ungültig ist, eventualiter sei das Mietverhältnis der Parteien um 4 Jahre zu erstrecken. Der Präsident des Bezirksgerichts Baden trat am 17. Juni 2013 auf die Klage mangels Passivlegitimation von D._ nicht ein. Dieser Entscheid blieb insoweit unangefochten. Eine gegen die Kostenverteilung und die Verweigerung der unentgeltlichen Rechtspflege gerichtete Beschwerde der Mieter wies das Obergericht des Kantons Aargau am 3. September 2013 ab. Das Bundesgericht, an das die Mieter in der Folge gelangten, verweigerte diesen mit Verfügung vom 5. November 2013 die Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren und trat mit Entscheid vom 6. Januar 2014 auf das Rechtsmittel mangels Leistung des Kostenvorschusses nicht ein (Verfahren 4A_529/2013). B. Auf Klage der C._ AG vom 11. September 2013 stellte der Präsident des Bezirksgerichts Baden mit Entscheid vom 7. November 2013 im Verfahren nach Art. 257 ZPO fest, dass das Mietverhältnis zwischen der C._ AG und den Mietern hinsichtlich der vorstehend genannten Wohnung sowie Lager und Gewerberaum seit dem 30. Juni 2012 aufgelöst sei, und verpflichtete die Mieter, das Mietobjekt bis spätestens innert 10 Tagen nach Zustellung des Entscheids zu räumen und ordnungsgemäss zu übergeben. Gleichzeitig wies er das Gesuch der Mieter um Gewährung der unentgeltlichen Rechtspflege wegen Aussichtslosigkeit von deren Rechtsbegehren ab. Das Obergericht des Kantons Aargau, an das die Mieter in der Folge gelangten, trat mit Entscheid vom 10. Dezember 2013 auf ihr Ablehnungsbegehren gegen die Oberrichter Bürgi, Lienhard und Richli nicht ein. Gleichzeitig wies es die Beschwerde gegen den Entscheid vom 7. November 2013 ab, soweit es darauf eintrat. Ein Gesuch der Mieter um unentgeltliche Rechtspflege für das Beschwerdeverfahren wies es wegen Aussichtslosigkeit von deren Rechtsbegehren ab. C. Die Mieter beantragen mit Beschwerde in Zivilsachen, der Entscheid vom 10. Dezember 2013 sei aufzuheben, auf die Klage vom 11. September 2013 sei nicht einzutreten und den Beschwerdeführern für die vorinstanzlichen Verfahren die unentgeltliche Rechtspflege zu bewilligen. Ferner ersuchen sie um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren. Mit Verfügung vom 10. Februar 2014 trat die Präsidentin der I. zivilrechtlichen Abteilung auf ein Gesuch der Beschwerdeführer um Erteilung der aufschiebenden Wirkung nicht ein.