Sachverhalt:
A.
A.A._ und B.A._ (Mieter, Beschwerdeführer) beantragten mit Schlichtungsgesuch vom 11. Dezember 2013 an die Schlichtungsstelle für Miete und Pacht des Bezirks Baden, es sei festzustellen, dass die am 5. März 2012 ausgesprochene Kündigung der Mietverhältnisse betreffend die Wohnung und das Lager an der Strasse U._ in V._ ungültig sei, eventuell sei das Mietverhältnis um 4 Jahre zu erstrecken. Weiter stellten sie ein Gesuch um Gewährung der unentgeltlichen Rechtspflege und Rechtsverbeiständung.
Am 25. Februar 2014 teilten die Mieter der Schlichtungsstelle mit, dass sie in der Zwischenzeit aus dem Mietobjekt ausgewiesen worden seien. Gleichzeitig zogen sie ihr Schlichtungsgesuch, nicht aber das Gesuch um Gewährung der unentgeltlichen Rechtspflege zurück. In der Folge schrieb die Schlichtungsstelle das Verfahren mit Verfügung vom 11. April 2014 ab. Sie erhob keine Verfahrenskosten und sprach keine Parteientschädigung. Den Antrag auf Bestellung einer unentgeltlichen Rechtsvertretung wies sie wegen Aussichtslosigkeit der gestellten Schlichtungsbegehren ab.
Gegen die Verweigerung der unentgeltlichen Rechtspflege gelangten die Mieter an das Obergericht des Kantons Aargau. Dieses wies ihre Beschwerde am 4. Juni 2014 ab und verweigerte gleichzeitig die für das Beschwerdeverfahren beantragte Gewährung der unentgeltlichen Rechtspflege, weil es die Beschwerde als aussichtslos betrachtete.
B.
Die Mieter erhoben mit Eingabe vom 15. August 2014Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde. Sie beantragen, den Entscheid vom 4. Juni 2014 aufzuheben und ihnen für die Verfahren vor Mietschlichtungsstelle und Obergericht die unentgeltliche Rechtspflege zu gewähren, unter Bestellung eines unentgeltlichen Rechtsbeistands. Ferner stellen sie auch für das bundesgerichtliche Verfahren ein Gesuch um unentgeltliche Rechtspflege und Rechtsverbeiständung.
Eine Vernehmlassung zur Beschwerde wurde im vorliegenden Fall nicht eingeholt.

Erwägungen:
1.
1.1. Das Verfahren betreffend Feststellung der Ungültigkeit der Mietvertragskündigung und Erstreckung des Mietverhältnisses wurde von der Schlichtungsstelle durch Abschreibung infolge Rückzugs erledigt. Der angefochtene Entscheid des Obergerichts, mit dem nur darüber entschieden wurde, ob die Schlichtungsbehörde die unentgeltliche Rechtspflege zu Unrecht verweigert habe, stellt unter diesen Umständen einen Endentscheid im Sinne von <ref-law> dar (<ref-ruling> E. 2.2 S. 603), gegen den die Beschwerde an das Bundesgericht grundsätzlich offen steht.
1.2. Nach den Feststellungen der Vorinstanz belief sich der Streitwert im kantonalen Verfahren auf weniger als Fr. 15'000.--. Er erreicht danach die Streitwertgrenze für die Zulässigkeit der Beschwerde in Zivilsachen nach <ref-law> nicht. Die Beschwerdeführer bestreiten dies unter Verweis auf den im Ausweisungsverfahren zwischen ihnen und der C._ AG (Vermieterin) ergangenen Entscheid 4A_622/2013 vom 26. Mai 2014, in welchem das Bundesgericht bezüglich demselben Mietvertrag und analoger Kündigungsanfechtung festgestellt habe, dass der Streitwert Fr. 15'000.-- betrage.
Bei Beschwerden gegen Endentscheide bestimmt sich der Streitwert nach den Begehren, die vor der Vorinstanz streitig geblieben sind (<ref-law>). Die Beschwerdeführer verkennen, dass im obergerichtlichen Verfahren, das dem Beschwerdeverfahren 4A_622/2013 voranging, die Ausweisung der Beschwerdeführer aus dem Mietobjekt und in diesem Rahmen auch die Gültigkeit der Mietvertragskündigung strittig war (Urteil 4A_622/2013 vom 26. Mai 2014 E. 2). Vorliegend war dagegen im vorinstanzlichen Verfahren nur noch der Anspruch auf Gewährung der unentgeltlichen Rechtspflege im Schlichtungsverfahren umstritten. Die Abschreibung des Schlichtungsverfahrens blieb unangefochten und es ging daher mit der Beschwerde nicht mehr um den Zugang zur Justiz zur Beurteilung der Hauptsache. In dieser Situation ist die Rechtsprechung über die Anfechtung von Entscheiden über Kosten- und Entschädigungsfolgen entsprechend anzuwenden, nach der in Fällen, in denen eine Beschwerde an das Bundesgericht einzig die Kosten des kantonalen Verfahrens zum Gegenstand hat und es schon im vorinstanzlichen Verfahren allein um die Kosten ging, sich der Streitwert nach dem Betrag bestimmt, in dem diese vor der Vorinstanz strittig waren (<ref-ruling> E. 1.2.2; Urteile 4A_691/2012 vom 17. Januar 2013 E. 1.1; 5A_261/2013 vom 19. September 2013 E. 1; 5A_396/2012 vom 5. September 2012 E. 1.2). Dass der Interessenwert an der Gewährung der unentgeltlichen Rechtspflege für das durch Abschreibung erledigte Verfahren im vorliegenden Fall entgegen der vorinstanzlichen Feststellung den Betrag von Fr. 15'000.-- übersteigen würde, zeigen die Beschwerdeführer nicht auf und ist auch nicht ohne weiteres ersichtlich (vgl. <ref-law>; <ref-ruling> E. 1.1.1 S. 62; Urteil 4A_273/2012 vom 30. Oktober 2012 E. 1.2.2, nicht publ. in: <ref-ruling>). Der von <ref-law> geforderte Mindeststreitwert für die Zulässigkeit der Beschwerde in Zivilsachen in mietrechtlichen Fällen ist somit als nicht erreicht zu betrachten. Sodann behaupten die Beschwerdeführer nicht, es stelle sich eine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law>.
Auf die erhobene Beschwerde in Zivilsachen ist demnach nicht einzutreten und die Eingabe vom 15. August 2014 ist, wie subsidiär beantragt, als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>).
1.3. Da auch die übrigen Sachurteilsvoraussetzungen der subsidiären Verfassungsbeschwerde erfüllt sind, ist auf dieselbe - unter Vorbehalt ihrer rechtsgenüglichen Begründung (nachfolgende Erwägung 2) - grundsätzlich einzutreten.
2.
Einziger Beschwerdegrund bei der subsidiären Verfassungsbeschwerde ist die Verletzung verfassungsmässiger Rechte (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung verfassungsmässiger Rechte nur, wenn diese Rüge gemäss den Anforderungen von Art. 106 Abs. 2 i.V.m. <ref-law> ausdrücklich vorgebracht und klar und detailliert begründet wird (<ref-ruling> E. 1.4; <ref-ruling> E. 2.1; <ref-ruling> E. 2.1 S. 143; <ref-ruling> E. 3.2 S. 444). In einer Verfassungsbeschwerde muss rechtsgenügend dargelegt werden, welche verfassungsmässigen Rechte durch das kantonale Gericht inwiefern verletzt worden sind, und solche Rügen sind unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids klar und detailliert zu begründen (<ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 2 S. 591 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann davon nur abweichen, wenn die Sachverhaltsfeststellung unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>). Wird Letzteres geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese verfassungswidrig, insbesondere willkürlich, sein soll (BGE <ref-ruling> E. 2.2; <ref-ruling> E. 7.1 S. 398, 585 E. 4.1 S. 588 f.).
Die Beschwerdeführer lassen diese Grundsätze über weite Strecken ausser Acht. Namentlich stellen sie ihren rechtlichen Vorbringen eine ausführliche eigene Sachverhaltsdarstellung voran. Darin - wie auch in ihrer weiteren Beschwerdebegründung - erweitern sie die tatsächlichen Feststellungen der Vorinstanz in vielfacher Hinsicht bzw. weichen von diesen ab, ohne dazu jedoch rechtsgenügliche Sachverhaltsrügen zu erheben, die dem Bundesgericht gegebenenfalls eine Korrektur oder Ergänzung des im angefochtenen Urteil festgestellten Sachverhalts erlauben könnten. Insoweit kann auf ihre Ausführungen nicht eingetreten werden.
3.
Die Vorinstanz bestätigte den Entscheid der Schlichtungsbehörde über die Aussichtslosigkeit des Schlichtungsgesuchs vom 11. Dezember 2013 und damit über die Verweigerung der unentgeltlichen Rechtspflege für das Schlichtungsverfahren. Ferner erachtete sie auch die dagegen gerichtete Beschwerde als aussichtslos.
Die Beschwerdeführer rügen, die vorinstanzliche Auffassung, wonach ihr Schlichtungsgesuch vom 11. Dezember 2013 aussichtslos gewesen sein solle, basiere auf willkürlicher Sachverhaltsfeststellung und Rechtsanwendung.
3.1. Nach der vom Bundesgericht zum Begriff der Aussichtslosigkeit gemäss <ref-law> entwickelten Praxis sind Begehren als aussichtslos anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde. Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer vorläufigen und summarischen Prüfung der Prozessaussichten, wobei die Verhältnisse im Zeitpunkt der Einreichung des Gesuchs massgebend sind (<ref-ruling> E. 2.2.4 mit Hinweisen).
Wie es sich damit verhält, prüft das Bundesgericht in rechtlicher Hinsicht frei. Soweit es um tatsächliche Feststellungen der kantonalen Instanz geht, ist seine Prüfungsbefugnis auf Willkür beschränkt (<ref-ruling> E. 2.3 S. 14; <ref-ruling> E. 2.3.1 S. 135 f.; <ref-ruling> E. 2b S. 271). Dabei ist es nicht seine Aufgabe, dem Sachgericht vorgreifend zu prüfen, ob das vom Beschwerdeführer im kantonalen Verfahren gestellte Begehren zu schützen sei oder nicht. Bei der Abklärung, ob die fehlende Aussichtslosigkeit als Voraussetzung für einen grundrechtlichen Anspruch auf unentgeltliche Rechtspflege gegeben ist, hat das Verfassungsgericht lediglich zu prüfen, ob der vom Bedürftigen verfolgte Rechtsstandpunkt im Rahmen des sachlich Vertretbaren liegt bzw. nicht von vornherein unbegründet erscheint (<ref-ruling> E. 3a). Die prognostische Beurteilung von Erfolgsaussichten eröffnet dem Sachgericht einen Beurteilungsspielraum, in welchen das Bundesgericht auch bei freier Prüfung der Rechtsfragen nur mit Zurückhaltung eingreift. Erforderlich ist, dass das Sachgericht von anerkannten Rechtsgrundsätzen abgewichen ist, dass es Umstände berücksichtigt hat, die für die Prognose im Einzelfall keine Rolle spielen dürfen oder umgekehrt Überlegungen ausser Betracht gelassen hat, die hätten beachtet werden müssen (Urteile des Bundesgerichts 4A_469/2009 vom 17. November 2009 E. 2.1; 4A_336/2008 vom 2. September 2008 E. 2.1; vgl. auch <ref-ruling> E. 5.2 S. 215 f.; <ref-ruling> E. 2.1.3., 669 E. 3.1 S. 671; <ref-ruling> E. 2 S. 123 f.).
3.2. Die Vorinstanz beurteilte das Schlichtungsgesuch vom 11. Dezember 2013 als offenkundig aussichtslos. Sie erwog dazu, die Gesuchsteller hätten bereits mit Klage vom 28. Februar 2013 beim Präsidium des Bezirksgerichts Baden die Feststellung der Ungültigkeit der Kündigung verlangt. Der Präsident des Bezirksgerichts sei mit Entscheid vom 17. Juni 2013 auf die Klage nicht eingetreten. Die Frage, ob damit über die Gültigkeit der Kündigung rechtskräftig entschieden worden sei, könne offen bleiben. In jedem Fall sei die 30-tägige Anfechtungsfrist von <ref-law> bei Einreichung des zweiten Schlichtungsgesuchs am 11. Dezember 2013 abgelaufen gewesen. Spätestens mit der Zustellung des Nichteintretensentscheids vom 17. Juni 2013 hätten die Beschwerdeführer Kenntnis von den ihrerseits behaupteten Verfahrensmängeln erhalten und mit der Einreichung des Schlichtungsgesuchs am 11. Dezember 2013 sämtliche mögliche Wiederherstellungsfristen verstreichen lassen. Eine Nichtigkeit der Kündigung, die jederzeit feststellbar wäre, behaupteten sie nicht.
3.3. Die Beschwerdeführer rügen, diese Begründung stelle eine "willkürliche Feststellung des Sachverhalts und eine willkürliche Rechtsanwendung" dar.
3.3.1. Sie bringen vor, sie hätten "in allen bisherigen Verfahren bisher völlig unbestritten" die 30-tägige Anfechtungsfrist von <ref-law> eingehalten, womit überhaupt keine Verwirkung mehr habe eintreten können. Dieser Standpunkt ist nicht nachvollziehbar. Dass sie im Anfechtungsverfahren, das mit dem Nichteintretensentscheid vom 17. Juni 2013 endete, die Anfechtungsfrist eingehalten haben, führte offensichtlich nicht dazu, dass sie sich nach diesem Entscheid beliebig lange Zeit lassen konnten, um ein neues Anfechtungsverfahren einzuleiten. Soweit sie unter Berufung auf <ref-ruling> die gegenteilige Ansicht vertreten, verkennen sie, dass das Bundesgericht in diesem Entscheid die Möglichkeit, jederzeit ein neues Schlichtungsgesuch zu stellen, bloss für Fälle bejahte, in denen das materielle Mietrecht für die Ansprüche weder eine besondere Verwirkungsfrist noch eine Entscheidbefugnis der Schlichtungsbehörde mit gesetzlicher Anordnung der Rechtskraftwirkung im Falle unterlassener Anrufung des Richters normiert. Ein solcher Fall liegt hier mit der Bestimmung von <ref-law> nicht vor.
3.3.2. Nicht gefolgt werden kann sodann dem Standpunkt der Beschwerdeführer, die Kündigung sei, nachdem sich die Eigentumsverhältnisse am Mietobjekt geändert hätten, mangels Parteiwechsels auf der Vermieterseite und Ungültigkeit der Klagebewilligung durch den Nichteintretensentscheid dahingefallen. Es kann dazu auf die Erwägung 6.4 des in Sachen der Beschwerdeführer ergangenen Urteils 4A_622/2013 vom 26. Mai 2014 verwiesen werden.
3.3.3. Nicht eingetreten werden kann sodann auf die Beschwerde, soweit die Beschwerdeführer geltend machen, das Verfahren betreffend Kündigungsanfechtung für das Lager sei rechtlich immer noch bei der Mietschlichtungsstelle hängig, da in der Klagebewilligung vom 24. Januar 2013 nur die Kündigungsanfechtung für die Wohnung enthalten gewesen sei. Insoweit erweitern sie die tatsächlichen Feststellungen der Vorinstanz, ohne dazu eine hinreichend begründete Sachverhaltsrüge zu substanziieren (Erwägung 2 vorne).
3.4. Nach dem Ausgeführten verletzte die Vorinstanz den verfassungsmässigen Anspruch der Beschwerdeführer auf Gewährung der unentgeltlichen Rechtspflege nicht, indem sie die Beurteilung der Erstinstanz bestätigte, wonach die bei ihr gestellten Schlichtungsbegehren aussichtslos seien, und auch die im Beschwerdeverfahren gestellten Begehren als aussichtslos qualifizierte.
4.
Zusammenfassend ist auf die Beschwerde in Zivilsachen nicht einzutreten. Die subsidiäre Verfassungsbeschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Dem Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren kann nicht entsprochen werden, da die Beschwerde nach den vorstehenden Erwägungen als von vornherein aussichtslos erscheint (<ref-law>). Damit werden die Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2.
Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
4.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
5.
Es wird keine Parteientschädigung zugesprochen.
6.
Dieses Urteil wird den Beschwerdeführern und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 21. Oktober 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer