Sachverhalt:
A.
A.a. Am 16. April 2018 erwarb die B._ Sàrl bei einer betreibungsrechtlichen Zwangsverwertung gegen C.A._ eine Liegenschaft in Reinach.
Mit Klage vom 12. Juli 2019 beantragte die B._ Sàrl im Verfahren des Rechtsschutzes in klaren Fällen beim Bezirksgericht Kulm gestützt auf <ref-law>, dass C.A._ sowie A.A._ und B.A._ aus dieser Liegenschaft gewiesen werden.
Die Präsidentin des Bezirksgerichts Kulm trat am 1. November 2019 auf die Klage nicht ein, nachdem die Beklagten einen vom 1. Dezember 2012 datierenden Mietvertrag zwischen C.A._ sowie A.A._ und B.A._ eingereicht hatten.
A.b. Die B._ Sàrl mahnte A.A._ und B.A._ mit Schreiben vom 1. Oktober 2019 zur Zahlung der Mietzinse für Oktober 2018 bis September 2019 in der Höhe von Fr. 23'400.-- und setzte ihnen gestützt auf <ref-law> eine Zahlungsfrist von 30 Tagen, andernfalls das Mietverhältnis gekündigt werde.
Nachdem die Mietzinsausstände nicht innert Frist beglichen worden waren, kündigte die B._ Sàrl das Mietverhältnis am 18. November 2019 wegen Zahlungsverzugs per 31. Dezember 2019.
A.c. A.A._ und B.A._ beantragten mit Schlichtungsgesuch vom 12. Dezember 2019 bei der Schlichtungsbehörde für Miete und Pacht des Bezirks Kulm im Wesentlichen, dass die Unwirksamkeit der Kündigung festgestellt werde.
B.
B.a. Die B._ Sàrl beantragte am 10. Januar 2020 beim Bezirksgericht Kulm im Verfahren des Rechtsschutzes in klaren Fällen, A.A._ und B.A._ sowie C.A._ und D.A._ unter solidarischer Kosten- und Entschädigungsfolge sowie unter Strafdrohung nach <ref-law> richterlich zu befehlen, die von ihnen besetzte Wohnung in der betreffenden Liegenschaft zu räumen und gereinigt sowie mit allen Schlüsseln zu übergeben. Neben der Strafdrohung beantragte die B._ Sàrl das Recht, auf Kosten der Beklagten polizeiliche Hilfe in Anspruch zu nehmen, wenn dem richterlichen Befehl nicht fristgerecht Folge geleistet wird.
Die Schlichtungsbehörde für Miete und Pacht des Bezirks Kulm informierte das Bezirksgericht Kulm mit Verfügung vom 20. Januar 2020, sie habe das Schlichtungsverfahren zwischen der B._ Sàrl und A.A._ sowie B.A._ sistiert.
A.A._ und B.A._ beantragten am 6. Februar 2020, die B._ Sàrl sei zur Leistung einer Sicherheit für die Parteientschädigung zu verpflichten. Diesen Antrag wies der Präsident des Bezirksgerichts Kulm am 11. März 2020 ab.
Mit Urteil vom 22. April 2020 verpflichtete der Präsident des Bezirksgerichts Kulm A.A._ und B.A._ sowie C.A._ und D.A._, die 7 1⁄2-Zimmerwohnung vom Erdgeschoss bis zum Dachgeschoss sowie die Garage und die beiden Einstellplätze in der betreffenden Liegenschaft innert 10 Tagen seit Vollstreckbarkeit des Urteils zu verlassen, zu räumen und gereinigt samt den zugehörigen Schlüsseln zu übergeben. Für den Unterlassungsfall drohte er die polizeiliche Zwangsvollstreckung und eine Strafe wegen Ungehorsams gemäss <ref-law> an. Die Entscheidgebühr von Fr. 800.-- auferlegte er unter solidarischer Haftung A.A._ und B.A._ sowie C.A._ und D.A._. Zudem verpflichtete er A.A._ und B.A._, der B._ Sàrl unter solidarischer Haftung für das Verfahren auf Leistung eines Prozesskostenvorschusses eine Parteientschädigung von Fr. 528.30 zu bezahlen. Sodann verpflichtete er A.A._ und B.A._ sowie C.A._ und D.A._ unter solidarischer Haftung, der B._ Sàrl für das Ausweisungsverfahren eine Parteientschädigung von Fr. 1'584.90 zu bezahlen. Schliesslich wies er die B._ Sàrl darauf hin, sie könne bei ihm schriftlich die polizeiliche Räumung beantragen, falls dem Räumungsbefehl nicht fristgerecht nachgekommen werde.
B.b. Gegen das Urteil des Präsidenten des Bezirksgerichts Kulm vom 22. April 2020 gingen C.A._ und D.A._ am 4. Mai 2020 in Berufung. A.A._ und B.A._ taten es ihnen am 11. Mai 2020 gleich.
Mit Urteil vom 1. Juli 2020 wies das Obergericht des Kantons Aargau die Berufungen ab. Es auferlegte A.A._ und B.A._ sowie C.A._ und D.A._ die obergerichtliche Entscheidgebühr von Fr. 1'200.-- unter solidarischer Haftung und verpflichtete sie, der B._ Sàrl eine Parteientschädigung von Fr. 1'848.90 zu bezahlen.
C.
A.A._ und B.A._ beantragen mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 1. Juli 2020 und das Urteil des Präsidenten des Bezirksgerichts vom 22. April 2020 seien aufzuheben. Auf das Ausweisungsgesuch der B._ Sàrl vom 10. Januar 2020 sei unter Kosten- und Entschädigungsfolgen nicht einzutreten. Eventualiter sei die Sache zur neuen Entscheidung an das Obergericht zurückzuweisen.
Die B._ Sàrl trägt auf kostenfällige Abweisung der Beschwerde an, soweit darauf eingetreten werden könne. Das Obergericht verzichtete auf eine Stellungnahme.
Dem Antrag, der Beschwerde die aufschiebende Wirkung zu erteilen, wurde mit Präsidialverfügung vom 19. August 2020 entsprochen.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 143 mit Hinweisen).
1.1. Soweit die Beschwerdeführer das Urteil des Präsidenten des Bezirksgerichts Kulm anfechten, ist auf die Beschwerde nicht einzutreten, da es sich hierbei nicht um einen kantonal letztinstanzlichen Entscheid handelt (<ref-law>). Im Übrigen geben die Eintretensvoraussetzungen, abgesehen vom Streitwert, keinen Anlass zu Bemerkungen.
1.2. Im kantonalen Verfahren ging es nicht nur um die Ausweisung als solche. Vielmehr war auch streitig, ob die Kündigung des Mietverhältnisses wegen Zahlungsverzugs gültig oder ob die Beschwerdegegnerin an den Mietzinserlass gebunden sei, den der Beschwerdeführer und sein Vater vereinbart hatten. Daher ist bei einem monatlichen Mietzins von Fr. 1'950.-- von einem Streitwert von Fr. 70'200.-- auszugehen, womit die in mietrechtlichen Fällen geltende Grenze nach <ref-law> ohne weiteres erreicht ist (vgl. <ref-ruling> E. 1.2).
1.3. Die Beschwerdeführer reichen dem Bundesgericht einen Austrittsbericht des Kantonsspitals Aargau vom 6. Juli 2020, eine E-Mail des Rechtsvertreters der Beschwerdegegnerin an den Rechtsvertreter der Beschwerdeführer vom 23. Juli 2020 und einen Vollstreckungsantrag der Beschwerdegegnerin vom 22. Juli 2020 ein. Diese Dokumente und die damit verbundenen Vorbringen sind nicht zu beachten, soweit sie für den kantonalen Entscheid massgebende Punkte betreffen, da sie nach dem Datum des angefochtenen Urteils vom 1. Juli 2020 entstanden sind. Das Vorbringen echter Noven, also von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden, ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.2 S. 23; <ref-ruling> E. 3.2.2.2 S. 548).
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>; vgl. dazu <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4.1 S. 254). Allerdings prüft es, unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 3.2 S. 400 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt. Zum Prozesssachverhalt gehören namentlich die Anträge der Parteien, ihre Tatsachenbehauptungen, rechtlichen Erörterungen, Prozesserklärungen und Beweisvorbringen (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Die Beschwerdeführer rügen eine Verletzung des Dispositionsgrundsatzes. Die Beschwerdegegnerin habe nur verlangt, dass sie die Wohnung räumen. Dann seien sie aber verpflichtet worden, neben der Wohnung auch die Garage sowie die beiden Einstellplätze zu räumen. Folglich sei der Beschwerdegegnerin mehr zugesprochen worden als sie verlangt habe.
3.1. Gemäss dem in <ref-law> verankerten Dispositionsgrundsatz darf das Gericht einer Partei nicht mehr und nichts anderes zusprechen, als sie verlangt, und nicht weniger, als die Gegenpartei anerkannt hat. Die Befugnis, über den Streitgegenstand zu verfügen, liegt im Anwendungsbereich des Dispositionsgrundsatzes also bei den Parteien: Diese können bestimmen, ob, wann, in welchem Umfang und wie lange sie einen prozessualen Anspruch gerichtlich geltend machen bzw. anerkennen wollen (vgl. <ref-ruling> E. 3.2 S. 158; <ref-ruling> E. 4 S. 115; Urteil 4A_307/2011 vom 16. Dezember 2011 E. 2.4). Ob ein Gericht mehr oder anderes zugesprochen hat, als eine Prozesspartei verlangt hat, misst sich in erster Linie an den gestellten Rechtsbegehren. Auf deren Begründung wird nur zurückgegriffen, wenn das Begehren unklar ist und einer Auslegung bedarf (vgl. <ref-ruling> E. 3a S. 175; zit. Urteil 4A_307/2011 2011 E. 2.4).
3.2. Wie bereits die Vorinstanz zutreffend erwog, ist die Rüge der Beschwerdeführer offensichtlich haltlos.
Für die Garage und die Einstellplätze bestand kein separates Mietverhältnis. Vielmehr waren sie Bestandteil des Mietvertrags. Es liegt auf der Hand, dass der Antrag auf Ausweisung die Garage und die Einstellplätze auch ohne ausdrückliche Nennung einschloss. Die Vorinstanzen sprachen der Beschwerdegegnerin nicht mehr zu, als sie verlangt hatte.
Die Vorinstanz hat den Dispositionsgrundsatz gemäss <ref-law> nicht verletzt.
4.
Die Beschwerdeführer rügen eine Verletzung des Verhandlungsgrundsatzes. Die Beschwerdegegnerin sei ihrer Behauptungslast nicht nachgekommen. Sie habe die Garage und die beiden Einstellplätze in der Begründung des Ausweisungsgesuchs nicht erwähnt. Zudem habe sie versäumt, zu behaupten, dass die Beschwerdeführerin und Ehefrau des Beschwerdeführers die Liegenschaft bewohne.
4.1. In Verfahren, die wie hier vom Verhandlungsgrundsatz beherrscht sind, tragen die Parteien die Verantwortung für die Beschaffung des Tatsachenstoffes. Sie haben dem Gericht die Tatsachen, auf die sie ihre Begehren stützen, darzulegen und die Beweismittel anzugeben (<ref-law>). Sie haben alle Tatbestandselemente der materiellrechtlichen Normen zu behaupten, die den geltend gemachten Anspruch begründen. Es genügt zwar, die Tatsachen, die unter die das Begehren stützenden Normen zu subsumieren sind, in einer den Gewohnheiten des Lebens entsprechenden Weise in ihren wesentlichen Zügen oder Umrissen zu behaupten (<ref-ruling> E. 3.4.2 S. 328; Urteile 4A_188/2020 vom 3. September 2020 E. 5.2.2; 4A_453/2017 vom 12. Juli 2018 E. 2.2.1, nicht publ. in: <ref-ruling>). Wenigstens diese Anforderungen müssen Tatsachenbehauptungen jedoch erfüllen.
4.2. Bereits die Vorinstanz erwog zutreffend, dass die Rüge der Beschwerdeführer unbegründet ist.
Von vornherein nicht einzugehen ist auf das Vorbringen, die Vorinstanz handhabe den Verhandlungsgrundsatz weniger streng als das Handelsgericht des Kantons Aargau. Denn eine allfällige Praxis dieses Gerichts ist für den hier zu beurteilenden Fall ohne Belang.
Die Beschwerdegegnerin hatte die Ausweisung der Beschwerdeführer aus der Liegenschaft beantragt. Dieser Antrag setzte ohne weiteres voraus, dass sich die Beschwerdeführer in der Liegenschaft aufhielten, was im Übrigen unbestritten blieb. Unter diesen Umständen waren weitergehende Behauptungen der Beschwerdegegnerin nicht notwendig. Die Liegenschaft steht unstrittig in ihrem Eigentum. Daher hätten die Beschwerdeführer nachweisen müssen, weshalb sie zum Aufenthalt darin berechtigt sein sollten. Die Beschwerdegegnerin war nicht verpflichtet, die Beschwerdeführer vor dem Prozess zum Verlassen der Liegenschaft aufzufordern, weshalb auch diesbezüglich keine Behauptungen nötig waren.
Der Verhandlungsgrundsatz gemäss <ref-law> ist nicht verletzt.
5.
Die Beschwerdeführer rügen eine Verletzung der Regeln über die Rechtshängigkeit. <ref-law> sei verletzt worden, indem auf die Klage der Beschwerdegegnerin vom 10. Januar 2020 eingetreten worden sei, obwohl die Beschwerdeführer bereits am 12. Dezember 2019 ein Schlichtungsverfahren bei der Schlichtungsbehörde für Miete und Pacht des Bezirks Kulm anhängig gemacht hatten.
5.1. Die Vorinstanz verwarf die Einwendungen unter Hinweis auf die Erwägungen der Erstinstanz. Sie erwog, die Beschwerdeführer hätten im Schlichtungsverfahren Feststellungs- und Leistungsbegehren gestellt. Diese stünden der Beurteilung im vorliegenden Verfahren des Rechtsschutzes in klaren Fällen nicht entgegen. Denn die Feststellungs- und Leistungsbegehren würden Fragen aufwerfen, die auch zur Beurteilung der Gültigkeit der Kündigung zu beantworten seien. Dabei gehe es insbesondere um die Frage, ob die Beschwerdegegnerin mit dem Mietverhältnis auch die Verrechnungsabrede zwischen dem Beschwerdeführer und dessen Vater übernommen habe.
5.2. Die Rüge der Beschwerdeführer ist unbegründet.
Die Beschwerdeführer bemängeln, die Vorinstanz habe die kantonale Prozessgeschichte unvollständig zusammengefasst. Unter E. 2.3 des angefochtenen Urteils habe die Vorinstanz bloss festgehalten, die Beschwerdeführer hätten im Schlichtungsgesuch vom 12. Dezember 2019 beantragt, dass die Unwirksamkeit der Kündigung festgestellt wird. In Wahrheit hätten sie darüber hinaus die Feststellung beantragt, dass bis zum 30. November 2019 alle Mietzinse und die Nebenkosten getilgt seien. Zudem hätten sie das Leistungsbegehren gestellt, die Liegenschaft ohne Entgelt bis zum 31. Dezember 2022 zu nutzen.
Hier übersehen die Beschwerdeführer, dass die Vorinstanz in der massgebenden Erwägung berücksichtigte, dass sie im Schlichtungsgesuch die Feststellung beantragt hatten, dass alle Mietzinse bis zum 30. November 2019 getilgt seien, und dass sie zudem begehrten, die Liegenschaft ohne Entgelt bis zum 31. Dezember 2022 zu nutzen. Wie die Vorinstanz zutreffend erwog, zielen die Feststellungs- und Leistungsbegehren der Beschwerdeführer auf dieselben Fragen, die zur Beurteilung der Gültigkeit der Kündigung zu beantworten waren.
Somit gelangt die bundesgerichtliche Rechtsprechung zur Anwendung, wonach ein Begehren um Ausweisung eines Mieters im Verfahren um Rechtsschutz in klaren Fällen nach <ref-law> grundsätzlich auch dann zulässig ist, wenn der Mieter die vorangehende Kündigung gerichtlich angefochten hat und dieses Verfahren hängig ist (<ref-ruling> E. 3).
Das angefochtene Urteil ist auch insofern nicht zu beanstanden.
6.
Die Beschwerdeführer machen geltend, die Beschwerdegegnerin habe die Ausweisung bereits am 12. Juli 2019 beantragt. Am 1. November 2019 sei die Präsidentin des Bezirksgerichts Kulm auf die Klage nicht eingetreten. Dieser frühere Nichteintretensentscheid schliesse aus, dass ein neuer Entscheid gefällt werde, der die Ausweisung aus dem gleichen Mietobjekt betreffe.
6.1. Die Erstinstanz hatte erwogen, die Beschwerdegegnerin habe im früheren Verfahren gestützt auf ihr Eigentumsrecht um Rechtsschutz in klaren Fällen ersucht. Darauf hätten die Beschwerdeführer einen Mietvertrag zwischen dem Beschwerdeführer und dessen Vater vorgelegt. Deshalb sei ein Nichteintretensentscheid ergangen. Sodann habe die Beschwerdegegnerin die Beschwerdeführer für die Zahlungsausstände aus dem nunmehr vorliegenden Mietvertrag gemahnt, eine Zahlungsfrist angesetzt und schliesslich wegen Zahlungsrückstands eine ausserordentliche Kündigung ausgesprochen.
6.2. Die Vorinstanz verwies auf diese Erwägungen der Erstinstanz und ergänzte, zwar lauteten die Anträge im früheren und im vorliegenden Verfahren gleich. Doch sei die Frage der abgeurteilten Sache nicht bloss an den Anträgen zu messen. Vielmehr sei auch das Tatsachenfundament zu beurteilen, worauf sich die Anträge stützten. Dieses aber sei nicht identisch: Im früheren Verfahren habe die Beschwerdegegnerin die Ausweisung der Beschwerdeführer beantragt in der Annahme, diese hielten sich ohne Rechtsgrund in der Liegenschaft auf; erst dann hätten die Beschwerdeführer den Mietvertrag ediert. Demgegenüber gehe es im vorliegenden Verfahren um die Gültigkeit der Kündigung, welche die Beschwerdegegnerin wegen Zahlungsverzugs ausgesprochen habe.
6.3. Nach der bundesgerichtlichen Rechtsprechung beurteilt sich die Identität von Streitgegenständen im Hinblick auf die negative Wirkung der materiellen Rechtskraft nach den prozessualen Ansprüchen in den Klageanträgen und dem behaupteten Lebenssachverhalt. Damit ist das Tatsachenfundament gemeint, auf welches sich die Klagebegehren stützen. Dabei ist der Begriff der Anspruchsidentität nicht grammatikalisch, sondern inhaltlich zu verstehen. Der neue prozessuale Anspruch ist deshalb trotz abweichender Umschreibung vom beurteilten nicht verschieden, wenn er in diesem bereits enthalten war oder wenn im neuen Verfahren das kontradiktorische Gegenteil zur Beurteilung gestellt wird. Ob die negative Prozessvoraussetzung der abgeurteilten Sache beachtet wurde, prüft das Bundesgericht als Rechtsfrage frei. Das Bundesgericht ist zwar an die Feststellungen der Vorinstanz über den Prozesssachverhalt gebunden; aus den Feststellungen des angefochtenen Urteils ergibt sich, welche Ansprüche im hängigen Verfahren eingeklagt sind. Ob aber diese Ansprüche in einem früheren Urteil definitiv beurteilt wurden, ergibt sich nicht aus den Feststellungen des angefochtenen, sondern aus dem früheren Urteil, dessen Dispositiv die Rechtskraftwirkung entfaltet. Dieses frühere Urteil zieht das Bundesgericht für seine Entscheidung in gleicher Weise bei, wie es auch die Vorinstanz bei der Prüfung der Prozessvoraussetzung tun muss. Die Erwägungen des früheren Urteils sind nach konstanter Rechtsprechung zur Auslegung der Tragweite des Dispositivs des Vorentscheids heranzuziehen. Aus diesen Erwägungen des massgebenden früheren Urteils ergibt sich nicht nur, welche Rechtsbegehren im früheren Verfahren gestellt wurden, sondern auch, auf welchen Lebenssachverhalt die eingeklagten Ansprüche gestützt wurden (<ref-ruling> E. 2 mit zahlreichen Hinweisen).
6.4. Die Rüge der Beschwerdeführer ist unbegründet.
Im früheren Verfahren verlangte die Beschwerdegegnerin die Ausweisung gestützt auf die Behauptung, dass die Beschwerdeführer ohne jeden Rechtsgrund in der Liegenschaft verbleiben. In der Folge präsentierten die Beschwerdeführer einen Mietvertrag, weshalb die Präsidentin des Bezirksgerichts Kulm mangels klarer Rechtslage auf die Klage nicht eintrat. Im vorliegenden Verfahren verlangte die Beschwerdegegnerin die Ausweisung, nachdem sie den Mietvertrag wegen Zahlungsverzugs gekündigt hatte. Nunmehr ist die Gültigkeit der Kündigung Verfahrensgegenstand. Daher entfaltet der Entscheid vom 1. November 2019 keine Ausschlusswirkung. Daran ändert nach dem Gesagten nichts, dass die Anträge im früheren und im vorliegenden Verfahren gleich lauten.
Die Regeln über die Sperrwirkung eines früheren Entscheids sind nicht verletzt.
6.5. Die Beschwerdeführer machen geltend, die Rechtsfrage der Ausschlusswirkung eines Nichteintretensentscheids im Verhältnis zu einem neuen Verfahren auf Rechtsschutz in klaren Fällen mit identischem Rechtsbegehren sei in der Rechtslehre strittig, wie die Erstinstanz selbst erkannt habe. Vom Bundesgericht sei die Frage nicht entschieden worden, weshalb die Prozesslage unklar sei und auf das Begehren nicht hätte eingetreten werden dürfen. Aus den Ausführungen der Erstinstanz ergibt sich indessen, dass es bei den unterschiedlichen Lehrmeinungen um ein erneutes Gesuch um Rechtsschutz in klaren Fällen namentlich mit anderen, besseren Beweismitteln geht, nicht um die Beurteilung eines neuen Sachverhalts. Die Rüge geht an der Sache vorbei. Darauf ist nicht einzutreten.
7.
Schliesslich machen die Beschwerdeführer geltend, die Voraussetzungen für den Rechtsschutz in klaren Fällen gemäss <ref-law> seien nicht gegeben. Die Vorinstanz habe die Vertragsklausel zum Mietzinserlass bundesrechtswidrig ausgelegt.
7.1. Das Gericht gewährt nach <ref-law> Rechtsschutz im summarischen Verfahren, wenn der Sachverhalt unbestritten oder sofort beweisbar ist (lit. a) und die Rechtslage klar ist (lit. b). Mit Blick darauf, dass ein Urteil, mit dem nach <ref-law> Rechtsschutz gewährt wird, der materiellen Rechtskraft fähig ist, wird von der klagenden Partei verlangt, dass sie sofort den vollen Beweis für die anspruchsbegründenden Tatsachen erbringt, so dass klare Verhältnisse herrschen (<ref-ruling> E. 3.2 S. 25 f.; <ref-ruling> E. 5.1.1 S. 622 f.). Eine klare Rechtslage ist gegeben, wenn sich die Rechtsfolge bei der Anwendung des Gesetzes unter Berücksichtigung der Lehre und Rechtsprechung ohne Weiteres ergibt und damit die Rechtsanwendung zu einem eindeutigen Ergebnis führt. Dagegen ist die Rechtslage nicht klar, wenn die Anwendung einer Norm einen Ermessens- oder Billigkeitsentscheid des Gerichts mit wertender Berücksichtigung der gesamten Umstände erfordert (<ref-ruling> E. 3.2 S. 26; <ref-ruling> E. 2.1.2 S. 126 mit Hinweisen).
Für die Verneinung eines klaren Falles genügt es, dass die beklagte Partei substanziiert und schlüssig Einwendungen vorträgt, die in tatsächlicher Hinsicht nicht sofort widerlegt werden können und die geeignet sind, die bereits gebildete richterliche Überzeugung zu erschüttern. Demgegenüber ist ein klarer Fall zu bejahen, wenn das Gericht aufgrund der Aktenlage zur Überzeugung gelangt, der Anspruch der klagenden Partei sei ausgewiesen und eine eingehende Abklärung der beklagtischen Einwände könne daran nichts ändern; offensichtlich unbegründete oder haltlose Bestreitungen des Anspruchs genügen für die Verneinung eines klaren Falles nicht (BGE <ref-ruling> E. 5.1.1 S. 221 f. mit Hinweisen).
Soweit - wie vorliegend - die Gültigkeit der Kündigung des Mietvertrags im Ausweisungsverfahren als Vorfrage zu beurteilen ist, beziehen sich die Voraussetzungen von <ref-law> auch darauf. Sind sie nicht erfüllt und kann der Rechtsschutz in klaren Fällen daher nicht gewährt werden, hat das Gericht nach <ref-law> auf das Gesuch nicht einzutreten (<ref-ruling> E. 3.2 S. 265).
7.2. Veräussert der Vermieter die Sache nach Abschluss des Mietvertrags oder wird sie ihm in einem Schuldbetreibungs- oder Konkursverfahren entzogen, so geht das Mietverhältnis mit dem Eigentum an der Sache auf den Erwerber über (<ref-law>).
Der Wechsel einer Vertragspartei hat zur Folge, dass nicht nur alle im Augenblick des Eigentumsübergangs bestehenden, sondern ebenfalls alle künftigen Rechte und Pflichten des Vermieters aus dem bestehenden Mietverhältnis von Gesetzes wegen unverändert auf den Erwerber übergehen (HIGI/WILDISEN, Zürcher Kommentar, 5. Aufl. 2019, N. 22 zu Art. 261 - 261a OR; HANS BÄTTIG, in: Das schweizerische Mietrecht, SVIT-Kommentar, Bättig und andere [Hrsg]. 4. Aufl. 2018, N. 11 und 14 zu Art. 261-261a OR; IRÈNE SPIRIG, in: Mietrecht für die Praxis, 9. Aufl. 2016, S. 652 Rz. 23.4.6.1; ROGER WEBER, in: Basler Kommentar Obligationenrecht I, 7. Aufl. 2020, N. 4 und 12 zu <ref-law>). Der Eigentumsübergang wirkt nicht in die Vergangenheit. Vorbestandene Rechte und Pflichten zwischen Vermieter und Mieter werden vom Eigentumsübergang nicht berührt (<ref-ruling> E. 4c S. 277 f.; Urteil 4A_542/2014 vom 17. Februar 2015 E. 2.1).Der Veräusserer haftet weiterhin für alle Verbindlichkeiten und Nebenpflichten, die vor dem Eigentumsübergang gegenüber dem Mieter entstanden. Zu denken ist etwa an die Abrechnungs- und Rückerstattungspflicht bei Akonto- und Sicherheitsleistungen des Mieters oder an Ersatzansprüche wegen mangelhafter Mietsache (BÄTTIG, a.a.O., N. 11 und 14 zu Art. 261/261a OR; HIGI/WILDISEN, a.a.O., N. 27 zu Art. 261 - 261a OR; HULLIGER/HEINRICH, in: Handkommentar zum Schweizer Privatrecht, 3. Aufl. 2016, N. 6 zu Art. 261-261b OR; vgl. auch SPIRIG, a.a.O., S. 652 f. Rz. 23.4.6.2, die allerdings wie WEBER, a.a.O., N. 4 zu <ref-law> die sog. "Spaltungstheorie" mit Blick auf den Gesetzeswortlaut ablehnt).
<ref-law> beschlägt nur den Mietvertrag, nicht aber weitere Rechtsbeziehungen zwischen dem Veräusserer und dem Mieter, etwa die Verpflichtung des Vermieters, dem Mieter die von ihm angeschafften Möbel abzukaufen (vgl. auch Urteil 4C.418/2005 vom 14. März 2006 E. 3.4.1 und das zit. Urteil 4A_542/2014 2015 E. 2).
7.3. Die Erstinstanz hatte erwogen, es sei unbestritten, dass die Beschwerdegegnerin Eigentümerin der interessierenden Liegenschaft geworden sei. Als vormaliger Eigentümer der Liegenschaft habe der Vater des Beschwerdeführers am 1. Dezember 2012 einen Mietvertrag mit dem Beschwerdeführer geschlossen. Es sei ein monatlicher Mietzins von Fr. 1'950.-- vereinbart worden für die 7 1⁄2-Zimmerwohnung vom Erd- bis zum Dachgeschoss samt einer Garage und zwei Abstellplätzen. Dieses Mietverhältnis sei gestützt auf <ref-law> auf die Beschwerdegegnerin übergegangen. Es sei unbestritten, dass seit dem Eigentumsübergang keine Mietzinszahlungen bei der Beschwerdegegnerin eingegangen seien. Diese sei nicht gebunden an den Mietzinserlass bis 31. Dezember 2022, der zwischen dem Beschwerdeführer und seinem Vater vereinbart worden sei. Sinn und Zweck des Mietzinserlasses sei gewesen, während eines Zeitraums von zehn Jahren die Ersatzforderung des Beschwerdeführers gegenüber seinem Vater zu tilgen, indem der Vater in dieser Zeitspanne auf den anfallenden Mietzins verzichte. Mit dem Eigentum an der Liegenschaft sei auch das Mietverhältnis zwischen dem Beschwerdeführer und seinem Vater auf die Beschwerdegegnerin übergangen, nicht jedoch die Schuld des Vaters, dem Beschwerdeführer Ersatz für die Umbau- und Renovationskosten zu leisten. Eine solche Schuldübernahme sei weder gesetzlich vorgesehen noch vereinbart worden, zumal die Beschwerdegegnerin mangels Vorliegens des Mietvertrags davon keine Kenntnis gehabt habe. Da der Beschwerdeführer keine Forderung gegenüber der Beschwerdegegnerin habe, die er mit den geschuldeten Mietzinsen verrechnen könnte, fehle es an der Gegenseitigkeit der Forderungen. Damit sei die Verrechnung ausgeschlossen. Daran ändere nichts, dass auch die Verrechnung mit künftigen Forderungen möglich sei, denn die Mietzinse würden mit jedem Monat der Gebrauchsüberlassung neu fällig. Daher schulde der Beschwerdeführer den Mietzins seit der Übertragung des Eigentums nicht mehr seinem Vater, sondern der Beschwerdegegnerin. Mangels Verfügungsmacht über diese künftigen Mietzinsansprüche habe der Vater des Beschwerdeführers darüber keine gültige Abrede treffen können. Seit dem Übergang des Eigentums sei die Verrechnung ausgeschlossen gewesen. Da der Vater des Beschwerdeführers über die Mietzinsforderungen, die nach dem Übergang des Eigentums entstanden seien, nicht habe verfügen können, sei auch ein Forderungserlass im Sinne von <ref-law> ausgeschlossen. Gleiches gelte für die Vereinbarung einer Leistung an Zahlungs statt oder für eine Vertragsänderung mit Forderungsverzicht. Nachdem feststehe, dass die Mietzinsforderungen der Beschwerdegegnerin nicht beglichen worden seien und sich die Beschwerdeführer weder auf Verrechnung noch auf Schuldenerlass noch einen anderen Grund für das Erlöschen der Forderungen berufen könnten, hätten sie sich im Zahlungsrückstand befunden. Die Beschwerdegegnerin sei folglich berechtigt gewesen, das Mietverhältnis wegen Zahlungsrückstands ausserordentlich zu künden.
7.4. Die Vorinstanz schloss sich den erstinstanzlichen Erwägungen an und ergänzte, der Übergang des Mietverhältnisses vom Verkäufer auf den Käufer gestützt auf <ref-law> habe keinen Einfluss auf Abreden, die zwar im Mietvertrag aufgeführt seien, aber neben dem eigentlichen Synallagma des Mietvertrags stünden. Dies habe zur Folge, dass sich die Beschwerdegegnerin die Verrechnungsabrede nicht entgegenhalten lassen müsse, die der Beschwerdeführer und sein Vater vereinbart hätten. Die Beschwerdegegnerin habe die Liegenschaft im heutigen Zustand erworben. Vom Mietvertrag, geschweige denn von der Verrechnungsabrede, habe sie keine Kenntnis gehabt. Damit hätten sich nach dem Eigentumsübergang keine verrechenbaren Forderungen des Beschwerdeführers und der Beschwerdegegnerin gegenübergestanden, sodass die Verrechnungseinrede nicht zur Tilgung der ab jenem Zeitpunkt fälligen Mietzinse geführt habe. Die Beschwerdeführer seien daher im Zeitpunkt der Zahlungsaufforderung vom 1. Oktober 2019 mit der Zahlung der Mietzinse in Verzug gewesen.
7.5. Die Beanstandungen der Beschwerdeführer gegen diese Erwägungen sind nicht stichhaltig:
Wie die Vorinstanz zutreffend erwog, ist die Beschwerdegegnerin nicht gebunden an den Mietzinserlass bis 31. Dezember 2022, den der Beschwerdeführer mit seinem Vater vereinbarte. Die Ersatzforderung des Beschwerdeführers für Umbau- und Renovationsarbeiten richtet sich nur gegen seinen Vater. Somit ist eine Verrechnung mit den Mietzinsansprüchen der Beschwerdegegnerin ausgeschlossen. Diese Mietzinse wurden mit jedem Monat der Gebrauchsüberlassung neu fällig. Der Vater des Beschwerdeführers konnte darüber nicht verfügen, weshalb auch die übrigen von den Beschwerdeführern angerufenen Gründe für das angebliche Erlöschen der Mietzinsforderungen ausser Betracht fallen.
Nachdem unbestritten ist, dass die Beschwerdeführer der Beschwerdegegnerin seit dem Eigentumsübergang keinen Mietzins leisteten, ist die Kündigung wegen Zahlungsverzugs rechtens. Insofern war der Sachverhalt unbestritten und die Rechtslage klar. Somit durfte das Ausweisungsgesuch der Beschwerdegegnerin im Verfahren des Rechtsschutzes in klaren Fällen gutgeheissen werden.
Eine Verletzung von <ref-law> oder <ref-law> ist nicht ersichtlich.
8.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter solidarischer Haftung kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftung mit insgesamt Fr. 4'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 30. September 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak