Erwägungen:
1.
Der Präsident des Bezirksgerichts Baden erkannte am 20. Oktober 2020, dass das Gesuch der Beschwerdeführer um Einstellung der Vollstreckung abgewiesen werde, soweit darauf eingetreten werde. Es werde festgestellt, dass der Urteilsvorschlag der Schlichtungsbehörde für Miete und Pacht vom 19. Februar 2020 in Rechtskraft erwachsen und direkt vollstreckbar sei.
Die dagegen erhobene Beschwerde wurde vom Obergericht des Kantons Aargau mit Entscheid vom 9. Februar 2021 abgewiesen.
Gegen den Entscheid des Obergerichts erhoben die Beschwerdeführer mit einer vom 1. März 2021 datierten Eingabe Beschwerde an das Bundesgericht. Mit der vom 2. März 2021 datierten Eingabe stellten sie das Gesuch, ihrer Beschwerde sei die aufschiebende Wirkung zu erteilen.
Am 3. März 2021 erkundigte sich der Beschwerdeführer 1 beim Bundesgericht, ob das Gericht die Eingaben der Beschwerdeführer erhalten habe. Mit Verfügung vom 5. März 2021 wurde der Eingang der Beschwerde den Beschwerdeführern bestätigt und gleichzeitig das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen, da die Beschwerde als aussichtslos erscheine. Am 5. März 2021 reichte die Beschwerdeführerin 2 eine weitere Eingabe ein. Der Beschwerdeführer 1 stellte am 16. März 2021 dem Bundesgericht zwei weitere Eingaben zu. Er stellte darin erneut den Antrag um Erteilung der aufschiebenden Wirkung.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.
2.
2.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1 mit Hinweisen).
2.2. In mietrechtlichen Angelegenheiten, wie hier eine vorliegt, ist die Beschwerde in Zivilsachen grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 15'000.-- beträgt (<ref-law>). Der Streitwert beträgt nach der unbestrittenen Feststellung der Vorinstanz weniger als 15'000.-- und erreicht damit die Streitwertgrenze nicht.
Erreicht der Streitwert den massgebenden Betrag wie in casu nicht, ist sie dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), was die beschwerdeführende Partei aufzuzeigen hat (<ref-law>; <ref-ruling> E. 2.6; <ref-ruling> E. 2.2.2.1, 645 E. 2.4).
Die Beschwerdeführer behaupten nicht, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt, zumindest offensichtlich nicht hinreichend, und es ist auch nicht ersichtlich, inwiefern sich eine solche stellen könnte. Unter diesen Umständen ist die Beschwerde in Zivilsachen nicht zulässig, sondern es steht die subsidiäre Verfassungsbeschwerde im Sinne der Art. 113-119 BGG offen.
3.
3.1. Mit der Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 117 in Verbindung mit <ref-law>). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2; je mit weiteren Hinweisen).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>), was die beschwerdeführende Partei mit einer genügenden Begründung geltend zu machen hat (<ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
4.
Die Beschwerdeführer verlangen vor Bundesgericht den Beizug der Akten "vom Sommer 2019" sowie der Ergebnisse der strafrechtlichen Ermittlungen. Sodann sei von der D._ AG der "gültige" Mietvertrag einzuverlangen.
Diesen prozessualen Anträgen kann nicht entsprochen werden. Es ist nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-ruling> E. 6.1 S. 214 f. mit Hinweisen). Sollten sich Sachverhaltsfeststellungen als offensichtlich unrichtig erweisen (Erwägung 3.2), ist die Angelegenheit vielmehr zur Ergänzung und Verbesserung des Sachverhalts an die Vorinstanz zurückzuweisen. Eine Sachverhaltsrüge, die eine Ergänzung oder Verbesserung des Sachverhalts erlauben würde, erheben die Beschwerdeführer aber offensichtlich nicht rechtsgenüglich.
5.
Auch im Übrigen genügen die Eingaben der Beschwerdeführer den genannten Anforderungen offensichtlich nicht. Vielmehr beharren sie weiterhin im Wesentlichen auf ihrem Standpunkt, dass sie Einsprache gegen den Urteilsvorschlag der Schlichtungsbehörde erhoben haben. Sie legen dafür vor Bundesgericht aber bloss in frei gehaltenen Ausführungen ihre Sicht der Dinge dar, ohne indessen auf die Erwägungen der Vorinstanz hinreichend konkret einzugehen, geschweige denn nachvollziehbar aufzuzeigen, inwiefern die Vorinstanz ihre verfassungsmässigen Rechte verletzt haben soll.
Auf die Beschwerde ist somit mangels hinreichender Begründung nicht einzutreten (<ref-law>).
6.
Das Gesuch der Beschwerdeführer um Erteilung der aufschiebenden Wirkung wurde am 5. März 2021 abgewiesen. In der Folge stellte der Beschwerdeführer 1 erneut ein Gesuch um Erteilung der aufschiebenden Wirkung, was als ein sinngemässes Gesuch um Wiedererwägung der Abweisung des Gesuchs um aufschiebende Wirkung entgegen genommen wird. Dieses Gesuch wird mit dem Entscheid in der Sache selbst gegenstandslos.
7.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss Art. 66 Abs. 1 und 5 BGG in solidarischer Haftbarkeit den Beschwerdeführern aufzuerlegen. Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, und der Stadtpolizei Baden, Baden, schriftlich mitgeteilt.
Lausanne, 12. April 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger