Sachverhalt:
A.
A._, B._, C._ und D. X._ (Vermieter, Beklagte, Beschwerdeführer) vermieten E._ (Mieterin, Klägerin, Beschwerdegegnerin) an der Y._strasse in Z._ eine 4-Zimmerwohnung. Zwischen den Parteien kam es zu diversen Mietstreitigkeiten, insbesondere infolge Mietzinserhöhungen.
Mit Schreiben vom 21. Januar 2012 focht die Mieterin die "Kündigungsandrohung/Mietzinserhöhung vom 23.12.2011" bei der Schlichtungsstelle für Mietangelegenheiten als unangemessen und missbräuchlich an. Am 3. April 2012 fand die Schlichtungsverhandlung statt, an welcher eine Vereinbarung unter Widerrufsvorbehalt unterzeichnet wurde. Die Vermieter erklärten mit Schreiben vom 4. Mai 2012 die von der Gegenpartei geltend gemachte Nichtigkeit der Mietzinsanpassung vom 23. Dezember 2011"mit Bedauern entgegenkommenderweise unpräjudiziell" anzuerkennen. Im gleichen Schreiben lehnten sie die vorgeschlagene Vereinbarung ab. Am 7. Mai 2012 stellte die Schlichtungsstelle die Klagebewilligung aus.
B.
B.a. Mit Klage vom 7. Juni 2012 reichte die Mieterin dem Bezirksgerichtspräsidenten Liestal folgende Rechtsbegehren ein:
"1. Es sei festzustellen, dass die Mietzinsänderung vom 25.07.2011 ungültig/ nichtig ist.
2. Es sei festzustellen, dass die Mietzinsänderung vom 23.12.2011 ungültig/ nichtig ist.
3. Es sei festzustellen, dass die Klausel unter der Rubrik "Besondere Verein- barungen" im Mietvertrag vom 13. Januar 1987 dahingehend verstanden werden durfte und musste, dass mit Unterhalt lediglich der kleine Unter- halt zu verstehen ist und demgemäss nur der kleine Unterhalt Sache der Mieterin ist, wohingegen der übrige Unterhalt vom Vermieter zu tragen ist."
Anlässlich der erstinstanzlichen Gerichtsverhandlung fragte der Bezirksgerichtspräsident bei den Vermietern nach, was die mit Schreiben vom 4. Mai 2012 erklärte unpräjudizielle Anerkennung der Nichtigkeit der Mietzinsanpassung vom 23. Dezember 2011 bedeute. Daraufhin anerkannten die Vermieter vorbehaltlos, dass die Mietzinsänderung vom 23. Dezember 2011 nichtig sei.
Mit Urteil vom 27. November 2012 trat der Bezirksgerichtspräsident Liestal nicht auf die Rechtsbegehren Ziffern 1 und 3 der Klage ein und stellte fest, die Beklagten hätten die Nichtigkeit der Mietzinsänderung vom 23. Dezember 2011 anerkannt. Die Gerichtskosten von Fr. 600.-- wurden den Parteien je zur Hälfte auferlegt und die Parteikosten wettgeschlagen (Ziffer 3 des Urteil-Dispositivs).
B.b. Gegen dieses Urteil erhoben die Beklagten am 6. März 2013 Beschwerde an das Kantonsgericht Basel-Landschaft.
Mit Entscheid vom 4. Juni 2012 erkannte das Kantonsgericht Basel-Landschaft:
"1. Auf die Beschwerde in der Hauptsache wird nicht eingetreten. Soweit sich die Beschwerde gegen den Kostenentscheid richtet, wird sie teilweise gut- geheissen und Ziff. 3 des Urteils des Bezirksgerichtspräsidenten Liestal vom 27.11.2012 wird wie folgt abgeändert:
"Die ordentlichen Kosten von CHF 600.00 werden de r Klagpartei auferlegt. Die Parteikosten werden wettgeschlagen".
2. Die Gerichtsgebühr von CHF 1'800.00 wird zu 4/5 der Beschwerdeführerin [den Beklagten] und zu 1/5 der Beschwerdegegnerin auferlegt. Die Be- schwerdeführerin hat der Beschwerdegegnerin [den Beklagten]eine redu- zierte Parteientschädigung von CHF 1'000.00 zzgl. MWST von CHF 80.00 zu leisten. Im Übrigen werden die Parteikosten wettgeschlagen."
Das Kantonsgericht erwog im Wesentlichen, dass auf die Beschwerde der Beklagten - soweit sie nicht den Kostenentscheid betreffe - nicht eingetreten werden könne, da es den Beklagten mangels formeller Beschwer an einem Rechtsschutzinteresse fehle. Bezüglich dem Kostenpunkt nahm das Kantonsgericht an, das Bezirksgericht habe den Zeitpunkt der Klageanerkennung der Beklagten in Bezug auf Ziffer 2 der Klagebegehren falsch festgestellt, weshalb ihnen keine Gerichtskosten hätten auferlegt werden dürfen. Der Kostenentscheid der Vorinstanz sei daher teilweise aufzuheben und die Gerichtskosten von Fr. 600.-- vollständig der Klägerin aufzuerlegen.
C.
Mit subsidiärer Verfassungsbeschwerde beantragen die Beklagten dem Bundesgericht im Wesentlichen, der Entscheid des Kantonsgerichts Basel-Landschaft vom 4. Juni 2013 sei aufzuheben, die Beschwerde vom 6. März 2013 gutzuheissen und Ziffer 3 des Urteils des Bezirksgerichtspräsidenten Liestal vom 27. November 2012 wie folgt abzuändern: "Die ordentlichen Gerichtskosten von CHF 600 werden der Klägerin (...) zu 100 % auferlegt. Die Klägerin (...) hat der Beklagten (...) eine Prozessentschädigung von CHF 5'400 inkl. MWST zu leisten". Sodann beantragen die Beklagten, die Gerichtskosten des vorinstanzlichen Verfahrens seien der Klägerin aufzuerlegen und es sei ihnen eine Prozessentschädigung von Fr. 1'250.-- zuzusprechen.
Auf die Einholung von Vernehmlassungen wurde verzichtet.

Erwägungen:
1.
Der angefochtene Entscheid des Kantonsgerichts Basel-Landschaft vom 4. Juni 2013 ist ein verfahrensabschliessender Endentscheid (Art. 117 i.V.m. <ref-law>) einer letzten kantonalen Instanz (Art. 114 i.V.m. <ref-law>). Der Streitwert erreicht die erforderliche Streitwertgrenze von <ref-law> nicht, weshalb die Beschwerde in Zivilsachen nicht gegeben ist. Die erhobene subsidiäre Verfassungsbeschwerde erweist sich demnach als das zulässige Rechtsmittel (<ref-law>).
2.
Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten.
Die Rechtsbegehren der Beschwerdeführer erweisen sich als weitgehend mangelhaft. Die Beschwerdeschrift enthält unzählige unklare und unübersichtliche Rechtsbegehren, die über die Aufhebung des angefochtenen Entscheids und die Neubeurteilung der Prozesskosten hinausgehen. Zudem unterlassen es die Beschwerdeführer überwiegend, ihre Rechtsbegehren in ihrer Beschwerdeschrift zu begründen. Nur sinngemäss kann ihrer Beschwerde entnommen werden, da ss sie insbesondere den Kostenentscheid des vorinstanzlichen Verfahrens anfechten und für beide kantonalen Verfahren eine Parteientschädigung geltend machen.
Ob die Rechtsbegehren damit den Anforderungen gemäss <ref-law> genügen, kann offen bleiben, da die Beschwerde jedenfalls in der Sache unbegründet ist.
3.
Mit der subsidiären Verfassungsbeschwerde kann nur die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Die Verletzung von verfassungsmässigen Rechten muss in der Beschwerde vorgebracht und begründet werden (Art. 117 i.V.m. <ref-law>). Die Beschwerdeführer müssen angeben, welches verfassungsmässige Recht verletzt wurde, und substanziiert darlegen, worin die Verletzung besteht. Das Bundesgericht kann die Verletzung eines Grundrechts nur insofern prüfen, als eine solche Rüge in der Beschwerde klar und detailliert erhoben und soweit möglich belegt ist (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
3.1. Die Vorinstanz hat aufgrund der mangelhaften Rechtsbegehren der Beschwerdeführer das Verfahren auf die Kostenfrage beschränkt bzw. ist auf die Beschwerde in der Hauptsache nicht eingetreten und hat die Beschwerde in Bezug auf Ziffer 2 der Rechtsbegehren der Klage als selbstständige Beschwerde gemäss <ref-law> entgegengenommen. Dabei hat sie festgehalten, das Bezirksgericht habe den Zeitpunkt der Klageanerkennung falsch festgestellt; die Beschwerdeführer hätten bereits am 4. Mai 2012 und nicht erst anlässlich der Gerichtsverhandlung vom 27. November 2012 anerkannt, dass die Mietzinsanpassung vom 23. Dezember 2011 nichtig gewesen sei. Damit gelte die Beschwerdegegnerin im Verfahren vor dem Bezirksgericht als unterlegen, womit ihr die erstinstanzlichen Prozesskosten vollständig aufzuerlegen seien. Eine Parteientschädigung könne den Beschwerdeführern jedoch nicht zugesprochen werden, da ihr Rechtsbeistand gleichzeitig Parteistellung innehabe. Dass ein begründeter Fall vorliegen würde, aufgrund dessen eine angemessene Umtriebsentschädigung zuzusprechen sei, sei nicht geltend gemacht worden.
Damit seien die Beschwerdeführer mit ihrer Beschwerde einzig im Kostenpunkt teilweise durchgedrungen, womit ihnen in Anwendung von <ref-law> vier Fünftel der Gerichtskosten aufzuerlegen seien. Die Kosten der berufsmässigen Vertretung seien im gleichen Verhältnis zu verteilen, wobei der Rechtsbeistand der Beschwerdeführer, der gleichzeitig Parteistellung innehabe, auch für das Beschwerdeverfahren keine Parteientschädigung beanspruchen könne.
3.2. Die Beschwerdeführer rügen, die Vorinstanz habe Art. 8 und 9 BV verletzt. Sie machen geltend, sie hätten im vorinstanzlichen Verfahren vollumfänglich obsiegt; mit ihrer Beschwerde an die Vorinstanz hätten sie lediglich die Tatsache der "willkürlichen 50 % Kostenteilung gerügt", wobei auf "die unkorrekte Vorgehensweise" des Rechtsvertreters der Beschwerdegegnerin hingewiesen wurde. Es könne ihnen daher nicht angelastet werden, "sie hätte (n) den Nichteintretensentscheid auf die Klagebegehren 1 & 2 (recte: wohl 1 und 3) gerügt, worauf mangels Rechtsschutzinteresse auf die Hauptsache" nicht eingetreten worden sei. Sinngemäss machen sie geltend, die Kosten des vorinstanzlichen Verfahrens seien vollumfänglich der Beschwerdegegnerin aufzuerlegen. Ebenso sei ihnen sowohl für das Verfahren vor dem Bezirksgericht als auch für das vorinstanzliche Verfahren eine Parteientschädigung zuzusprechen.
3.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, namentlich die Parteivorbringen in denselben (Urteil 4A_322/2012 vom 21. Februar 2013 E. 1.4.1 mit Hinweisen). Aus dem angefochtenen Entscheid geht hervor, dass die Beschwerdeführer mit ihrer Beschwerde gegen das Urteil des Bezirksgerichtspräsidenten Liestal vom 27. November 2012 die (vollumfängliche) Abweisung der Klage vom 7. Juni 2012 beantragt haben, wie sie dies im Übrigen auch im bundesgerichtlichen Verfahren tun. Die Beschwerdeführer legen nicht dar, inwiefern diese vorinstanzliche Feststellung willkürlich sein soll, sondern begnügen sich damit, der bestrittenen Feststellung ihre eigenen Behauptungen gegenüberzustellen. Indem die Vorinstanz auf ihre Beschwerde in der Hauptsache nicht hat eintreten können und die Beschwerdeführer nur im Kostenpunkt obsiegt haben - was von ihnen nicht bestritten wird - hat die Vorinstanz in Anwendung von <ref-law> die Kosten dem Ausgang des Verfahrens entsprechend verteilen dürfen. Es ist weder dargetan noch ersichtlich, inwiefern die Vorinstanz damit gegen Art. 8 und Art. 9 BV verstossen haben soll.
Ebenso wenig legen die Beschwerdeführer dar, in welcher Hinsicht die Vorinstanz verfassungsmässige Rechte verletzt haben soll, indem sie den Beschwerdeführern weder für das erstinstanzliche noch das vorinstanzliche Verfahren eine Parteientschädigung zugesprochen hat. Die Vorinstanz hat festgehalten, dass nach konstanter Praxis des Kantonsgerichts Basel-Landschaft in Anlehnung an die bundesgerichtliche Praxis einem Rechtsbeistand, der gleichzeitig Parteistellung innehat, keine Parteientschädigung zugesprochen wird. Damit setzen sich die Beschwerdeführer keineswegs auseinander und bringen insbesondere nicht vor, auf welche Weise ihnen trotz Parteistellung ihres Rechtsvertreters dennoch tatsächliche Anwaltskosten angefallen wären und ihnen deshalb eine Parteientschädigung hätte zugesprochen werden müssen.
4.
Die Beschwerde erweist sich als unbegründet. Sie ist abzuweisen, soweit angesichts der weitgehend mangelhaften Rechtsbegehren überhaupt darauf eingetreten werden kann. Bei diesem Ausgang des bundesgerichtlichen Verfahrens werden die Beschwerdeführer dafür unter solidarischer Haftbarkeit kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin ist keine Parteientschädigung zuzusprechen, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand entstanden ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftbarkeit auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 3. Oktober 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze