Sachverhalt:
A.
A.a. Zwischen den Vermietern A.A._ und B.A._ (Kläger, Beschwerdeführer) und der Mieterin C._ AG (Beklagte, Beschwerdegegnerin) bestand eine Auseinandersetzung betreffend ihr Mietverhältnis. Mit am 21. Februar 2014 bei der Schlichtungsbehörde Bern-Mittelland rechtshängig gemachtem Schlichtungsgesuch stellte D._, Tochter der Vermieter, namens ihrer Eltern verschiedene Rechtsbegehren. Dem Schlichtungsgesuch lag eine Generalvollmacht, datierend vom 3. September 2010, bei, gemäss welcher die Tochter zur Vertretung ihrer Eltern in allen Angelegenheiten, in denen eine rechtsgeschäftliche Vertretung möglich ist, insbesondere auch vor allen Verwaltungsbehörden und Gerichten, bevollmächtigt wurde. Eine Weitergeltungsklausel für den Fall des Eintritts der Handlungsunfähigkeit enthielt die Vollmacht nicht.
A.b. Mit Schreiben vom 30. April 2014 stellte die Beklagte den Antrag, auf das Schlichtungsgesuch sei mangels Prozessfähigkeit der Klägerin nicht einzutreten. Am 12. Mai 2014 fand die Schlichtungsverhandlung statt, wobei der Kläger seine Ehefrau gestützt auf <ref-law> vertrat. Mit Entscheid vom 22. August 2014 stimmte die KESB Bern der Vertretung der Klägerin durch ihren Ehemann im Schlichtungsverfahren und im nachfolgenden Zivilprozess zu.
B.
Am 18. September 2014 erhoben die Kläger unter Einreichung des Protokolls der Schlichtungsverhandlung sowie des Entscheids der KESB Bern vom 22. August 2014 gegen die Beklagte Klage beim Regionalgericht Bern-Mittelland betreffend Forderung auf Zahlung aus Miet-/Pachtrecht mit verschiedenen Rechtsbegehren. Mit Entscheid vom 4. Mai 2015 trat das Regionalgericht auf die Klage der Klägerin nicht ein und wies jene des Klägers ab.
Die Kläger legten gegen diesen Entscheid Berufung beim Obergericht des Kantons Bern ein. Dieses bestätigte mit Entscheid vom 26. August 2015 den Entscheid des Regionalgerichts Bern-Mittelland.
C.
Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht, der Entscheid des Obergerichts vom 26. August 2015 und der erstinstanzliche Entscheid vom 4. Mai 2015 seien aufzuheben. Es sei auf die Klage der Klägerin einzutreten und die erste Instanz anzuweisen, die von den Klägern eingereichte Klage materiell zu beurteilen. Eventuell sei der angefochtene Entscheid des Obergerichts aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin verlangt, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Die Beschwerdeführer haben unaufgefordert eine Replik eingereicht, worauf die Beschwerdegegnerin in einer Duplik Stellung nahm.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 133 mit Hinweisen).
2.
Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren der Beschwerdeführer sind im kantonalen Verfahren nicht geschützt worden (<ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>).
3.
Bei der zu beurteilenden Streitsache handelt es sich um eine vermögensrechtliche Angelegenheit in einem mietrechtlichen Fall. Erforderlich ist ein Streitwert von Fr. 15'000.-- (<ref-law>).
3.1. Die Vorinstanz ging in ihrer Rechtsmittelbelehrung von einem Streitwert von über Fr. 15'000.-- aus, ohne dass sie dies näher begründete. Sie addierte offenbar die in den sieben Klagepositionen erwähnten Beträge, nämlich: Fr. 2'000.-- für entstandene Umtriebe in verschiedenen Verfahren; Fr. 1'379.50 für Verfahrenskosten in einem früheren Verfahren; Fr. 9'147.60 für die Ersatzbeschaffung von Stahlmetallgestellen; Fr. 1'403.90 für die Neuanfertigung einer Schliessplan-Anlage; Fr. 25.-- für den Ersatz von unrechtmässig beseitigten Strassenkegeln; Fr. 1'379.50 für Verzugszinsen und Fr. 480.-- für die Protokollführung vom 31. Oktober 2013 durch den Hauseigentümer-Verband. Demgegenüber ermittelte das Regionalgericht Bern-Mittelland (Ziff. C/1) einen Streitwert von Fr. 14'436.--, indem es einen in der Klageposition 6 erwähnten Betrag von Fr. 1'379.50 nicht berücksichtigte. Die Beschwerdeführer machen in der Beschwerdeschrift keine Ausführungen zum Streitwert. Die Beklagte bestreitet, dass die Streitwertgrenze gemäss <ref-law> von Fr. 15'000.-- erreicht ist. Sie macht geltend, maximal im Betrag von Fr. 10'551.50 (Fr. 9'147.90 [Ersatzanschaffung Stahlmetallgestelle] und Fr. 1'403.90 [Neuanfertigung Schliessplan-Anlage]) seien die Forderungen mietrechtlicher Natur. Es gehe nicht an, sich auf den reduzierten Streitwert für Mietrechtsstreitigkeiten zu berufen, dabei aber auch nicht mietrechtliche Forderungen zu berücksichtigen; zum Teil würden die eingeklagten Beträge ohnehin nur Nebenrechte (u.a. Zinsen, Parteientschädigungen, Gerichtskosten) betreffen, die für die Streitwertberechnung gemäss <ref-law> zum vorneherein unberücksichtigt bleiben müssten.
3.2. Unabhängig von der Qualifikation der einzelnen Positionen wird der Streitwert von Fr. 15'000.-- gemäss <ref-law> nicht erreicht. Die Beschwerdeführer haben nämlich in der Position 6 nicht den Betrag von Fr. 1'379.50 als solchen eingeklagt, sondern sie verlangten 5 % Verzugszins für die verspätete Zahlung des Mietzinses Oktober 2013 sowie Zins von 5 % auf den von ihnen geleisteten Betrag von Fr. 1'379.50 für Verfahrens- und Parteikosten im Verfahren CIV 13 4214.
Massgeblicher Zeitpunkt für die Bestimmung des Streitwerts ist der Zeitpunkt der Klageeinreichung beim Gericht (<ref-ruling> E. 2.2 S. 139). Die Klage wurde am 18. September 2014 eingereicht. Die Beschwerdeführer haben nicht dargelegt, wann sie die Prozessentschädigung im Verfahren CIV 13 4214 bezahlt haben. Der genaue eingeklagte Betrag lässt sich daher aus den Akten nicht eruieren. Das Gleiche gilt für das ebenfalls in Klageposition 6 enthaltene Begehren auf Zahlung von 5 % Verzugszins für die verspätete Zahlung des Mietzinses von Oktober 2013. Es ist nicht ersichtlich, welchen Zeitraum die Verspätung umfasste. Es ist Aufgabe der beschwerdeführenden Partei, die notwendigen Angaben zur Streitwertbestimmung zu liefern, andernfalls auf die Beschwerde gestützt auf <ref-law> nicht einzutreten ist (<ref-ruling> E. 1.1.1 S. 62; Urteil 5A_621/2007 vom 15. August 2008 E. 1.2; JEAN-MAURICE FRÉSARD, in: Commentaire de la LTF, 2. Aufl. 2014, N. 6 zu <ref-law>). Auf die Beschwerde ist daher bereits aus diesem Grund nicht einzutreten. Im Übrigen können die Zinsbetreffnisse - selbst wenn die ungenügende Begründung des Streitwerts nicht berücksichtigt würde - offensichtlich keinen Betrag von Fr. 564.-- (Differenz zwischen Fr. 15'000.-- und der Addition der übrigen Beträge gemäss Ziff. 1-5 und Ziff. 7 der Rechtsbegehren) ausmachen, selbst wenn der ganze Zeitraum zwischen Oktober 2013 (verspäteter Mietzins) bzw. zwischen dem Entscheid des Regionalgerichts im Verfahren CIV 13 4214 vom 5. September 2013 und der Klageeinreichung am 18. September 2014 berücksichtigt würde.
3.3. Aus dem in der Rechtsmittelbelehrung der Vorinstanz falsch angegebenen Streitwert von "mehr als CHF 15'000.00" können die Beschwerdeführer nichts zu ihren Gunsten ableiten. Zwar dürfen den Parteien aus einer unrichtigen Rechtsmittelbelehrung keine Nachteile erwachsen (<ref-law>). Eine falsche Rechtsmittelbelehrung kann indessen keine Rechtsmittelmöglichkeit schaffen, die es gemäss Gesetz gar nicht gibt (<ref-ruling> E. 1d S. 300; <ref-ruling> E. 1 S. 213; AMSTUTZ/ARNOLD, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 11 zu <ref-law>). Ein Nachteil könnte gegeben sein, wenn der Beschwerdeführer im Vertrauen auf die Zulässigkeit der Beschwerde in Zivilsachen unterlassen hat, die Verletzung verfassungsmässiger Rechte zu rügen oder geltend zu machen, es stelle sich eine Rechtsfrage von grundsätzlicher Bedeutung. Vertrauensschutz geniesst aber nur, wer die Unrichtigkeit der Rechtsmittelbelehrung nicht kennt und sie auch bei gebührender Aufmerksamkeit nicht hätte erkennen können (Urteil 4A_493/2014 vom 26. Januar 2015 E. 1.1.4 mit Hinweisen; vgl. auch Urteil 5A_111/2011 vom 20. April 2011 E. 1.1). Auf diesen Vertrauensschutz können sich die Beschwerdeführer vorliegend nicht berufen. Die Voraussetzungen dafür sind nicht gegeben: Nachdem bereits die Erstinstanz von einem Streitwert von unter Fr. 15'000.-- ausgegangen ist, hätten die anwaltlich vertretenen Beschwerdeführer bei gehöriger Sorgfalt die Unrichtigkeit der Streitwertangabe im angefochtenen Entscheid erkennen müssen, zumal sich der erforderliche Streitwert für die Beschwerde in Zivilsachen in mietrechtlichen Fällen aus dem Gesetz ergibt.
3.4. Erreicht die Klage den geforderten Streitwert nicht, ist die Beschwerde in Zivilsachen - abgesehen von hier nicht gegebenen Ausnahmen (Art. 74 Abs. 2 lit. b - d BGG) - nur zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), wobei in der Beschwerdeschrift auszuführen ist, warum diese Voraussetzung erfüllt ist (<ref-law>; <ref-ruling> E. 2.6 S. 494). Die Beschwerdeführer machen erst in ihrer Replik geltend, es liege eine Rechtsfrage von grundsätzlicher Bedeutung vor. Dies ist verspätet. Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen. Die beschwerdeführende Partei darf eine allfällige Replik nicht dazu verwenden, ihre Beschwerde zu ergänzen oder zu verbessern. Zulässig sind nur Vorbringen, zu denen erst die Ausführungen in der Vernehmlassung eines anderen Verfahrensbeteiligten Anlass geben (vgl. <ref-ruling> E. 2.2 S. 21; <ref-ruling> E. 3.3.4 S. 47; Urteil 4A_146/2012 vom 10. Januar 2013 E. 2.7). Die Frage des Streitwerts stellte sich aber bereits im Zeitpunkt der Beschwerdeerhebung.
4.
Da auch keine Verletzung von verfassungsmässigen Rechten gerügt wird, kann die Beschwerde auch nicht als Verfassungsbeschwerde entgegengenommen werden (<ref-law>). Auf die Beschwerde ist somit nicht einzutreten. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden unter solidarischer Haftbarkeit den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin unter solidarischer Haftbarkeit für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, Zivilabteilung, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Januar 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Reitze-Page