Sachverhalt:
A.
Am 23. Juli 2012 schloss C._ (Vermieterin, Beschwerdegegnerin) mit A.X._ und B.X._ (Mieter, Beschwerdeführer) einen Mietvertrag über ein 7-Zimmer-Einfamilienhaus in N._. Der monatliche Mietzins beträgt Fr. 3'900.--. Das Mietverhältnis ist unbefristet und kann unter Einhaltung einer Kündigungsfrist von drei Monaten gekündigt werden, erstmals per 31. August 2013. Am 16. Mai 2013 kündigte die Vermieterin den Mietvertrag wegen Zahlungsverzugs per 30. Juni 2013 sowie ordentlich per 31. August 2013.
B.
Am 28. August 2013 verlangte die Vermieterin beim Regionalgericht Oberland die Ausweisung der Mieter durch Rechtsschutz in klaren Fällen (Art. 257 ZPO). Mit Entscheid vom 15. Oktober 2013 gab der Gerichtspräsident des Regionalgerichts dem Exmissionsbegehren statt und verurteilte die Mieter, das Mietobjekt bis spätestens am 29. Oktober 2013 um 12.00 Uhr zu räumen und zu verlassen; gleichzeitig ermächtigte er die Vermieterin nötigenfalls zur Ersatzvornahme.
Dagegen erhoben die Mieter Berufung an das Obergericht des Kantons Bern mit dem Antrag, den angefochtenen Entscheid aufzuheben und auf das Gesuch um Ausweisung durch Rechtsschutz in klaren Fällen nicht einzutreten. Das Obergericht befand mit Entscheid vom 20. November 2013, dass die ordentliche Kündigung, auf die sich die Vermieterin berufe, weder angefochten worden noch nichtig sei, das Mietverhältnis somit gültig per 31. August 2013 geendet habe. Da es die Voraussetzungen für eine Ausweisung erfüllt sah, verurteilte das Obergericht die Mieter, das Mietobjekt bis spätestens am 30. November 2013 um 12.00 Uhr zu räumen und zu verlassen; gleichzeitig ermächtigte es die Vermieterin nötigenfalls zur Ersatzvornahme.
C.
Die Mieter erheben Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde mit dem Antrag, den Entscheid der Vorinstanz vom 20. November 2013 aufzuheben. Innerhalb der Beschwerdefrist reichten sie einen Nachtrag zur Beschwerdeschrift mit gleich bleibendem Antrag (in der Sache) ein.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung zur Beschwerde.
Die Beschwerdeführer reichten eine Replik ein.
Mit Präsidialverfügung vom 16. Dezember 2013 wurde der Beschwerde aufschiebende Wirkung erteilt.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1; <ref-ruling> E. 1).
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Endentscheid eines oberen kantonalen Gerichts (Art. 90 BGG i.V.m. Art. 75 BGG). Sie wurde innert der Beschwerdefrist (Art. 100 BGG) von der mit ihren Rechtsbegehren unterlegenen und damit beschwerdeberechtigten Partei (Art. 76 Abs. 1 BGG) eingereicht. Da die Mieter im Rahmen des Ausweisungsverfahrens die Nichtigkeit der Kündigung geltend machen, mithin nicht allein die Ausweisung, sondern auch die Kündigung streitig ist, übersteigt der Streitwert - entgegen der Angabe der Vorinstanz - bei einem Monatsmietzins von Fr. 3'900.-- die Grenze nach Art. 74 Abs. 1 lit. a BGG in mietrechtlichen Fällen (vgl. <ref-ruling> E. 1.1 mit Hinweisen; Urteil 4A_12/2010 vom 25. Februar 2010 E. 1). Somit kommt - entgegen der anderslautenden Rechtsmittelbelehrung der Vorinstanz - grundsätzlich die Beschwerde in Zivilsachen in Betracht, und die ebenfalls erhobene subsidiäre Verfassungsbeschwerde scheidet aus (Art. 113 BGG). Auf diese ist nicht einzutreten.
1.2. Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), darf sich der Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern er muss einen Antrag in der Sache stellen. Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 3.1).
Die Beschwerdeführer beantragen einzig die Aufhebung des angefochtenen Entscheids. Aus der Beschwerdebegründung geht hervor, dass sie in erster Linie eine Verletzung ihres Gehörsanspruchs (Replikrecht) rügen. Bei Gutheissung dieser Rüge entscheidet das Bundesgericht nicht selbst, sondern weist die Sache zu neuer Entscheidung an die Vorinstanz zurück (vgl. Erwägung 3). Unter diesen Umständen kann das Rechtsbegehren als ausreichend betrachtet werden.
2.
2.1. Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV; Art. 6 Ziff. 1 EMRK). Sie bringen vor, die Vorinstanz habe ihnen die Berufungsantwort der Beschwerdegegnerin vom 11. November 2013 nicht zugestellt. Sie hätten deshalb von deren Existenz und Inhalt nicht Kenntnis nehmen können. Die Vorinstanz habe bereits am 20. November 2013 den Entscheid erlassen. Durch dieses Vorgehen sei ihnen (den Beschwerdeführern) das Replikrecht abgeschnitten worden.
2.2. Nach Art. 29 Abs. 1 und 2 BV sowie Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör und auf ein faires Gerichtsverfahren, unter Beachtung des Grundsatzes der Waffengleichheit. Diese Garantien umfassen das Recht, von allen bei Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können, unabhängig davon, ob die Eingaben neue und/oder wesentliche Vorbringen enthalten. Es ist Sache der Parteien zu beurteilen, ob eine Entgegnung erforderlich ist oder nicht (<ref-ruling> E. 3.2; <ref-ruling> E. 2.1; <ref-ruling> E. 2.3.1; <ref-ruling> E. 4.3-4.6; je mit Hinweisen). Es ist Aufgabe des Gerichts, in jedem Einzelfall ein effektives Replikrecht der Parteien zu gewährleisten. Hierzu kann es einen zweiten Schriftenwechsel anordnen oder den Parteien Frist für eine allfällige Stellungnahme ansetzen. Es kann Eingaben aber auch lediglich zur Kenntnisnahme zustellen, wenn von den Parteien erwartet werden kann, dass sie umgehend unaufgefordert Stellung nehmen oder eine Stellungnahme beantragen, was namentlich bei anwaltlich Vertretenen oder Rechtskundigen der Fall ist. Die Zustellung muss vor Erlass des Urteils erfolgen, damit die Gegenpartei entscheiden kann, ob sie sich dazu äussern will (BGE <ref-ruling> E. 2.4 und 2.5 mit Hinweisen; vgl. auch Urteile [des EGMR] Joos gegen Schweiz vom 15. November 2012 sowie Schaller-Bossert gegen Schweiz vom 28. Oktober 2010).
2.3. Die Vorinstanz räumt in ihrer Stellungnahme zum Gesuch um aufschiebende Wirkung ein, den Beschwerdeführern die Berufungsantwort vom 11. November 2013 aus Versehen nicht zugestellt zu haben. Demnach erweist sich die Gehörsrüge als begründet, konnten die Beschwerdeführer doch weder von der Berufungsantwort Kenntnis nehmen geschweige denn replizieren.
Die Vorinstanz hat mit ihrem Vorgehen das Replikrecht und damit den Anspruch der Beschwerdeführer auf rechtliches Gehör und auf ein faires Gerichtsverfahren verletzt. Eine Heilung dieser Gehörsverletzung kommt im bundesgerichtlichen Verfahren nicht in Betracht, da das Bundesgericht den Sachverhalt nicht frei überprüfen kann (Art. 105 Abs. 1 und 2 BGG; BGE <ref-ruling> E. 2.3.2 und E. 2.7 mit Hinweisen).
2.4. Die Beschwerdegegnerin wendet ein, die Berufung der Beschwerdeführer auf die Gehörsverletzung erfolge rechtsmissbräuchlich und verdiene in Anbetracht der offenen Forderungen von derzeit Fr. 37'858.10 keinen Rechtsschutz. Die Beschwerdeführer brächten keine neuen Tatsachen oder Beweismittel vor, sondern wollten mit ihrer Beschwerde einzig Zeit bis zur Ausweisung aus der Liegenschaft gewinnen.
Selbst wenn Letzteres nicht vollständig entkräftet werden kann und der Zeitgewinn mit ein Motiv für die Beschwerdeerhebung gewesen sein sollte, ist nicht dargetan, dass die Beschwerdeführer einzig aus diesem Grund Beschwerde erhoben und keinerlei schutzwürdiges Interesse an der Geltendmachung ihres Replikrechts hätten. Dem Recht auf ein faires Verfahren einschliesslich dem Replikrecht kommt nach der zitierten Rechtsprechung des EGMR und des Bundesgerichts eine fundamentale Bedeutung zu, so dass nicht leichthin eine rechtsmissbräuchliche Anrufung dieses Anspruchs angenommen werden darf. Vorliegend ist der Vorwurf des Rechtsmissbrauchs nicht erstellt.
2.5. Aufgrund der formellen Natur des Gehörsanspruchs führt dessen Verletzung zur Aufhebung des angefochtenen Entscheids, ohne dass die überdies geltend gemachten Rügen zu prüfen wären (BGE <ref-ruling> E. 2.7; <ref-ruling> E. 2.3).
3.
Die Beschwerde in Zivilsachen ist gutzuheissen. Der angefochtene Entscheid ist aufzuheben und die Sache zu neuer Entscheidung unter Gewährung des rechtlichen Gehörs an die Vorinstanz zurückzuweisen. Bei diesem Ausgang des Verfahrens gehen die Kosten zulasten der unterliegenden Beschwerdegegnerin (Art. 66 Abs. 1 BGG). Die nicht anwaltlich vertretenen Beschwerdeführer haben keinen Anspruch auf Parteientschädigung (<ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Beschwerde in Zivilsachen wird gutgeheissen. Der Entscheid des Obergerichts des Kantons Bern vom 20. November 2013 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, Zivilabteilung, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. April 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz