Sachverhalt:
A.
Die C._ AG (Beklagte, Beschwerdegegnerin) kaufte am 28. September 2011 die Liegenschaft Strasse X._ in U._. Zu diesem Zeitpunkt bestand ein bis am 30. Juni 2012 befristetes Mietverhältnis für das Einfamilienhaus mit D._. Das Mietverhältnis dauerte länger als vertraglich vereinbart und wurde von der Beklagten per 31. Dezember 2012 gekündigt. D._ focht diese Kündigung an. Im Rahmen der Schlichtungsverhandlung schlossen die Beklagte und D._ im April 2013 eine Vereinbarung. Darin wurde festgehalten, dass das Mietverhältnis einmalig bis am 31. Oktober 2014 erstreckt werde.
Am 1. September 2013 schloss D._ mit A.A._ und B.A._ (Kläger, Beschwerdeführer) einen Untermietvertrag für das Mietobjekt ab. Den Klägern war dabei bekannt, dass das Mietverhältnis zwischen D._ und der Beklagten befristet war. Ende Oktober 2014 lief die Erstreckung des Mietverhältnisses zwischen D._ und der Beklagten aus. Am besagten Termin verliessen die Kläger die Liegenschaft jedoch nicht, sondern blieben darin wohnen. Nach verschiedenen, erfolglosen Treffen kündigte die Beklagte den Klägern am 2. Juli 2015, wobei es sich gemäss Begleitschreiben um eine "vorsorgliche" Kündigung handelte.
B.
Die Kläger fochten diese Kündigung vor der Schlichtungsbehörde und anschliessend mit Klage vom 16. Dezember 2015 am Regionalgericht Bern-Mittelland an. Sie verlangten die Feststellung der Missbräuchlichkeit bzw. Ungültigkeit der Kündigung resp. deren Aufhebung und ersuchten eventualiter um Mieterstreckung für mindestens 36 Monate. Die Beklagte schloss in ihrem Hauptbegehren auf Klageabweisung und auf Feststellung, dass kein Mietverhältnis bestehe.
Mit Urteil vom 29. Juni 2016 erwog der Gerichtspräsident des Regionalgerichts zusammengefasst, die Parteien hätten weder ausdrücklich noch stillschweigend einen Mietvertrag über die Liegenschaft Strasse X._ in U._ abgeschlossen. Mangels eines Vertragsverhältnisses brauche die Missbräuchlichkeit der Kündigung und die beantragte Erstreckung nicht geprüft werden. Entsprechend wies er die Klage ab und stellte fest, dass zwischen den Parteien kein Mietverhältnis bestehe.
Die dagegen von den Klägern erhobene Berufung wies das Obergericht das Kantons Bern mit Entscheid vom 17. Juli 2017 ab und stellte fest, dass zwischen den Parteien kein Mietverhältnis bestehe.
C.
Gegen den Entscheid des Obergerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht und beantragten, der Entscheid des Obergerichts sei aufzuheben und es sei festzustellen, dass zwischen den Parteien ein Mietverhältnis bestehe. Eventualiter sei der Entscheid aufzuheben und die Sache an die Vorinstanz zurückzuweisen.
Mit Verfügung vom 29. August 2017 wurde das Gesuch der Beschwerdeführer um vorsorgliche Massnahmen abgewiesen. Auf die Einholung von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Diese Grundsätze verkennen die Beschwerdeführer, soweit sie sich auf die Aussagen von Vertretern der Beschwerdegegnerin, auf die Aussagen des Zeugen E._, auf die Nebenkostenabrechnung und die Schlussrechnung für die Abfallgrundgebühr, auf die von der Beschwerdeführerin 1 geleistete Gartenarbeit, auf die öffentlich-rechtliche Nutzungsplanänderung der Parzelle durch die Gemeinde und auf die Abmahnung des Amtes für Wasser und Abfall des Kantons Bern berufen, welche Umstände im vorinstanzlichen Sachverhalt nicht festgestellt wurden, ohne dabei eine hinreichende Sachverhaltsrüge zu erheben. Darauf können sie sich im Folgenden nicht stützen.
3.
3.1. Vorliegend ist einzig strittig, ob zwischen den Parteien ein Mietvertrag über die Liegenschaft Strasse X._ in U._ zustande gekommen ist. Die Beschwerdeführer räumen zwar ein, dass kein "ausdrücklicher (mündlicher oder schriftlicher) Mietvertrag" abgeschlossen worden sei. Sie berufen sich aber darauf, dass ein Mietvertrag konkludent zustande gekommen sei. Die Vorinstanz habe gewichtige Indizien, die offensichtlich für einen konkludenten Vertragsschluss sprechen würden, unzureichend und damit "augenscheinlich" falsch gewürdigt. So hätten die Beschwerdeführer den monatlichen Mietzins ab Oktober 2014 pünktlich und regelmässig der Beschwerdegegnerin überwiesen. Die Beschwerdegegnerin habe die Mietzinszahlungen vorbehaltlos entgegen genommen. Die Beschwerdegegnerin habe sodann die Öltankrevision "durchaus beabsichtigt bzw. akzeptiert". Es liege keine "eigenmächtige" Tanksanierung vor, denn die Beschwerdegegnerin sei nicht nur über die Sanierung in Kenntnis gesetzt worden, sondern habe die weitere Umsetzung "wissentlich und willentlich" den Beschwerdeführern überlassen. Schliesslich ziehe die Vorinstanz aus ihrem Schreiben vom 20. Februar 2015, wonach den Beschwerdeführern bewusst gewesen sei, dass sie nicht Mieter seien, die falschen Schlüsse. Die Vorinstanz behafte sie als juristische Laien diesbezüglich "überspitzt [formalistisch] an ihrer eigenen Wortwahl". Dabei spiele es keine Rolle, ob die Parteien im Rahmen des bereits konkludent geschlossenen Mietvertrages auch noch Verhandlungen hinsichtlich des Abschlusses eines schriftlichen Mietvertrages geführt hätten. "Im Ergebnis" würde die Vorinstanz Bundesrecht verletzen, weil bei korrekter Feststellung des relevanten Sachverhalts und korrekter Beweiswürdigung das Bestehen eines Mietverhältnisses hätte festgestellt werden müssen.
3.2. Die Vorinstanz erwog, dass die von den Beschwerdeführern geltend gemachten Indizien nicht für einen konkludent abgeschlossenen Mietvertrag sprechen würden. Aufgrund der aktenkundigen Beweislage könne von vertrauenserweckenden, intensiven Verhandlungen über eine Zwischennutzung keine Rede sein. Vielmehr sei die Situation von Anfang an in der Schwebe und ungeregelt gewesen. Die Eigentümerschaft sei weder ausdrücklich noch konkludent an einer Regelung im Sinne der Beschwerdeführer interessiert gewesen und habe dies auch erkennen lassen. Man habe zwar miteinander gesprochen, eine einvernehmliche Lösung sei aber nie zu Stande gekommen.
Den Beschwerdeführern sei bereits im November 2014 klar gewesen, dass sie sich ohne Rechtsgrund in der Liegenschaft aufgehalten haben. Es sei keine Vereinbarung über eine Zwischennutzung auszumachen und die Beschwerdeführer hätten gewusst, dass sie hätten ausziehen sollen. Die Beschwerdeführer selbst würden angeben, nicht ausgezogen zu sein, weil sie keine Wohnung gehabt hätten und nicht etwa, weil sie mit dem Abschluss eines Mietvertrages gerechnet hätten. Die Parteien hätten - unterstützt durch Vermittler - zwar nach Lösungen gesucht. Eine solche habe aber nicht gefunden werden können. Auch später sei es den Parteien nicht gelungen, sich über die Modalitäten einer Zwischennutzung oder eines Mietverhältnisses zu einigen. Zu mehr als Vertragsverhandlungen sei es deshalb nie gekommen. Zu Recht habe die Erstinstanz im Übrigen geschlossen, solange die Parteien verhandeln würden, sei es verfrüht, von einem ausdrücklich oder stillschweigend abgeschlossenen Vertragsverhältnis auszugehen.
Daran würden auch die Behauptungen der Beschwerdeführer zur Tankanlage nichts ändern. Aufgrund der Akten sei nicht erstellt, dass die Beschwerdegegnerin im Voraus über die Tankrevision informiert worden wäre und dieser zugestimmt hätte. Vielmehr habe die Beschwerdeführerin 1 selbst eingeräumt, Anfang März dem Vermittler F._ erklärt zu haben, dass die Tankrevision in Auftrag gegeben worden sei. Es sei also mitnichten so, dass die Auftragserteilung in Absprache mit der Beschwerdegegnerin erfolgt wäre. Vielmehr haben die Beschwerdeführer die Sanierung in Eigenregie begonnen und haben nachher die Beschwerdegegnerin informiert. Nichts anderes würde sich aus den Einlassungen der Beschwerdegegnerin ergeben, deren Vertreter zwar eingeräumt habe, vom neuen Tank gewusst zu haben. Davon erfahren habe er allerdings erst, als die Beschwerdeführer darum ersucht hätten, die Kosten mit dem Mietzins zu verrechnen. Aus diesen Umständen könne jedenfalls kein konkludenter Wille der Beschwerdegegnerin zum Vertragsabschluss abgeleitet werden.
Nichts anders ergebe sich aus dem Schreiben der Beschwerdeführer vom 20. Februar 2015. Ob Laie oder Jurist, das Schreiben zeige deutlich, dass damit um Abschluss eines Mietvertrages nachgesucht werde. Folglich sei den Beschwerdeführern der vertragslose Zustand bewusst gewesen und sie seien selbst davon ausgegangen, dass bestenfalls Vertragsverhandlungen geführt worden seien. Die Würdigung der Erstinstanz sei deshalb in keiner Art und Weise zu beanstanden. Damit stehe fest, dass die Erstinstanz keinen der Umstände, welchen die Beschwerdeführer für einen stillschweigenden Vertragsschluss ins Feld geführt haben, falsch gewürdigt oder unzureichend in die Entscheidbegründung habe einfliessen lassen. Aus diesem Grund sei nicht ersichtlich, inwieweit die Erstinstanz den Sachverhalt unrichtig festgestellt haben sollte.
In ihren "rechtlichen Erwägungen", so die Vorinstanz weiter, würden sich die Beschwerdeführer über weite Strecken in Widerspruch zum erstinstanzlich festgestellten Sachverhalt stellen, worauf nicht einzutreten sei. Die Argumentation der Beschwerdeführer, wonach die Beschwerdegegnerin mit der Exmission achteinhalb Monate zugewartet und vorbehaltslos Mietzinsen vereinnahmt habe, sei von der Erstinstanz zu Recht verworfen worden. Ausgehend von einen korrekt ermittelten Sachverhalt ergebe sich nämlich, dass die Vertragsverhandlungen im Mai 2015 endgültig gescheitert seien. Danach seien gerade einmal zwei Monate vergangen, bis die Beschwerdegegnerin zur Exmission geschritten sei. Die Beschwerdeführer würden nicht im Ansatz begründen, weshalb die Erstinstanz ausgehend von diesem Sachverhalt fälschlicherweise einen konkludenten Vertragsabschluss verneint haben soll.
3.3. Ein Mietvertrag kommt als Konsensualvertrag durch den Austausch übereinstimmender Willensäusserungen der Parteien zustande (<ref-law>). Ein Mietvertrag kann grundsätzlich auch durch konkludentes Verhalten abgeschlossen werden (vgl. dazu: Urteile 4A_75/2015 vom 9. Juni 2015 E. 4.1; 4A_499/2013 vom 4. Februar 2014 E. 3.3.1; je mit Hinweisen). Das Zustandekommen eines Vertrages bestimmt sich wie sein Inhalt in erster Linie durch subjektive Auslegung, das heisst nach dem übereinstimmenden wirklichen Parteiwillen (<ref-law>). Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 3.3 mit Hinweisen).
Die Ermittlung des tatsächlichen Parteiwillens beruht auf Beweiswürdigung, die der bundesgerichtlichen Überprüfung nur in den Schranken von <ref-law> zugänglich ist (<ref-ruling> E. 3.2 S. 412 f.). Die Vertragsauslegung (bzw. Konsensfindung) nach dem Vertrauensgrundsatz ist demgegenüber Rechtsfrage, die vom Bundesgericht frei überprüft wird, wobei es an Feststellungen des kantonalen Gerichts über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>; <ref-ruling> E. 4.2.1 S. 666 f.).
3.4. Die von der Vorinstanz im Entscheid verwendete Terminologie zeigt, dass sie die tatsächlichen Willenskundgaben der Parteien im Rahmen einer Beweiswürdigung erforschte, jedoch dabei keine tatsächliche Willensübereinstimmung (natürlicher Konsens) der Parteien feststellte. Einen nach dem Vertrauensprinzip zugerechneten normativen Konsens prüfte sie nicht. Die Beschwerdeführer rügen vor Bundesgericht sodann einzig eine "unrichtige Feststellung des Sachverhalts" bzw. die "Beweiswürdigung" durch die Vorinstanz. Dass bei Berücksichtigung des Vertrauensprinzips der Mietvertrag zwischen den Parteien zustandegekommen wäre, wird von ihnen nicht geltend gemacht, zumindest nicht hinreichend. Daher ist einzig zu beurteilen, ob die vorinstanzliche Beweiswürdigung bezüglich der Ermittlung des tatsächlichen Parteiwillens willkürfrei erfolgte.
3.5. Das Bundesgericht greift in die Beweiswürdigung des Sachgerichts nur ein, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dabei ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1; <ref-ruling> E. 5.1 S. 22; <ref-ruling> E. 4.1; <ref-ruling> E. 2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3 S. 262). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem eine freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2b).
3.6. Ohne dass entschieden zu werden braucht, ob die Beschwerdeführer die Anforderungen an eine Willkürrüge überhaupt erfüllen würden, geht ihre Rüge fehl: Sie behaupten lediglich, dass sich die tatsächliche Willensübereinstimmung der Parteien daraus ergebe, dass die Beschwerdegegnerin ihre Mietzinszahlungen vorbehaltlos entgegen genommen habe und dass sie die Öltanksanierung "durchaus beabsichtigt bzw. akzeptiert" habe, sowie dass ihr Schreiben vom 20. Februar 2015 entgegen der Auffassung der Vorinstanz nicht gegen den Abschluss eines Mietvertrages spreche. Damit unterbreiten sie dem Bundesgericht einzig ihre eigene, von der Auffassung der Vorinstanz abweichende Beweiswürdigung zum tatsächlichen Vertragsabschluss. Sie zeigen aber nicht auf, inwiefern der gegenteilige Schluss der Vorinstanz willkürlich wäre.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer in solidarischer Haftbarkeit kostenpflichtig (Art. 66 Abs. 1 und 5 BGG).
Der Beschwerdegegnerin ist aus dem bundesgerichtlichen Verfahren kein entschädigungspflichtiger Aufwand erwachsen, weshalb ihr keine Parteientschädigung zuzusprechen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern in solidarischer Haftbarkeit auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 31. Oktober 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger