Sachverhalt: A. Die C._ AG (Beklagte, Beschwerdegegnerin) kaufte am 28. September 2011 die Liegenschaft Strasse X._ in U._. Zu diesem Zeitpunkt bestand ein bis am 30. Juni 2012 befristetes Mietverhältnis für das Einfamilienhaus mit D._. Das Mietverhältnis dauerte länger als vertraglich vereinbart und wurde von der Beklagten per 31. Dezember 2012 gekündigt. D._ focht diese Kündigung an. Im Rahmen der Schlichtungsverhandlung schlossen die Beklagte und D._ im April 2013 eine Vereinbarung. Darin wurde festgehalten, dass das Mietverhältnis einmalig bis am 31. Oktober 2014 erstreckt werde. Am 1. September 2013 schloss D._ mit A.A._ und B.A._ (Kläger, Beschwerdeführer) einen Untermietvertrag für das Mietobjekt ab. Den Klägern war dabei bekannt, dass das Mietverhältnis zwischen D._ und der Beklagten befristet war. Ende Oktober 2014 lief die Erstreckung des Mietverhältnisses zwischen D._ und der Beklagten aus. Am besagten Termin verliessen die Kläger die Liegenschaft jedoch nicht, sondern blieben darin wohnen. Nach verschiedenen, erfolglosen Treffen kündigte die Beklagte den Klägern am 2. Juli 2015, wobei es sich gemäss Begleitschreiben um eine "vorsorgliche" Kündigung handelte. B. Die Kläger fochten diese Kündigung vor der Schlichtungsbehörde und anschliessend mit Klage vom 16. Dezember 2015 am Regionalgericht Bern-Mittelland an. Sie verlangten die Feststellung der Missbräuchlichkeit bzw. Ungültigkeit der Kündigung resp. deren Aufhebung und ersuchten eventualiter um Mieterstreckung für mindestens 36 Monate. Die Beklagte schloss in ihrem Hauptbegehren auf Klageabweisung und auf Feststellung, dass kein Mietverhältnis bestehe. Mit Urteil vom 29. Juni 2016 erwog der Gerichtspräsident des Regionalgerichts zusammengefasst, die Parteien hätten weder ausdrücklich noch stillschweigend einen Mietvertrag über die Liegenschaft Strasse X._ in U._ abgeschlossen. Mangels eines Vertragsverhältnisses brauche die Missbräuchlichkeit der Kündigung und die beantragte Erstreckung nicht geprüft werden. Entsprechend wies er die Klage ab und stellte fest, dass zwischen den Parteien kein Mietverhältnis bestehe. Die dagegen von den Klägern erhobene Berufung wies das Obergericht das Kantons Bern mit Entscheid vom 17. Juli 2017 ab und stellte fest, dass zwischen den Parteien kein Mietverhältnis bestehe. C. Gegen den Entscheid des Obergerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht und beantragten, der Entscheid des Obergerichts sei aufzuheben und es sei festzustellen, dass zwischen den Parteien ein Mietverhältnis bestehe. Eventualiter sei der Entscheid aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Mit Verfügung vom 29. August 2017 wurde das Gesuch der Beschwerdeführer um vorsorgliche Massnahmen abgewiesen. Auf die Einholung von Vernehmlassungen zur Beschwerde wurde verzichtet.