Sachverhalt: A. Die Baugenossenschaft C._ (Vermieterin, Beklagte, Beschwerdegegnerin), eine Wohnbaugenossenschaft, schloss mit A._ (Mieterin 1, Klägerin 1, Beschwerdeführerin 1) und deren Ehemann B._ (Mieter 2, Kläger 2 und Beschwerdeführer 2) einen Mietvertrag über eine 4-Zimmerwohnung und über einen Autoeinstellplatz ab und nahm sie als Mitglieder auf. Im Laufe des Mietverhältnisses soll es zu Pflichtverletzungen der Mieter 1 und 2 gekommen sein und zu Streitigkeiten mit anderen Mietparteien. Die Vermieterin mahnte die Mieter 1 und 2 mit Schreiben vom 3. Mai 2011 im Sinne von Art. 257f OR ab und drohte ihnen im Falle weiterer Sorgfaltspflichtverletzungen die Kündigung der Mietwohnung sowie den Ausschluss aus der Genossenschaft an. Am 15. Juni 2011 kündigte sie den Mietern 1 und 2 je mit separatem amtlich genehmigten Formular die Wohnung und den Garagenplatz ordentlich ohne Begründung. Ausserdem wurde ihnen mit Schreiben vom gleichen Tag der am 14. Juni 2011 anlässlich einer Vorstandssitzung beschlossene Ausschluss aus der Genossenschaft mitgeteilt, wobei der Beschluss mit erneuten heftigen verbalen Attacken der Mieterin 1 gegenüber von Mitmietern begründet wurde. B. Am 13. Juli 2011 zogen die Mieter den Ausschlussbeschluss an die Generalversammlung der Genossenschaft weiter und fochten die Kündigung bei der zuständigen Schlichtungsbehörde an. B.a. Am 10. Mai 2012 bestätigte die Generalversammlung den Ausschluss. Dieser Entscheid blieb in der Folge unangefochten. B.b. Nachdem vor der Schlichtungsstelle keine Einigung erzielt werden konnte, gelangten die Mieter an das Mietgericht des Bezirks Uster und verlangten, es sei festzustellen, dass die Kündigung ungültig sei, eventuell sei das Mietverhältnis erstmals um zwei Jahre zu erstrecken. Mit Urteil vom 28. Oktober 2014 erkannte das Mietgericht, die Kündigung sei ungültig. Auf Berufung der Beklagten entschied dagegen das Obergericht des Kantons Zürich mit Urteil vom 9. April 2015, die Kündigung sei gültig, und es erstreckte das Mietverhältnis erstmals bis zum 30. September 2012. Eine weitere Erstreckung sei nur zulässig, wenn spätestens 60 Tage vor dem 30. September 2012 von den Klägern bei der Schlichtungsbehörde eine entsprechende Klage eingereicht worden sei. C. Mit Beschwerde in Zivilsachen beantragen die Kläger dem Bundesgericht im Wesentlichen, das angefochtene Urteil aufzuheben und die Sache an das Obergericht zurückzuweisen. Eventuell sei die Ungültigkeit der Kündigung festzustellen. Ihrem Gesuch, der Beschwerde die aufschiebende Wirkung zu gewähren, gab das Bundesgericht mit Präsidialverfügung vom 26. Juni 2015 statt. Die Beschwerdegegnerin schliesst im Wesentlichen auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Obergericht auf Vernehmlassung verzichtet hat.