Sachverhalt: A. Nach dem bernischen Gebäudeversicherungsgesetz vom 9. Juni 2010 (GVG/BE; BSG 873.11), in Kraft seit dem 1. Januar 2011, sind alle im Kanton Bern gelegenen Gebäude obligatorisch bei der Gebäudeversicherung Bern (GVB) gegen Feuer- und Elementarschaden zu versichern (Art. 4 und Art. 8 GVG/BE). Die GVB ist eine selbständige Anstalt des öffentlichen Rechts mit eigener Rechtspersönlichkeit (Art. 3 GVG/BE). Nach den Art. 7, 44 und 45 GVG/BE kann die GVB Zusatzversicherungen und Nebentätigkeiten über juristisch selbständige, privatrechtlich organisierte Tochtergesellschaften anbieten. Zu diesem Zweck gründete die GVB die privatrechtlich organisierte GVB Privatversicherungen AG, welche für sämtliche Zusatzversicherungen zuständig sein soll, sowie die GVB Services AG, welche Nebentätigkeiten anbieten soll. Mit Verfügung vom 6. Juli 2011 erteilte die Eidgenössische Finanzmarktaufsicht (FINMA) der GVB Privatversicherungen AG auf deren Gesuch hin die Bewilligung zum Betrieb der Versicherungszweige B8 (Feuer und Elementarschäden), B9 (Sonstige Sachschäden), B13 (Allgemeine Haftpflicht) und B16 (Verschiedene finanzielle Verluste). Die Bewilligungserteilung wurde auszugsweise im Schweizerischen Handelsamtsblatt vom 8. Juli 2011 publiziert. B. Gegen diese Verfügung erhoben der Schweizerische Versicherungsverband (SVV), die Schweizerische Mobiliarversicherung AG und die Emmentalische Mobiliar Versicherungs-Genossenschaft, welche zuvor erfolglos um Parteistellung im Verfahren vor der FINMA ersucht hatten, am 8. August 2011 Beschwerde beim Bundesverwaltungsgericht mit dem Antrag, die angefochtene Verfügung sei aufzuheben und die von der GVB Privatversicherungen AG beantragte Bewilligung sei nicht zu erteilen; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Mit Urteil vom 12. Dezember 2011 trat das Bundesverwaltungsgericht auf die Beschwerde mangels Legitimation der Beschwerdeführer nicht ein. C. Der Schweizerische Versicherungsverband SVV, die Schweizerische Mobiliarversicherung AG und die Emmentalische Mobiliar Versicherungs-Genossenschaft erheben Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Antrag, das Urteil des Bundesverwaltungsgerichts sei aufzuheben, den Beschwerdeführern sei die Legitimation zuzuerkennen und die Vorinstanz sei anzuweisen, auf die Beschwerde vom 8. August 2011 einzutreten und die Sache materiell zu beurteilen. Eventuell sei die Frage der Beschwerdelegitimation zur Neubeurteilung an die Vorinstanz zurückzuweisen oder den Beschwerdeführern im Bewilligungsverfahren der Beschwerdegegnerin vor der FINMA Parteistellung zuzuerkennen und die FINMA anzuweisen, das Bewilligungsverfahren unter Wahrung der Parteirechte der Beschwerdeführer durchzuführen. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. Die GVB Privatversicherungen AG und die FINMA beantragen die Abweisung der Beschwerde. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 22. Februar 2012 wurde der Beschwerde die aufschiebende Wirkung zuerkannt. Die Parteien äusserten sich erneut zu den Vorbringen der jeweiligen Gegenpartei.