Sachverhalt: A. A.a. Die B._ Holding AG mit Sitz in U._ hat als statutarischen Zweck u.a. die Finanzierung und Beteiligung an Gesellschaften (sowie deren Beratung) im Bereich von Energie-Beteiligungen und deren Verwaltung. A.b. Am 1. Februar 2013 erliess die Eidgenössische Finanzmarktaufsicht (FINMA) - im Wesentlichen gestützt auf die Bestimmungen des Bundesgesetzes vom 22. Juni 2007 über die Eidgenössische Finanzmarktaufsicht (Finanzmarktaufsichtsgesetz, FINMAG; SR 956.1 [Stand am 20. Dezember 2012]) sowie auf diejenigen des Bundesgesetzes vom 8. November 1934 über die Banken und Sparkassen (Bankengesetz, BankG; SR 952.0 [Stand am 1. Januar 2013]) - eine Verfügung in Sachen B._ Holding AG, C._, D._ und A._. Darin erwog sie, C._ sei einziger Verwaltungsrat der B._ Holding AG und besitze 25 % ihrer Aktien. D._ besitze 75 % der Aktien und sei Geschäftsführer der B._ Holding AG. A._ sei mit einem Geschäftsbesorgungsvertrag mit der B._ Holding AG verbunden. Es rechtfertige sich eine gruppenweise Betrachtung der Vorgänge um die B._ Holding AG und A._, was zur Folge habe, dass die aufsichtsrechtlichen Konsequenzen alle Beteiligten träfen, selbst wenn nicht alle Involvierten an sämtlichen Handlungen teilgenommen hätten. Die B._ Holding AG habe gestützt auf verschiedene Anlageverträge von 183 Anlegern Gelder in der Höhe von 4,39 Millionen Franken entgegengenommen. Die durch die B._ Holding AG angebotenen Anlagemöglichkeiten wiesen sämtliche Merkmale einer Publikumseinlage im Sinne des Bankengesetzes auf. Der Vertrieb dieser Energieanleihen sei über ein von A._ betreutes Maklernetz erfolgt. Zudem habe die B._ Holding AG Werbung über ihre Webseite (www.b._.com) betrieben, welche ohne "Login" öffentlich zugänglich gewesen sei. Ferner habe die B._ Holding AG von weit über 20 Anlegern Gelder entgegengenommen, so dass die Gewerbsmässigkeit ohnehin zu bejahen sei. Die FINMA ging im Weiteren davon aus, dass die B._ Holding AG mit den entgegengenommenen Geldern kaum oder gar keine Investitionen getätigt, sondern den grössten Teil der Gelder an verschiedene Empfänger ausbezahlt habe. Zusammenfassend hielt die FINMA fest, die B._ Holding AG-Gruppe habe gewerbsmässig Publikumseinlagen entgegengenommen, ohne über die dafür notwendige Bankenbewilligung zu verfügen. Damit habe sie gegen das Bankengesetz verstossen. Ferner sei die B._ Holding AG überschuldet, weshalb der Konkurs über sie zu eröffnen sei. Gegen C._ und D._ seien Verbote der Ausübung einer Banktätigkeit und der entsprechenden Werbung in genereller Form auszusprechen. Die Ausübungs- und Werbeverbote seien sodann gestützt auf Art. 34 des Finanzmarktaufsichtsgesetzes zu publizieren. Demgemäss verfügte die FINMA, es werde festgestellt, dass die B._ Holding AG, A._, C._ und D._ ohne Bewilligung gewerbsmässig Publikumseinlagen entgegengenommen und damit aufsichtsrechtsrechtliche Bestimmungen (Bankengesetz) schwer verletzt hätten (Dispositiv-Ziff. 1). Weiter eröffnete sie am 4. Februar 2013, 08.00 Uhr, den Konkurs über die B._ Holding AG. Die bis anhin im Handelsregister eingetragenen Vertretungsbefugnisse der jeweiligen Organe wurden gelöscht (Dispositiv-Ziff. 2-8). Den ins Recht gefassten C._, D._ und A._ verbot die FINMA generell, unter jeglicher Bezeichnung selbst oder über Dritte, Publikumseinlagen gewerbsmässig entgegenzunehmen oder für die Entgegennahme von Publikumseinlagen in irgendeiner Form Werbung zu betreiben, unter Hinweis auf die Strafandrohungen von Art. 48 und 44 FINMAG sowie Art. 46 und 49 BankG (Dispositiv-Ziff. 9, 10). Sie verfügte sodann, dass die Dispositivziffern 9 und 10 nach Eintritt der Rechtskraft der angefochtenen Verfügung betreffend D._ für die Dauer von fünf Jahren und betreffend C._ und A._ für die Dauer von zwei Jahren auf ihrer Internetseite (www.finma.ch) veröffentlicht werden (Dispositiv-Ziff. 11). Die Ziffern 2 bis 8 des Verfügungsdispositivs wurden für sofort vollstreckbar erklärt, wobei die Tätigkeit des Konkursliquidators bis zum Eintritt der Rechtskraft der Verfügung auf sichernde und werterhaltende Massnahmen beschränkt wurde (Dispositiv-Ziff. 12). Die Kosten des Untersuchungsbeauftragten (Fr. 82'146.05 [inkl. MwSt]) und die Verfahrenskosten (Fr. 36'000.--) wurden sämtlichen Verfügungsadressaten solidarisch auferlegt (Dispositiv-Ziff. 13, 14). B. Gegen diese Verfügung erhoben die B._ Holding AG sowie C._ und D._ am 6. März 2013 gemeinsam Beschwerde beim Bundesverwaltungsgericht. Sie stellten folgende Anträge: "1. Die Ziffern 1-14 der Verfügung der Eidgenössischen Finanzmarktaufsicht vom 1. Februar 2013 seien aufzuheben und es sei festzustellen, dass keine unterstellungspflichtige Tätigkeit besteht, und eventualiter sei die Sache an die Vorinstanz zurückzuweisen zur korrekten Durchführung und Neubeurteilung im Sinne der Erwägungen, 2. eventualiter sei die Rechtswidrigkeit des angefochtenen Entscheids festzustellen." Das Bundesverwaltungsgericht trat mit Teilurteil vom 22. Oktober 2013 auf die Beschwerde der B._ Holding AG nicht ein. Mit Urteil vom 10. Dezember 2013 wies es sodann die Beschwerde von C._ und D._ ab, soweit es darauf eintrat. C. Mit gemeinsamer Eingabe vom 31. Januar 2014 erheben C._ und D._ beim Bundesgericht "Beschwerde" mit dem Antrag, das Urteil des Bundesverwaltungsgerichts aufzuheben und das Verfahren an die Vorinstanz zur Entscheidung zurückzuweisen. Zudem beantragen sie Erteilung der aufschiebenden Wirkung. Mit Verfügung vom 7. Februar 2014 trat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts auf das Gesuch um Erteilung der aufschiebenden Wirkung nicht ein, da das Gesuch - soweit zulässig - ins Leere stosse, weil in der Verfügung der FINMA das Wirksamwerden der bestrittenen Anordnungen vom Eintritt der Rechtskraft abhängig gemacht werde. Die FINMA und das Bundesverwaltungsgericht verzichten auf Vernehmlassung.