Sachverhalt:
A.
A.a. Die A._ AG mit Sitz in Zürich wurde am 15. Februar 1996 unter der Firma B._ AG im Handelsregister eingetragen. Später wurde sie umfirmiert in C._ AG. Dieser wurde mit Verfügung vom 22. Januar 1997 die Bewilligung zur Aufnahme der Geschäftstätigkeit als Bank und mit Verfügung vom 28. Oktober 1998 die Bewilligung zur Weiterführung der Geschäftstätigkeit als Effektenhändlerin erteilt. 2008 wurde die C._ AG in A._ AG umfirmiert. Mit Beschluss der Generalversammlung vom 19. Juli 2012 wurde die Gesellschaft aufgelöst und in Liquidation versetzt. Als Liquidatorin wurde die PricewaterhouseCoopers AG in Zürich (nachfolgend: PwC) gewählt.
A.b. Mit Reporting vom 5. September 2012 informierte die A._ AG in Liquidation die Eidgenössische Finanzmarktaufsicht (FINMA) darüber, dass sie die Einhaltung der Eigenmittelvorschriften nicht mehr zu erfüllen vermöge, und beantragte die sofortige Befreiung von der Verpflichtung zur Einhaltung derselben. Die PwC bestätigte mit Schreiben vom 7. September 2012, dass die A._ AG in Liquidation die Eigenmittelvorschriften nicht mehr einhalten könne.
A.c. Mit Schreiben vom 10. September 2012 teilte die FINMA dem Verwaltungsrat der A._ AG in Liquidation sowie der PwC mit, dass das erforderliche Mindestkapital unterschritten sowie die Eigenmittelvorschriften nicht mehr eingehalten würden, wodurch die Bewilligungsvoraussetzungen, die auch für Gesellschaften in freiwilliger Liquidation gelten würden, nicht mehr erfüllt seien. Sie setzte der A._ AG in Liquidation Frist bis 13. September 2012, 15.00 Uhr, um die Wiederherstellung des ordnungsgemässen Zustandes umzusetzen. Ebenfalls innert der gesetzten Frist hatte die Bank einen Zuschlag zum gesetzlichen Mindestkapital in der Höhe von 2 Mio. Franken gemäss dem FINMA Rundschreiben 2011/2 "Eigenmittelpuffer und Kapitalplanung Banken" zu leisten. Im Rahmen dieses Schreibens machte die FINMA die Bank darauf aufmerksam, dass sie gemäss Art. 25 des Bundesgesetzes vom 8. November 1934 über die Banken und Sparkassen (Bankengesetz, BankG; SR 952.0) bei Insolvenzgefahr Massnahmen - und dabei insbesondere auch die Konkurseröffnung - anordnen könne, wenn die Eigenmittelvorschriften nach Ablauf einer von ihr gesetzten Frist nicht erfüllt würden. Die im Schreiben angesetzte Frist sei eine solche Frist im Sinne von Art. 25 BankG.
A.d. In der Folge fanden zwischen der A._ AG in Liquidation, der PwC sowie der FINMA ein reger Austausch sowie mehrere Sitzungen statt. Dabei wurde namentlich mittels Schreiben der FINMA vom 14. bzw. 21. September 2012 die Frist zur Wiederherstellung des ordnungsgemässen Zustandes bis 21. September 2012, 16.00 Uhr erstreckt.
B.
Mit Eingabe vom 21. September 2012 erhob die A._ AG in Liquidation beim Bundesverwaltungsgericht Beschwerde gegen die Schreiben der FINMA vom 10., 14. und 21. September 2012 (Verfahren B-4966/2012).
C.
Mit Verfügung vom 8. Oktober 2012 eröffnete die FINMA den Konkurs über die A._ AG in Liquidation und entzog ihr die Bewilligung als Bank sowie als Effektenhändlerin. Als Konkursliquidatorin wurde die PwC eingesetzt; einer allfälligen Beschwerde wurde die aufschiebende Wirkung entzogen.
D.
D.a. Am 9. Oktober 2012 erhob die A._ AG in Liquidation gegen die Verfügung vom 8. Oktober 2012 Beschwerde beim Bundesverwaltungsgericht (Verfahren B-5272/2012). Sie beantragte die Aufhebung der Verfügung und die Zurückweisung der Streitsache an die Vorinstanz mit der verbindlichen Weisung, ihr in Form einer schriftlichen und begründeten Verfügung mit Rechtsmittelbelehrung Frist im Sinne von Art. 25 Abs. 1 BankG anzusetzen. Zudem stellte sie mehrere verfahrensrechtliche Anträge, u.a. die Wiederherstellung der aufschiebenden Wirkung.
D.b. Ebenfalls am 9. Oktober 2012 erhob die D._ A.S. Beschwerde beim Bundesverwaltungsgericht gegen die Verfügung vom 8. Oktober 2012 (Verfahren B-5273/2012) mit den gleichen Anträgen.
D.c. Das Bundesverwaltungsgericht wies die Anträge auf Wiederherstellung der aufschiebenden Wirkung ab. Sodann vereinigte es die Verfahren B-5272/2012 und B-5273/2012. Das Verfahren B-4966/2012 wurde mit Entscheid vom 20. März 2013 als gegenstandslos geworden vom Geschäftsverzeichnis abgeschrieben. Dieser Entscheid erwuchs unangefochten in Rechtskraft.
D.d. Mit Urteil vom 17. Juli 2013 trat das Bundesverwaltungsgericht auf die Beschwerde der D._ A.S. nicht ein und wies diejenige der A._ AG in Liquidation ab, soweit es darauf eintrat.
E.
Mit Eingabe vom 13. September 2013 erhebt die A._ AG in Liquidation Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde. Sie beantragt, das angefochtene Urteil sei aufzuheben und die Sache mit der verbindlichen Weisung an die FINMA zurückzuweisen, ihr in Form einer schriftlichen und begründeten Verfügung mit Rechtsmittelbelehrung die von ihr wahrzunehmenden Pflichten zu bezeichnen und Frist nach Art. 25 Abs. 1 BankG zu deren Erfüllung anzusetzen. Zudem beantragt sie Erteilung der aufschiebenden Wirkung.
Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 13. November 2013 wurde das Gesuch um aufschiebende Wirkung abgewiesen.
Die FINMA beantragt, auf die Beschwerde sei nicht einzutreten; eventuell sei sie abzuweisen, soweit darauf einzutreten sei. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung.

Erwägungen:
1.
1.1. Gegen Endentscheide des Bundesverwaltungsgerichts im Bereich der Bankenaufsicht ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG) und die Beschwerdeführerin ist als von der streitigen Aufsichtshandlung betroffene Bank zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Die Organe einer in Liquidation bzw. Konkurs versetzten Gesellschaft sind trotz Entzugs bzw. Dahinfallens ihrer Vertretungsbefugnis im Namen der Gesellschaft zur Beschwerdeführung ans Bundesgericht befugt (<ref-ruling> E. 1.1 S. 385; Urteil 2C_101/2011 vom 21. September 2011 E. 1.2.1). Die Beschwerde ist zu begründen (Art. 42 Abs. 2 BGG). Diese Voraussetzung ist hier entgegen der Ansicht der FINMA erfüllt, so dass auf die Beschwerde einzutreten ist.
1.2. Unzulässig ist die subsidiär erhobene Verfassungsbeschwerde, da diese nur gegen Entscheide letzter kantonaler Instanzen zulässig ist (Art. 113 BGG).
1.3. Mit der Verfügung vom 8. Oktober 2012 hat die FINMA einerseits der Beschwerdeführerin die Bewilligung als Bank und als Effektenhändlerin entzogen, andererseits über sie den Konkurs eröffnet. Mit der Beschwerde an die Vorinstanz beantragte die Beschwerdeführerin im Rechtsbegehren die Aufhebung der Verfügung; die Beschwerdebegründung bezog sich jedoch, auch soweit sie in diesem Zusammenhang formelle Aspekte rügte, nur auf die Konkurseröffnung, nicht auf den Bewilligungsentzug. Die Vorinstanz hat sich denn auch nur zur Konkurseröffnung (und im Zusammenhang damit zu den formellen Aspekten) geäussert, nicht zum Bewilligungsentzug. In ihrer Beschwerde an das Bundesgericht führt die Beschwerdeführerin aus, bei Eigenmittelmanko könne die FINMA einen Bewilligungsentzug erwägen, doch wäre ihr diese Möglichkeit im vorliegenden Fall verschlossen gewesen, da sie - die Beschwerdeführerin - sich bereits im Zustand der freiwilligen Liquidation befunden habe und über keine Bewilligung mehr verfügt habe, die ihr hätte entzogen werden können. Die Beschwerdeführerin beansprucht daher nach eigener Darstellung nicht, weiterhin über eine Bewilligung zu verfügen; selbst soweit der in der Verfügung vom 8. Oktober 2012 ausgesprochene Bewilligungsentzug infolge nicht mehr vorhandener Bewilligung unzulässig oder gegenstandslos gewesen sein sollte, fehlt es damit der Beschwerdeführerin an einem entsprechenden Rechtsschutzinteresse. Streitgegenstand ist demnach einzig die am 8. Oktober 2012 angeordnete und von der Vorinstanz bestätigte Konkurseröffnung. Die im Vorfeld dieser Verfügung ergangenen Schreiben der FINMA sind nicht direkt Anfechtungsobjekt; sie können aber entgegen der Ansicht der FINMA in der Beschwerde gegen die Konkurseröffnung im Sinne einer Vorfrage thematisiert werden, soweit sie einen Einfluss auf deren Rechtmässigkeit haben.
1.4. Das Bundesgericht wendet das Bundesrecht von Amtes wegen an (Art. 95 lit. a und Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). Soweit die Beschwerdeführerin eine eigene Darstellung des Sachverhalts vorlegt, ohne darzulegen, inwiefern die Sachverhaltsfeststellung der Vorinstanz im genannten Sinne mangelhaft sein soll, ist darauf nicht einzugehen.
2.
Die Beschwerdeführerin rügt, die Vorinstanz habe Art. 5 und 35 VwVG (SR 172.021) verletzt, indem sie die Schreiben der FINMA, namentlich dasjenige vom 10. September 2012, nicht als Verfügung qualifiziert habe. Dadurch seien das rechtliche Gehör (Art. 29 Abs. 2 BV) verletzt und eine richterliche Beurteilung (Art. 29a BV) verunmöglicht worden.
2.1. Mit dem Schreiben vom 10. September 2012 ordnete die FINMA einerseits an, den ordentlichen Zustand (Mindestkapital von 10 Mio. Franken; Art. 4 Abs. 1 der Bankenverordnung vom 17. Mai 1972 [BankV; SR 952.02]) wiederherzustellen; andererseits erhob sie zuzüglich zum gesetzlichen Mindestkapital einen Zuschlag von 2 Mio. Franken zur Abdeckung der nach wie vor nicht quantifizierbaren Rechtsrisiken der Bank sowie der sich abzeichnenden langen Frist bis zum Abschluss der Liquidation. Für beides wurde Frist gesetzt bis 13. September 2012, 15.00 Uhr.
2.2. Die Vorinstanz erwog, bei den Aktivitäten der FINMA bis zum Erlass der Verfügung vom 8. Oktober 2012, namentlich bei dem Schreiben vom 10. September 2012, handle es sich um informelles Verwaltungshandeln und nicht um anfechtbare Verfügungen. Die Schreiben seien ein blosser Verweis auf die bestehenden gesetzlichen Pflichten und hätten den Charakter eines Verfügungsentwurfs im Rahmen der Gewährung des rechtlichen Gehörs; das Inaussichtstellen einer Verfügung sei keine Verfügung. Auch hinsichtlich der Fristansetzung könne der FINMA kein fehlerhaftes Handeln vorgeworfen werden.
2.3. Ob die Ausführungen der Vorinstanz in jeder Hinsicht zutreffen, ist fraglich, insbesondere in Bezug auf den zusätzlich zum gesetzlichen Mindestkapital erhobenen Zuschlag von 2 Mio. Franken. Aber selbst wenn davon ausgegangen wird, dass es sich bei den erwähnten Schreiben um Verfügungen gehandelt hat, ist nicht ersichtlich, was die Beschwerdeführerin daraus für sich ableiten könnte: Die Verfügungen wären dann wohl nicht korrekt eröffnet worden, doch führt das bloss dazu, dass den Parteien daraus kein Nachteil erwachsen darf (Art. 38 VwVG). Ist eine Partei trotz mangelhafter Eröffnung in der Lage, eine rechtsgenügliche Beschwerde zu erheben, so entsteht ihr kein Nachteil (<ref-ruling> E. 6 S. 253; <ref-ruling> E. 3a/aa S. 99; Urteil 2C_848/2012 vom 8. März 2013 E. 4.1). Vorliegend hat die Beschwerdeführerin gegen die drei Schreiben vom 10., 14. und 21. September 2012 Beschwerde beim Bundesverwaltungsgericht erhoben. Ihr Anspruch auf gerichtliche Beurteilung (Art. 29a BV) war damit erfüllt, soweit ein solcher überhaupt bestand. Daran ändert nichts, dass in der Folge die Beschwerde abgeschrieben wurde; wäre die Beschwerdeführerin der Ansicht gewesen, diese Abschreibung sei zu Unrecht erfolgt, hätte sie dagegen Beschwerde erheben müssen.
3.
In der Sache rügt die Beschwerdeführerin, die Voraussetzungen für eine Konkurseröffnung seien nicht erfüllt gewesen.
3.1. Nach den Sachverhaltsfeststellungen der Vorinstanz (vgl. angefochtener Entscheid E. 6.1.2) wies die Beschwerdeführerin am 10. September 2012 einen Eigenmittelfehlbetrag von rund 14-15 Mio. Franken und einen Mindestkapitalfehlbetrag von rund 10 Mio. Franken auf, was sie auch nach rund einmonatiger Verfahrensdauer bis zum Zeitpunkt der Verfügung vom 8. Oktober 2012 und auch bis zum Zeitpunkt des angefochtenen Urteils nicht behob (vgl. angefochtener Entscheid E. 3.1.2). Diese Sachverhaltsfeststellungen sind für das Bundesgericht verbindlich (vgl. E. 1.4 hiervor).
3.2. In rechtlicher Hinsicht erwog die Vorinstanz, die Nichterfüllung der gesetzlichen Eigenmittelvorschriften stelle eine zumindest potentielle Gefährdung von Gläubigerinteressen dar, wodurch die Insolvenzgefahr gegeben sei. Es liege im Ermessen der FINMA, welche der in Art. 25 BankG vorgesehenen Schutzmassnahmen anzuordnen seien. Auch eine in freiwilliger Liquidation befindliche Bank habe die gesetzlichen Vorschriften einzuhalten, insbesondere auch die Eigenmittelvorschriften. Nach Art. 33 BankG habe die FINMA zwingend die Konkursliquidation anzuordnen, wenn keine Aussicht auf Sanierung bestehe oder diese gescheitert sei. Das sei offenkundig der Fall, wenn sich die Bank bereits in freiwilliger Liquidation befinde, weil dadurch konkludent zum Ausdruck gebracht werde, dass von Seiten der Eigner kein Interesse am Fortbestand und an einer Sanierung der Bank bestehe. Ein Verzicht auf die Konkursliquidation - und damit die fortlaufende freiwillige Liquidation - würde die Erfüllung der Eigenmittel- und Mindestkapitalvorschriften voraussetzen, was gerade nicht vorgelegen habe.
3.3. Die Beschwerdeführerin macht geltend, die Schutzmassnahmen nach Art. 25 BankG bezweckten die Verhinderung einer Liquidation, weshalb diese Bestimmung nicht mehr angerufen werden könne, wenn die Liquidation bereits auf freiwilliger Basis im Gange sei. Die Massnahmen nach Art. 25 Abs. 1 lit. c und Art. 26 BankG setzten eine Insolvenzgefahr voraus; im Zeitpunkt der Konkurseröffnung hätten weder die Gefahr einer Überschuldung noch Liquiditätsprobleme bestanden. Es habe keine Insolvenzgefahr bestanden und die Interessen der Gläubiger seien nicht gefährdet gewesen; die Vorinstanz habe sich daher zu Unrecht auf Art. 33 BankG berufen.
4.
4.1. Nach Art. 3 Abs. 2 lit. b BankG setzt die Bewilligung zum Geschäftsbetrieb einer Bank u.a. ein Mindestkapital voraus (in der Regel mindestens 10 Mio. Franken, Art. 4 BankV). Nach Art. 4 Abs. 1 BankG müssen die Banken einzeln und auf konsolidierter Basis über angemessene Eigenmittel und Liquidität verfügen. Der Bundesrat bestimmt die Elemente der Eigenmittel und der Liquidität. Er legt die Mindestanforderungen nach Massgabe der Geschäftstätigkeit und der Risiken fest. Die FINMA ist ermächtigt, Ausführungsvorschriften zu erlassen (Art. 4 Abs. 2 BankG). Gestützt darauf hat der Bundesrat die Verordnung vom 29. September 2006 über die Eigenmittel und Risikoverteilung für Banken und Effektenhändler (Eigenmittelverordnung, aERV; AS 2006 4307) und am 1. Juni 2012 die heute geltende Verordnung über die Eigenmittel und Risikoverteilung für Banken und Effektenhändler (Eigenmittelverordnung, ERV; SR 952.03; in Kraft grundsätzlich ab 1. Januar 2013, Art. 151 ERV) erlassen.
Die FINMA entzieht einer Bank oder einer Effektenhändlerin die Bewilligung, wenn sie die Voraussetzungen für die Tätigkeit nicht mehr erfüllt oder aufsichtsrechtliche Bestimmungen schwer verletzt (Art. 37 Abs. 1 des Bundesgesetzes vom 22. Juni 2007 über die Eidgenössische Finanzmarktaufsicht [Finanzmarktaufsichtsgesetz, FINMAG; SR 956.1]). Entzieht die FINMA einer Bank die Bewilligung zur Geschäftstätigkeit, so bewirkt dies bei juristischen Personen und Kollektiv- und Kommanditgesellschaften die Auflösung und bei Einzelfirmen die Löschung im Handelsregister. Die FINMA bezeichnet den Liquidator und überwacht seine Tätigkeit (Art. 23 quinquies Abs. 1 BankG). Vorbehalten bleiben Massnahmen nach dem elften Abschnitt (Art. 23 quinquies Abs. 2 BankG). Analoges gilt für Effektenhändler (Art. 36 des Bundesgesetzes vom 24. März 1995 über die Börsen und den Effektenhandel [Börsengesetz, BEHG; SR 954.1]).
Der elfte Abschnitt des Bankengesetzes (Art. 25-32 BankG) trägt den Titel: "Massnahmen bei Insolvenzgefahr". Darin regelt Art. 25 BankG gemäss seinem Marginale die "Voraussetzungen". Abs. 1 und 2 lauten wie folgt:
1 Besteht begründete Besorgnis, dass eine Bank überschuldet ist oder ernsthafte Liquiditätsprobleme hat, oder erfüllt diese die Eigenmittelvorschriften nach Ablauf einer von der FINMA festgesetzten Frist nicht, so kann die FINMA anordnen:
a. Schutzmassnahmen nach Artikel 26;
b. ein Sanierungsverfahren nach den Artikeln 28-32;
c. die Konkursliquidation der Bank (Bankenkonkurs) nach den Artikeln 33-37g.
2 Die Schutzmassnahmen können selbständig oder in Verbindung mit einer Sanierung oder Konkursliquidation angeordnet werden.
Der zwölfte Abschnitt (Art. 33-37g) trägt den Titel: "Konkursliquidation insolventer Banken (Bankenkonkurs) ". Art. 33 Abs. 1 BankG lautet:
"Besteht keine Aussicht auf Sanierung oder ist diese gescheitert, so entzieht die FINMA der Bank die Bewilligung, ordnet die Konkursliquidation an und macht diese öffentlich bekannt."
Diese Bestimmungen gelten sinngemäss auch für Effektenhändler (Art. 36a BEHG).
4.2. Entgegen der Auffassung der Beschwerdeführerin kommen Massnahmen im Sinne von Art. 25 BankG auch in Frage bei Banken, die sich bereits in freiwilliger Liquidation befinden. Zwar ist es das primäre Ziel der Schutzmassnahmen (Art. 26 BankG) wie auch des Sanierungsverfahrens (Art. 28-32 BankG), eine Liquidation zu verhindern (vgl. Botschaft vom 20. November 2002 zur Änderung des Bundesgesetzes über die Banken und Sparkassen, BBl 2002 8070 f. Ziff. 2.1.1.1.1 und 2.1.1.1.2); die Massnahmen nach Art. 25 BankG dienen aber auch der geordneten Liquidation, wenn sich diese als unausweichlich erweist (Martin Hess, in: Basler Kommentar, Bankengesetz, 2. Aufl. 2013, N. 1 zu Art. 26 BankG; Thomas Bauer, in: Basler Kommentar, Bankengesetz, 2. Aufl. 2013, N. 33 ff. zu Art. 28 BankG). Namentlich kommt die Konkursliquidation - als dritte der in Art. 25 Abs. 1 genannten Möglichkeiten - auch in Frage, wenn sich die Bank bereits in freiwilliger Liquidation befindet (<ref-ruling> E. 4.1.3 S. 321; vgl. Art. 740 Abs. 5 und Art. 743 Abs. 2 OR). Die Frage ist aber, unter welchen Voraussetzungen dies zulässig ist.
4.3. Das Bankengesetz unterscheidet die aufsichtsrechtliche (Art. 23 quinquies BankG) und die Konkursliquidation (Art. 33 ff. BankG; vgl. auch die terminologische Präzisierung im Rahmen der Gesetzesrevision vom 18. März 2011, in Kraft ab 1. September 2011, worin im elften und zwölften Abschnitt der bisherige Ausdruck "Liquidation" durch "Konkursliquidation" ersetzt wurde, um die Liquidation eines Instituts infolge Entzugs der Bewilligung zur Geschäftstätigkeit klarer von der Konkursliquidation infolge Insolvenz zu unterscheiden [BBl 2010 4014]). Die aufsichtsrechtliche Liquidation erfolgt (vorbehältlich von Massnahmen nach dem elften Abschnitt), wenn die FINMA einer Bank die Bewilligung zum Geschäftsbetrieb entzogen hat (Art. 23 quinquies Abs. 1 BankG; Art. 37 Abs. 1 FINMAG; Urteil 2C_199/2010 / 2C_202/2010 vom 12. April 2011 E. 11.2, nicht publ. in: <ref-ruling>; <ref-ruling> E. 3.3 S. 317; Poledna/Jermini, in: Basler Kommentar, Bankengesetz, 2. Aufl. 2013, N. 15 und 20 zu Art. 23quinquies; BBl 2002 8075 f.). Die Konkursliquidation ist demgegenüber eine der in Art. 25 BankG vorgesehenen Massnahmen bei Insolvenzgefahr. Die Verletzung von Bewilligungsvoraussetzungen oder aufsichtsrechtlichen Bestimmungen indiziert nicht zwingend Insolvenzgefahr. Auch die aufsichtsrechtliche Liquidation ist nicht gleichbedeutend mit der Konkursliquidation (Urteil 2C_101/2011 vom 21. September 2011 E. 1.1.2/1.1.3). Sie erfolgt unter der Aufsicht der FINMA, aber grundsätzlich nach den gesellschaftsrechtlichen Regeln (<ref-ruling> E. 4.1.3 S. 321; Eva Hüpkes, in: Basler Kommentar, Bankengesetz, 2. Aufl. 2013, Vor 11. bis 13. Abschnitt N. 38).
Der Konkurs kann folglich nicht allein mit der Begründung eröffnet werden, die Bank verletze ihre bankenrechtlichen Pflichten; dies führt zunächst nur zur Liquidation nach Art. 23 quinquies BankG (Guggenbühl/ Essebier, Bankenkonkurs und Einlagensicherung, SJZ 2006 S. 373 ff., 376; Carlo Lombardini, Droit bancaire suisse, 2. Aufl. 2008, S. 287 Rz. 15; Hüpkes, a.a.O., N. 38). Erst wenn sich (im Verlauf der aufsichtsrechtlich angeordneten Liquidation oder von vornherein) zeigt, dass die Bank überschuldet oder dauernd zahlungsunfähig ist, ist die Konkursliquidation anzuordnen (Urteil 2C_199/2010 / 2C_202/2010 vom 12. April 2011 E. 11.3, nicht publ. in: <ref-ruling>; <ref-ruling> E. 3.2 S. 46; <ref-ruling> E. 4.2 S. 388; <ref-ruling> E. 4.1.3 S. 321; Urteile 2C_71/2011 vom 26. Januar 2012 E. 2.2; 2C_898/2010 vom 29. Juni 2011 E. 3.1 und 3.2; 2A.35/2005 vom 14. Februar 2006 E. 8.1, in: RTiD 2006 II S. 792; Bauer/Hari/Jeanneret, in: Basler Kommentar, Bankengesetz, 2. Aufl. 2013, N. 10 und 19 zu Art. 33 BankG; Lars Schlichting, Legge sulle banche, annotata e commentata, 2013, S. 84). Der Nachweis einer formellen Überschuldung ist nicht nötig. Das Vorliegen vernünftiger, nachvollziehbarer Umstände, die auf eine bestehende oder unmittelbar bevorstehende Überschuldung schliessen lassen, genügt hierfür. Der FINMA als Fachbehörde kommt diesbezüglich ein nicht unerheblicher (technischer) Ermessensspielraum zu; sie muss ihren Entscheid aber im Einzelfall rechtsgenügend (vgl. Art. 35 Abs. 1 VwVG) begründen; die blosse abstrakte Vermutung einer Überschuldung genügt nicht (Urteil 2C_199/2010 / 2C_202/2010 vom 12. April 2011 E. 11.3.1, nicht publ. in: <ref-ruling>; Urteile 2C_101/2011 vom 21. September 2011 E. 4.1.1; 2C_71/2011 vom 26. Januar 2012 E. 4.3; Renate Schwob, in: Bodmer/Kleiner/Lutz, Kommentar zum Bankengesetz, Nachlieferung März 2013, N. 5 zu Art. 25 BankG).
4.4. Eine Verletzung der Eigenmittelvorschriften ist eine Verletzung bankenrechtlicher Pflichten und kann zum Entzug der Bewilligung (Art. 37 FINMAG) und anschliessender Liquidation führen, was auch die Beschwerdeführerin nicht bestreitet (vgl. E. 1.3 hiervor). Umstritten ist aber, ob die Liquidation auf dem Wege der Konkursliquidation zu erfolgen hat.
4.4.1. Generelle Voraussetzung für Massnahmen gemäss dem elften Abschnitt ist eine Insolvenzgefahr bzw. Gefahr für die Gläubiger (BBl 2002 8079 Ziff. 2.2.2.1; Schwob, a.a.O., N. 3 zu Art. 25 BankG; Haas/Bauer, a.a.O., N. 26 zu Art. 25 BankG; Hüpkes, a.a.O., Rz. 24). Auch der ganze zwölfte Abschnitt und somit auch Art. 33 BankG ist nur anwendbar für insolvente Banken (Bauer/Hari/Jeanneret, a.a.O., N. 1 f. zu Art. 33 BankG).
4.4.2. Die Nichterfüllung von Eigenmittelvorschriften ist in Art. 25 Abs. 1 BankG ausdrücklich als eine der Voraussetzungen für die darin genannten Massnahmen erwähnt. Die Literatur folgert daraus teilweise, die Verletzung von Eigenmittelvorschriften indiziere automatisch eine Insolvenzgefahr, wenn sie innert angesetzter Frist nicht behoben werde (Hüpkes, a.a.O., Rz. 25; Lombardini, a.a.O., S. 287 Rz. 14). Teilweise wird demgegenüber aus der Systematik und dem Titel des Abschnitts abgeleitet, dass die Verletzung von Eigenmittelvorschriften zwar zu Bewilligungsentzug (Art. 37 FINMAG) und anschliessender Liquidation (Art. 23 quinquies BankG) führt, aber noch nicht zwingend zu Massnahmen nach dem elften Abschnitt, solange nicht konkret eine Insolvenzgefahr besteht (Haas/Bauer, a.a.O., N. 26 zu Art. 25 BankG; Schwob, a.a.O., N. 4 und 7 zu Art. 25 BankG).
4.4.3. Zumindest theoretisch ist es denkbar, dass Eigenmittelvorschriften verletzt sind, aber trotzdem keine Insolvenzgefahr besteht. Insoweit greift es zu kurz, von einem Eigenmittelmanko automatisch auf Insolvenzgefahr zu schliessen. Nach der Botschaft zur Änderung des Bankengesetzes ist freilich die Nichterfüllung von Eigenmittelvorschriften "eine zumindest potentielle Gefährdung von Gläubigerinteressen" (BBl 2002 8079 f.; Haas/Bauer, a.a.O., N. 25 zu Art. 25 BankG). Eigenmittel dienen der Risikobegrenzung und damit auch dem Schutz der Gläubiger (Art. 1 Abs. 1 ERV; Oliver Arter, Bankenaufsicht in der Schweiz, 2008, S. 135). Zumindest im Sinne einer natürlichen Vermutung ist von Insolvenzgefahr auszugehen, wenn ein Eigenmittelmanko innert angesetzter Frist nicht behoben wird (Emch/Renz/Arpagaus, Das schweizerische Bankgeschäft, 7. Aufl. 2011, S. 1008 Rz. 3227). Es obliegt alsdann der Bank, im Rahmen ihrer Mitwirkungspflichten (Art. 13 Abs. 1 lit. c VwVG; Art. 29 FINMAG) aufzuzeigen, dass trotz fehlender Eigenmittel eine solche Gefahr nicht besteht bzw. allenfalls auf andere Weise vermieden oder behoben werden kann. Wird ein solcher Nachweis nicht erbracht und ist eine Sanierung aussichts- oder erfolglos, ist die Konkursliquidation anzuordnen (BBl 2002 8075 f. [zu Art. 23 quinquies ], 8090 [zu Art. 33]; Raphael Jaeger/Thomas Hautle, Bankenkonkurs und Einlagensicherung in der Schweiz, AJP 2009 S. 395 ff., 397 f.).
4.4.4. Vorliegend wird weder von der Vorinstanz festgestellt noch von der FINMA geltend gemacht, dass die Beschwerdeführerin im Zeitpunkt der Konkurseröffnung oder des angefochtenen Urteils überschuldet oder insolvent gewesen wäre. Unbestritten ist hingegen, dass die Eigenmittel- und Mindestkapitalanforderungen nicht erfüllt waren; es wären deshalb zusätzliche Eigenmittel erforderlich gewesen, um den gesetzlichen Zustand wieder herzustellen. Die Beschwerdeführerin hat vor der Vorinstanz und vor Bundesgericht zwar behauptet, sie sei nicht insolvent gewesen, aber sie hat nicht substantiiert dargelegt, weshalb bei ihr trotz fehlender Eigenmittel keine Insolvenzgefahr bestehen soll. Die Vorinstanz geht sodann davon aus, mit der freiwilligen Liquidation sei konkludent zum Ausdruck gebracht worden, dass die Eigner der Beschwerdeführerin kein Interesse an einer Sanierung hätten. Dem widerspricht die Beschwerdeführerin nicht. Es bestand damit keine Aussicht auf Behebung der zumindest potentiellen Insolvenz. Die Vorinstanzen durften daher die Voraussetzungen einer Konkursliquidation bejahen.
5.
Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen. Die unterliegende Beschwerdeführerin trägt die Kosten des Verfahrens (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung II, schriftlich mitgeteilt.
Lausanne, 7. März 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Seiler
Der Gerichtsschreiber: Winiger