Sachverhalt: A. A.a. Am 1. Juli 2011 erliess die Eidgenössische Finanzmarktaufsicht (nachfolgend: FINMA) eine Verfügung gegen die X._ Fonds Management AG (nachfolgend: X._), in welcher im Dispositiv Folgendes angeordnet wurde: "1. Es wird festgestellt, dass die X._ Fonds Management AG aufsichtsrechtliche Bestimmungen schwer verletzt hat. 2. Die Verfahrenskosten in der Höhe von CHF 10'000.-- werden der X._ Fonds Management AG auferlegt. Sie werden mit separater Post in Rechnung gestellt und sind innert 30 Tagen nach Eintritt der Rechtskraft zu begleichen." In Randziffer 35 der Erwägungen wird über den ehemaligen Vizepräsidenten des Verwaltungsrates der X._, Dr. A._ Folgendes festgehalten: "Sowohl A._ wie auch B._ waren für die Verwaltung bzw. Geschäftsführung der X._ verantwortlich und zudem direkt oder indirekt an ihr massgebend beteiligt. Durch die oben beschriebenen Geschäftsvorfälle haben sich A._ und B._ zum Schaden der X._ materielle Vorteile verschafft. Dieses Verhalten kann nicht als integer bezeichnet werden und widerspricht in krasser Weise dem, was von einem redlichen Organ eines bewilligten Institutes erwartet wird. Damit ist den Erfordernissen der Gewähr und eines guten Rufes nicht Genüge getan. Die Verletzung des Gewährserfordernisses muss sich die X._ als Bewilligungsträgerin anrechnen lassen." Auch in weiteren Randziffern der Erwägungen wird das Verhalten des namentlich genannten A._ kritisiert. Gemäss Eröffnungsvermerk wurde die Verfügung an die X._ eröffnet und zur Kenntnisnahme der Y._ AG mitgeteilt. A.b. Im Zeitpunkt des Erlasses der genannten Verfügung hatte A._ keine Organstellung bei der X._ mehr inne und war er auch nicht mehr direkt oder indirekt an ihr beteiligt; er musste aber als Verwaltungsrat und Geschäftsführer der Z._ Invest AG Gewähr für eine einwandfreie Geschäftstätigkeit bieten. Diese verfügte im Verfügungszeitpunkt über keine Beteiligung an der X._ mehr, war jedoch mit dieser hinsichtlich Personal und Infrastruktur eng verbunden und stand in besonderer Beziehungsnähe zu ihr. A.c. Auf Anfrage der FINMA hin teilte die X._ mit Schreiben vom 31. August 2011 der FINMA mit, dass keine Strafanzeige gegen A._ eingereicht werde. Am 6. Oktober 2011 erstattete die FINMA bei der Staatsanwaltschaft in Zürich Strafanzeige gegen A._ wegen ungetreuer Geschäftsbesorgung. Das Verfahren wurde mit Verfügung vom 16. Mai 2012 eingestellt. A.d. Mit Schreiben vom 13. Oktober 2011 teilte A._ der FINMA mit, dass die Z._ Invest AG wegen seiner gesundheitlichen Beschwerden ihre Aktivitäten im Bereich Anlagefondsvertrieb per 31. Oktober 2011 einstellen müsse. Entsprechend verzichtete die Z._ Invest AG auf ihre Bewilligung als Vertriebsträger, weshalb die FINMA A._ mit Schreiben vom 25. November 2011 bekannt gab, dass es der Z._ Invest AG nunmehr verboten sei, kollektive Kapitalanlagen öffentlich anzubieten und zu vertreiben. In einem weiteren Schreiben vom 16. Dezember 2011 teilte die FINMA A._ mit, dass er derzeit keine Organfunktion in einem von ihr überwachten Unternehmen mehr einnehme. Entsprechend sei eine am 15. August 2011 versandte Gesprächseinladung, welche A._ aus gesundheitlichen Gründen bis zum Zeitpunkt des Schreibens nicht wahrnehmen konnte, hinfällig geworden. A.e. Mit Schreiben vom 21. Dezember 2011, dem sogenannten "Gewährsbrief", empfahl die FINMA A._, sich mit der FINMA in Verbindung zu setzen, sofern er gedenke, bei einem von ihr beaufsichtigten Unternehmen wieder eine Gewährsstellung einzunehmen und insofern wieder Gewähr für eine einwandfreie Geschäftstätigkeit bieten müsse. In diesem Schreiben an A._ nahm die FINMA erstmals Bezug auf ihre - in der Zwischenzeit rechtskräftig gewordene - Verfügung vom 1. Juli 2011. Mit Schreiben vom 6. Januar 2012 verlangte der nunmehr anwaltlich vertretene A._ Akteneinsicht, die ihm am 20. Februar 2012 gewährt wurde. A._ erhielt nach seinen Angaben in diesem Zeitpunkt erstmals Kenntnis vom Inhalt der Verfügung vom 1. Juli 2011. Anlässlich eines auf Wunsch von A._ erfolgten Gesprächs vom 19. Oktober 2012 mit der FINMA erklärte diese, dass nach ihrer Ansicht die Verfügung vom 1. Juli 2011 rechtskräftig und das Verfahren abgeschlossen sei. Da A._ zu diesem Zeitpunkt keine konkrete Gewährsstellung in einem von der FINMA überwachten Institut in Aussicht habe, sei auch keine Gewährsprüfung möglich. Es stehe ihm jedoch frei, entlastende Dokumente einzureichen, welche die FINMA anlässlich einer allfälligen künftigen Gewährsprüfung berücksichtigen werde. B. Mit Schreiben vom 28. Februar 2013 verlangte A._ von der FINMA den Erlass einer anfechtbaren Verfügung. Darin sei festzustellen, dass die Sachverhaltsabklärungen, die zur Verfügung vom 1. Juli 2011 gegen die X._ geführt hatten, unvollständig und - entsprechend den bereits damals vorliegenden Beweismitteln - die in der Verfügung beschriebenen Geschäftsvorfälle bzw. die Verletzungen der Gewährsbestimmungen unzutreffend gewesen seien. Mit Schreiben vom 22. März 2013 erklärte die FINMA, dass der Erlass einer weiteren Verfügung auf Grundlage der von A._ eingereichten Dokumente nicht möglich sei. Zudem wiederholte sie ihre im Gespräch vom 19. Oktober 2012 gemachten Ausführungen. C. Mit Beschwerde vom 24. April 2013 wandte sich A._ mit folgenden Anträgen an das Bundesverwaltungsgericht: "1. Es sei festzustellen, dass die Verfügung der FINMA vom 1. Juli 2011 nichtig ist. Eventualiter: 2. Es sei festzustellen, dass sich die FINMA zu Unrecht weigert, mit Bezug auf das Schreiben von Dr. A._ vom 28. Februar 2013 eine beschwerdefähige Verfügung zu erlassen. 3. Es sei die Sache mit der Anweisung an die FINMA zurückzuweisen, den Sachverhalt in Bezug auf die Einhaltung der Gewährserfordernis und des Aufsichtsrechts durch Dr. A._ unter Einbezug sowohl der vollständigen Belege als auch der Mitwirkung von Dr. A._, ohne Verzug neu festzustellen; und Unter Kosten- und Entschädigungsfolgen zulasten des Staates." Mit Urteil B-2343/2013 vom 4. Juni 2014 erkannte das Bundesverwaltungsgericht: 1. Auf das Gesuch um Feststellung der Nichtigkeit der Verfügung der FINMA vom 1. Juli 2011 gegen die X._ Fonds Management AG wird nicht eingetreten. 2. Die Rechtsverweigerungsbeschwerde wird abgewiesen. Die Kosten wurden A._ auferlegt. D. A._ (nachfolgend: der Beschwerdeführer) erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei festzustellen, dass die Verfügung der FINMA vom 1. Juli 2011 nichtig sei. Das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung. Die FINMA beantragt Abweisung der Beschwerde.