Sachverhalt: A. X._ ist einzelzeichnungsberechtigtes Mitglied des Verwaltungsrats der Y._ AG und der Z._ AG. Im Jahr 2010 eröffnete die Staatsanwaltschaft des Kantons Basel-Stadt gegen X._ ein Strafverfahren, beschlagnahmte verschiedene Geschäftsunterlagen und liess die Konten der Y._ AG und der Z._ AG sperren. Mitte Juli 2010 wies sie die Eidg. Finanzmarktaufsicht FINMA auf die Tätigkeit von X._ und der beiden Gesellschaften hin und informierte sie, dass gegen X._ ein Verfahren wegen Geldwäscherei und Veruntreuung geführt werde. Am 23. November 2010 teilte die FINMA der Y._ AG und X._ mit, sie habe ein Verfahren wegen Verdachts auf unbewilligte gewerbsmässige Entgegennahme von Publikumseinlagen eröffnet, und lud sie ein, Stellung zu nehmen. Mit Verfügung vom 8. April 2011 stellte die FINMA fest, dass die Y._ AG unerlaubt Publikumseinlagen entgegengenommen und den Begriff "Bank" verwendet habe. Damit hätten die Y._ AG sowie aufgrund seines massgeblichen Beitrags an der unbewilligten Tätigkeit auch X._ gegen das Bankengesetz verstossen. Die FINMA verfügte die aufsichtsrechtliche Liquidation der Y._ AG und verhängte ein Werbeverbot gegen X._. Zudem ordnete sie an, dass die Dispositivziffern 11 und 12 der Verfügung, welche das Werbeverbot betrafen, auf ihrer Internetseite veröffentlicht würden, und behielt sich vor, diese auch in anderen geeigneten Medien zu veröffentlichen. B. Gegen die Verfügung vom 8. April 2011 erhob X._ am 26. Mai 2011 Beschwerde beim Bundesverwaltungsgericht. Er beantragte, die angefochtene Verfügung sei insoweit aufzuheben, als damit die Publikation des Werbeverbots angeordnet und festgestellt werde, er habe gegen das Bankengesetz verstossen. Mit Verfügung vom 15. Juli 2011 zog die FINMA die angefochtene Verfügung teilweise in Wiedererwägung. Sie beschränkte die Dauer der Veröffentlichung des Werbeverbots auf fünf Jahre und hob den Vorbehalt betreffend dessen Publikation in anderen Medien auf. Mit Urteil vom 20. März 2012 wies das Bundesverwaltungsgericht die Beschwerde ab. C. Mit Beschwerde vom 23. April 2012 beantragt X._, in teilweiser Aufhebung des angefochtenen Urteils sei auf die Publikation des Werbeverbots gemäss Ziff. 11 der Verfügung [der FINMA] zu verzichten. Die FINMA schliesst auf Abweisung der Beschwerde, während das Bundesverwaltungsgericht auf Vernehmlassung verzichtet. D. Am 30. Mai 2012 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt. E. Mit Eingaben vom 2. Juli 2012 und vom 21. August 2012 macht X._ weitere Ausführungen und legt zusätzliche Akten auf. Am 18. September 2012 lässt die FINMA dem Bundesgericht ihre Verfügung vom 14. September 2012 betreffend Konkurseröffnung über die Y._ AG zur Kenntnisnahme zukommen.