Sachverhalt:
A. X._ ist einzelzeichnungsberechtigtes Mitglied des Verwaltungsrats der Y._ AG und der Z._ AG. Im Jahr 2010 eröffnete die Staatsanwaltschaft des Kantons Basel-Stadt gegen X._ ein Strafverfahren, beschlagnahmte verschiedene Geschäftsunterlagen und liess die Konten der Y._ AG und der Z._ AG sperren. Mitte Juli 2010 wies sie die Eidg. Finanzmarktaufsicht FINMA auf die Tätigkeit von X._ und der beiden Gesellschaften hin und informierte sie, dass gegen X._ ein Verfahren wegen Geldwäscherei und Veruntreuung geführt werde.
Am 23. November 2010 teilte die FINMA der Y._ AG und X._ mit, sie habe ein Verfahren wegen Verdachts auf unbewilligte gewerbsmässige Entgegennahme von Publikumseinlagen eröffnet, und lud sie ein, Stellung zu nehmen.
Mit Verfügung vom 8. April 2011 stellte die FINMA fest, dass die Y._ AG unerlaubt Publikumseinlagen entgegengenommen und den Begriff "Bank" verwendet habe. Damit hätten die Y._ AG sowie aufgrund seines massgeblichen Beitrags an der unbewilligten Tätigkeit auch X._ gegen das Bankengesetz verstossen. Die FINMA verfügte die aufsichtsrechtliche Liquidation der Y._ AG und verhängte ein Werbeverbot gegen X._. Zudem ordnete sie an, dass die Dispositivziffern 11 und 12 der Verfügung, welche das Werbeverbot betrafen, auf ihrer Internetseite veröffentlicht würden, und behielt sich vor, diese auch in anderen geeigneten Medien zu veröffentlichen.
B. Gegen die Verfügung vom 8. April 2011 erhob X._ am 26. Mai 2011 Beschwerde beim Bundesverwaltungsgericht. Er beantragte, die angefochtene Verfügung sei insoweit aufzuheben, als damit die Publikation des Werbeverbots angeordnet und festgestellt werde, er habe gegen das Bankengesetz verstossen.
Mit Verfügung vom 15. Juli 2011 zog die FINMA die angefochtene Verfügung teilweise in Wiedererwägung. Sie beschränkte die Dauer der Veröffentlichung des Werbeverbots auf fünf Jahre und hob den Vorbehalt betreffend dessen Publikation in anderen Medien auf.
Mit Urteil vom 20. März 2012 wies das Bundesverwaltungsgericht die Beschwerde ab.
C. Mit Beschwerde vom 23. April 2012 beantragt X._, in teilweiser Aufhebung des angefochtenen Urteils sei auf die Publikation des Werbeverbots gemäss Ziff. 11 der Verfügung [der FINMA] zu verzichten.
Die FINMA schliesst auf Abweisung der Beschwerde, während das Bundesverwaltungsgericht auf Vernehmlassung verzichtet.
D. Am 30. Mai 2012 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.
E. Mit Eingaben vom 2. Juli 2012 und vom 21. August 2012 macht X._ weitere Ausführungen und legt zusätzliche Akten auf.
Am 18. September 2012 lässt die FINMA dem Bundesgericht ihre Verfügung vom 14. September 2012 betreffend Konkurseröffnung über die Y._ AG zur Kenntnisnahme zukommen.

Erwägungen:
1. 1.1 Gegen Endurteile des Bundesverwaltungsgerichts im Bereich der Finanzmarktaufsicht kann Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht geführt werden (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG); eine sachliche Ausnahme gemäss <ref-law> liegt nicht vor. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass.
1.2 Streitgegenstand vor dem Bundesgericht ist nur noch die Publikation des gegenüber dem Beschwerdeführer erlassenen Werbeverbots. In den übrigen Punkten ist die Verfügung der FINMA vom 8. April 2011 inzwischen rechtskräftig.
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen von Amtes wegen berichtigen und ergänzen, wenn er offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht (<ref-law>). Der Beschwerdeführer muss rechtsgenügend darlegen, dass die Sachverhaltsfeststellung klar und eindeutig mangelhaft erscheint (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.; <ref-ruling> E. 1.3 S. 351, 393 E. 7.1 S. 398, 462 E. 2.4 S. 466). In Auseinandersetzung mit der Begründung im angefochtenen Urteil muss er im Einzelnen aufzeigen, inwiefern sich diese oder die Beweiswürdigung als willkürlich erweist. Auf rein appellatorische Kritik am angefochtenen Entscheid geht das Bundesgericht nicht ein (vgl. <ref-ruling> E. 3 S. 104 f.).
1.5 Das Vorbringen von neuen Tatsachen oder Beweismitteln ist nur insofern möglich, als erst der Entscheid der Vorinstanz dazu Anlass gegeben hat (<ref-law>, vgl. <ref-ruling> E. 1.5 S. 146 f.). Tatsachen oder Beweismittel, welche sich auf das vorinstanzliche Prozessthema beziehen, sich jedoch erst nach dem angefochtenen Entscheid ereignet haben oder entstanden sind, können von vornherein nicht durch das angefochtene Urteil veranlasst worden sein (vgl. Urteil 2C_94/2009 vom 16. Juni 2009 E. 2.2). Soweit sich der Beschwerdeführer auf solche Beweismittel beruft, handelt es sich um so genannte "echte Noven", welche im bundesgerichtlichen Verfahren in jedem Fall unzulässig sind (<ref-ruling> E. 2.1 S. 344). Das Nämliche gilt für die Mitteilung der FINMA an das Bundesgericht vom 18. September 2012.
2. Der Beschwerdeführer rügt die Sachverhaltsfeststellungen der Vorinstanz in verschiedener Hinsicht.
2.1 Zum einen macht er geltend, sie habe ihm zu Unrecht vorgeworfen, dass er die Entgegennahme von bis zu 130 Mio. Euro geplant habe. Die Vorinstanz hat sich bei ihrer diesbezüglichen Feststellung auf eine E-Mail des Beschwerdeführers gegenüber dem zuständigen Sachbearbeiter der Bank B._ AG, A._, sowie auf die Aussagen von A._ anlässlich der Befragung durch den Staatsanwalt gestützt. Indem der Beschwerdeführer vorbringt, es gebe keine konkreten Hinweise in den Unterlagen, dass er die von ihm erwähnten Anlagegelder tatsächlich hätte aufbringen können, übersieht er, dass sich daraus keineswegs ergibt, er habe keine entsprechenden Pläne gehabt. Er vermag daher nicht darzutun, dass die diesbezügliche Sachverhaltsfeststellung der Vorinstanz offensichtlich unrichtig wäre.
2.2 Zum anderen bringt er vor, die Annahme der Vorinstanz, dass die Anleger zu Schaden kommen könnten, sei falsch und erscheine willkürlich. Die Vorinstanz hat ihre Feststellung auf eine Auskunft der FINMA sowie des von dieser eingesetzten Liquidators gestützt, wonach mit einer voraussichtlichen Liquidationsdividende von 60-90 % gerechnet werde. Aufgrund dieser Auskünfte ist nicht ersichtlich, inwiefern die vorinstanzliche Feststellung offensichtlich unrichtig wäre. Der Beschwerdeführer macht zwar einerseits geltend, bis heute sei keine Konkursliquidation vorgenommen worden, andererseits führt er aus, die Parteien versuchten eine Lösung zu finden, welche es erlaube, die Gläubiger vollumfänglich zu befriedigen, was jedoch noch etwas Zeit beanspruche; er sei willens und auch in der Lage, seinen Verpflichtungen nachzukommen. Dies genügt jedoch nicht, um darzulegen, dass die vorinstanzliche Sachverhaltsfeststellung, welche nicht einen tatsächlichen Gläubigerschaden erkannte, sondern eine Gefährdung der Gläubiger, offensichtlich falsch wäre. Soweit der Beschwerdeführer mit Entwicklungen im Nachgang zum angefochtenen Urteil argumentiert und entsprechende Unterlagen einreicht, stellen diese echte Noven dar, welche für das Bundesgericht im vorliegenden Verfahren unbeachtlich sind (vgl. E. 1.5 vorstehend).
3. 3.1 Der Beschwerdeführer macht geltend, eine Publikation des Werbeverbots sei nicht erforderlich und damit auch nicht verhältnismässig. Er sei bemüht, die schweizerischen Normen einzuhalten. Es sei daher nicht ersichtlich und auch nicht naheliegend, dass er eine amtliche Anordnung missachtet hätte und weitere Anlagegelder einsammeln würde. Sein Verhalten lasse nicht erkennen, dass er das gegen ihn ausgesprochene Werbeverbot missachten werde. Er zeige auch "tätige Reue", wie dies die Vorinstanz als Element für einen weniger schwerwiegenden Verstoss angesehen habe.
3.2 Nach Art. 34 Abs. 1 des Bundesgesetzes vom 22. Juni 2007 über die Eidgenössische Finanzmarktaufsicht (FINMAG; SR 956.1) kann die FINMA ihre Endverfügung nach Eintritt der Rechtskraft unter Angabe von Personendaten in elektronischer oder gedruckter Form veröffentlichen, falls eine schwere Verletzung aufsichtsrechtlicher Bestimmungen vorliegt. Diese verwaltungsrechtliche Massnahme setzt eine Verletzung aufsichtsrechtlicher Bestimmungen von einer gewissen Schwere voraus und muss im Einzelfall verhältnismässig sein. Eine einmalige, punktuelle und untergeordnete Verletzung finanzmarktrechtlicher Pflichten genügt nicht (Urteil 2C_929/2010 vom 13. April 2011 E. 5.2.1). Die Veröffentlichung gemäss <ref-law> stellt eine verwaltungsrechtliche Sanktion dar und bezweckt als solche eine abschreckende und generalpräventive Wirkung (vgl. HSU/BAHAR/RENNINGER, in: Basler Kommentar, Börsengesetz/Finanzmarktaufsichtsgesetz, 2. Aufl. 2011, N. 9 zu <ref-law>). Die Regelungszwecke des Finanzmarktgesetzes - die Sicherstellung der Funktionsfähigkeit der Finanzmärkte (Funktionsschutz) einerseits bzw. die Gewährleistung des Schutzes der Gläubiger, der Anleger und der Versicherten andererseits (Individualschutz) - müssen die Sanktion rechtfertigen und die dem Betroffenen daraus entstehenden Nachteile in seinem wirtschaftlichen Fortkommen mit Blick auf die Schwere der aufsichtsrechtlichen Verletzung überwiegen (Urteil 2C_929/2010 vom 13. April 2011 E. 5.2.1).
3.3 Bei ihrem Entscheid hat sich die Vorinstanz vertieft mit der Frage der Auslegung von <ref-law> auseinandergesetzt und dabei auf die Rechtsprechung des Bundesgerichts (Urteile 2C_929/2010 vom 13. April 2011 E. 5.2 und 2C_30/2011 vom 12. Januar 2012 E. 5.2.2) Bezug genommen. Wenn sie zum Schluss gekommen ist, dass sich die Veröffentlichung des Werbeverbots hier rechtfertigt, ist dies nicht zu beanstanden:
Die Vorinstanz hat festgestellt, die - unzulässigen - Aktivitäten des Beschwerdeführers hätten bereits im August 2009 begonnen, als er bei der Bank B._ AG ein Konto eröffnete, auf das die Einlagen einbezahlt werden sollten. In der Folge seien Einlagen in der keineswegs geringfügigen Summe von insgesamt ca. 7,7 Mio. Euro einbezahlt worden. Gemäss verbindlicher Sachverhaltsfeststellung der Vorinstanz hatte der Beschwerdeführer die Absicht, Publikumseinlagen in dreistelliger Millionenhöhe von weiteren Anlegern entgegenzunehmen. Im Weiteren hat die Vorinstanz ebenfalls verbindlich festgestellt, es bestehe die Gefahr, dass die Investoren nicht unerheblich geschädigt werden könnten. Angesichts dieser Umstände kann nicht von einer einmaligen, punktuellen und untergeordneten Verletzung finanzmarktrechtlicher Pflichten ausgegangen werden. Die Vorinstanz hat vielmehr zu Recht erwogen, es liege eine schwere Verletzung aufsichtsrechtlicher Bestimmungen i.S.v. <ref-law> vor. Es kann im Übrigen auf die detaillierten und zutreffenden Ausführungen der Vorinstanz verwiesen werden.
Die Vorinstanz hat sodann eine sorgfältige Interessenabwägung vorgenommen. Sie hat einerseits berücksichtigt, dass die Veröffentlichung des Werbeverbots den Beschwerdeführer in seinem beruflichen Fortkommen behindert, er in der Schweiz zum ersten Mal gegen finanzmarktrechtliche Bestimmungen verstossen hat und die Auswirkungen der Publikation im Internet nicht auf die Schweiz begrenzt sind. Andererseits hat die Vorinstanz dargelegt, dass weitere Schädigungen und künftige Störungen des Finanzmarkts verhindert werden könnten, indem potentielle Investoren auf der Internetseite der FINMA vor unerlaubten Tätigkeiten des Beschwerdeführers gewarnt würden, weshalb die Veröffentlichung des Werbeverbots zur Erreichung des mit ihr verfolgten Zwecks geeignet und erforderlich erscheine. Die Vorinstanz hat insbesondere auch gewürdigt, dass die Publikation des Werbeverbots befristet erfolgt. Aufgrund dieser Abwägung ergibt sich, dass die Massnahme verhältnismässig ist. Der Beschwerdeführer, der in erster Linie erfolglos eine unrichtige Sachverhaltsfeststellung durch die Vorinstanz moniert (vgl. dazu E. 2 vorstehend) und daraus Folgerungen zu seinen Gunsten ziehen will, vermag nicht darzulegen, inwiefern die vorinstanzliche Interessenabwägung, auf welche verwiesen werden kann, unzutreffend wäre.
4. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen.
Dem Verfahrensausgang entsprechend hat der Beschwerdeführer die Kosten für das bundesgerichtliche Verfahren zu tragen (Art. 65 und Art. 66 BGG). Parteientschädigungen sind nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Finanzmarktaufsicht und dem Bundesverwaltungsgericht, Abteilung II, schriftlich mitgeteilt.
Lausanne, 1. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner