Sachverhalt:
A. Der Verein Y._ (Beschwerdegegner) ist eine Selbstregulierungsorganisation im Sinne der Geldwäschereigesetzgebung. Die X._ SA (Beschwerdeführerin) ist im Treuhand- und Vermögensverwaltungsbereich tätig und wurde am 24. Oktober 2000 Mitglied des Beschwerdegegners.
Am 7. Februar 2005 erliess der Beschwerdegegner einen ersten Sanktionsbeschluss gegen die Beschwerdeführerin und auferlegte ihr eine Konventionalstrafe von Fr. 500.-- wegen verschiedener Pflichtverletzungen.
B. Am 9. Mai 2006 eröffnete der Beschwerdegegner erneut ein Sanktions- und Ausschlussverfahren gegen die Beschwerdeführerin. Am 6. Dezember 2006 beschloss er, die Beschwerdeführerin wegen Verletzung der materiellen Identifikationspflicht, der besonderen Abklärungspflicht, der Pflicht zur Feststellung des wirtschaftlich Berechtigten und der Dokumentationspflicht auszuschliessen. Zudem stellte der Beschwerdegegner fest, dass die Beschwerdeführerin ihn nicht umgehend über die Eröffnung der gegen sie und ihre Organe im Jahre 2005 erhobenen Strafverfahren informiert hatte.
Die Beschwerdeführerin erhob am 27. Dezember 2006 Einsprache gegen diesen Beschluss und beantragte dessen Aufhebung.
Der Beschwerdegegner beantragte daraufhin beim Obergericht des Kantons Zug die Bestellung eines Einzelschiedsrichters. Am 25. April 2007 ernannte der Vizepräsident des Obergerichts Rechtsanwalt Z._ in Zug zum Schiedsrichter. Die Beschwerdeführerin lehnte ihn erfolglos ab (vgl. Urteil 5A_260/2007 vom 7. August 2007).
Mit Urteil vom 31. Januar 2012 wies der Einzelschiedsrichter die Einsprache ab. Er auferlegte der Beschwerdeführerin die Verfahrenskosten von Fr. 20'000.-- sowie eine Parteientschädigung an den Beschwerdegegner von Fr. 8'847.05 inkl. MwSt. In seinen Erwägungen warf der Einzelschiedsrichter der Beschwerdeführerin mehrfache Verletzung der materiellen Identifikationspflicht vor, indem Kundenprofile nicht vollständig geführt worden seien. Es fehlten Angaben zur Herkunft der verwalteten Vermögenswerte. Bei ungewöhnlichen Transaktionen habe sie deren Zweck und deren wirtschaftliche Hintergründe nicht in jedem Fall abgeklärt. Ob der Beschwerdeführerin die tatsächlichen Vorgänge bekannt gewesen seien, erscheine fraglich; jedenfalls hätten die Grundlagen gefehlt, anhand derer die Einhaltung der Reglemente und des Geldwäschereigesetzes hätte überprüft werden können. In einem Fall sei der wirtschaftlich Berechtigte nur unvollständig identifiziert worden. Im Rahmen des Schiedsverfahrens habe die Beschwerdeführerin zwar einige, nicht aber alle Mängel beheben können.
Der Einzelschiedsrichter hielt sodann fest, gemäss Art. 49 des einschlägigen Reglements liege es im Ermessen des Beschwerdegegners, ein Mitglied auszuschliessen, wenn es bereits einmal sanktioniert worden sei. Nennten die Statuten die Gründe für den Ausschluss oder sähen sie einen solchen ohne Grundangabe vor, so sei eine gerichtliche Anfechtung wegen des Ausschlussgrundes nicht zulässig. Einschränkungen der Ausschlussautonomie bestünden bei massgebenden Berufsorganisationen oder Wirtschaftsverbänden. Der Beschwerdegegner sei keine solche Organisation, was sich bereits daran zeige, dass die Beschwerdeführerin inzwischen einer anderen Selbstregulierungsorganisation beigetreten sei. Der Beschwerdegegner verfüge somit über umfassende Ausschlussautonomie. Eine Verletzung von Verfahrensregeln bei der Fassung des Ausschlussbeschlusses oder ein Missbrauch oder eine Überschreitung des Ermessens lägen nicht vor.
C. Am 5. März 2012 hat die Beschwerdeführerin Beschwerde in Zivilsachen erhoben. Sie beantragt die Aufhebung des Schiedsspruchs und die Rückweisung der Sache an den Schiedsrichter zu neuer Entscheidung. Zudem ersucht sie um aufschiebende Wirkung.
Der Beschwerdegegner hat sich zum Gesuch um aufschiebende Wirkung nicht vernehmen lassen und der Einzelschiedsrichter hat auf Stellungnahme verzichtet. Mit Präsidialverfügung vom 3. April 2012 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.
Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.
Erwägungen:
1. 1.1 Angefochten ist ein Schiedsspruch über eine Streitigkeit zwischen zwei Parteien, die beide ihren Sitz in der Schweiz haben (und auch beim Abschluss der Schiedsvereinbarung hatten; Art. 176 IPRG [SR 291]). Für die Rechtsmittelordnung sind somit die Bestimmungen über die Binnenschiedsgerichtsbarkeit anzuwenden. Nach Art. 407 Abs. 3 ZPO (SR 272) gilt für Rechtsmittel gegen Entscheide von nationalen Schiedsgerichten das Recht, das bei Eröffnung des Schiedsentscheids in Kraft ist. Nach Inkrafttreten der ZPO am 1. Januar 2011 eröffnete Binnenschiedsentscheide sind demzufolge unter den Voraussetzungen der Art. 389 bis 395 ZPO anfechtbar, soweit die Parteien keine Vereinbarung im Sinne von Art. 353 Abs. 2 ZPO geschlossen haben, mit der sie die Geltung dieser Bestimmungen ausgeschlossen und die Anwendung der Bestimmungen des 12. Kapitels des IPRG vereinbart haben. Nachdem dies vorliegend nicht der Fall ist und die Parteien keine Beschwerdemöglichkeit an ein kantonales Gericht im Sinne von Art. 390 ZPO vereinbart haben, kommt gegen den Endschiedsspruch (Art. 392 lit. a ZPO) vom 31. Januar 2012 die Beschwerde an das Bundesgericht als einzige Rechtsmittelinstanz in Betracht (Art. 77 Abs. 1 lit. b BGG).
1.2 Soweit in den Art. 389 bis 395 ZPO nichts anderes geregelt ist, findet auf das Verfahren vor Bundesgericht das BGG Anwendung (Art. 389 Abs. 2 ZPO). Dies gilt namentlich für die Beschwerdeberechtigung gemäss Art. 76 BGG. Zur Beschwerde in Zivilsachen ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat (Art. 76 Abs. 1 lit. a BGG) und durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Abänderung hat (Art. 76 Abs. 1 lit. b BGG). Die Beschwerdeführerin muss aufzeigen, dass diese gesetzlichen Legitimationsvoraussetzungen gegeben sind, soweit sie nicht offensichtlich vorliegen (BGE 135 III 46 E. 4 S. 47 mit Hinweisen).
Das schutzwürdige Interesse an der Überprüfung des Vereinsausschlusses ist insofern nicht offensichtlich, als die Beschwerdeführerin während des Schiedsverfahrens ihren Austritt aus dem Beschwerdegegner erklärt hat und mit Wirkung ab 1. Januar 2008 einer anderen Selbstregulierungsorganisation beigetreten ist. Nach der Rechtsprechung bleibt das Interesse an der Überprüfung der Rechtmässigkeit des Ausschlusses trotz Austritts zwar erhalten, soweit der Verein das Ausschlussverfahren nicht als gegenstandslos abschreibt, sondern den Ausschlussentscheid aufrechterhält (Urteil 5A_10/2009 vom 1. September 2009 E. 2.2.2, in: SJ 2010 I 378 ff., zum Rechtsschutzinteresse im kantonalen Verfahren). Dies entbindet das ausgeschlossene und hernach freiwillig ausgetretene Mitglied aber nicht davon, vor Bundesgericht das aktuelle und praktische Interesse an der Beschwerdeführung darzulegen (Urteil 5A_634/2011 vom 16. Januar 2012 E. 1.2.1).
Die Beschwerdeführerin äussert sich direkt nur zu ihrem Interesse an der Anfechtung der ihr auferlegten Verfahrenskosten und Parteientschädigung, die sie im Weiteren aber gar nicht eigenständig, d.h. unabhängig vom Ausgang der Hauptsache, anficht. Sie führt jedoch in anderem Zusammenhang aus, der Ausschluss habe negative Auswirkungen auf ihre Reputation. Banken und Revisionsstellen fragten teilweise nach Sanktions- oder Ausschlussverfahren und auch in Aufnahmeverfahren bei einer neuen Selbstregulierungsorganisation komme dies vor. Dies führe zu negativen Folgen wie z.B. der Nichtaufnahme einer Geschäftsbeziehung. Darin kann ein schutzwürdiges Interesse an der Überprüfung der Rechtmässigkeit des Ausschlusses gesehen werden.
1.3 Das Bundesgericht behandelt Streitigkeiten über die Mitgliedschaft in einem Verein - insbesondere auch im Schiedswesen - nicht als vermögensrechtliche Angelegenheit (Urteil 4A_392/2008 vom 22. Dezember 2008 E. 2.3 mit Hinweisen), so dass offenbleiben kann, ob auf die Anfechtung von Schiedssprüchen die Streitwertgrenze von Art. 74 BGG anzuwenden wäre (vgl. Urteil 5A_73/2012 vom 26. März 2012 E. 1.2 mit Hinweis).
1.4 Die Beschwerdegründe gegen einen Schiedsspruch sind beschränkter als gegen ein staatliches Urteil. Sie sind im Gesetz abschliessend aufgezählt (Art. 393 ZPO i.V.m. Art. 77 Abs. 1 lit. b BGG). Das Bundesgericht prüft nur diejenigen Beschwerdegründe, die in der Beschwerde vorgebracht und begründet werden (Art. 77 Abs. 3 BGG). Diese Anforderung entspricht der für die Verletzung von Grundrechten vorgesehenen Rügepflicht (Art. 106 Abs. 2 BGG); dabei gelten nach wie vor die strengen Begründungsanforderungen, die das Bundesgericht unter Art. 90 Abs. 1 lit. b OG stellte (BGE 134 III 186 E. 5 S. 187). Die Beschwerdeführerin muss die einzelnen Beschwerdegründe, die nach ihrem Dafürhalten erfüllt sind, benennen. Sodann hat sie im Detail aufzuzeigen, warum die angerufenen Beschwerdegründe erfüllt sind, wobei sie mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz anzusetzen hat (Urteil 4A_424/2011 vom 2. November 2011 E. 1.3 mit Hinweisen; vgl. BGE 128 III 50 E. 1c S. 53 f.).
2. Die Beschwerdeführerin beruft sich auf Art. 393 lit. e ZPO.
2.1 Gemäss Art. 393 lit. e ZPO kann gegen den Schiedsspruch vorgebracht werden, er sei im Ergebnis willkürlich, weil er auf offensichtlich aktenwidrigen tatsächlichen Feststellungen oder auf einer offensichtlichen Verletzung des Rechts oder der Billigkeit beruht (zum Ganzen Urteil 4A_424/2011 vom 2. November 2011 E. 2.1). Dieser Beschwerdegrund wurde aus Art. 36 lit. f des Konkordats vom 27. März 1969 über die Schiedsgerichtsbarkeit (AS 1969 1093; nachfolgend: KSG) übernommen (Botschaft vom 28. Juni 2006 zur Schweizerischen Zivilprozessordnung, BBl 2006 7405 Ziff. 5.25.8 zu Art. 391 des Entwurfs). Die Umschreibung des Willkürtatbestandes in Art. 393 lit. e ZPO bzw. Art. 36 lit. f KSG stimmt mit dem Begriff der Willkür überein, den das Bundesgericht zu Art. 4 aBV bzw. Art. 9 BV entwickelt hat (BGE 131 I 45 E. 3.4 S. 48). Willkürlich ist ein Entscheid danach nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 137 I 1 E. 2.4 S. 5; 136 I 316 E. 2.2.2 S. 318 f.).
2.2 Die Beschwerdeführerin macht geltend, der Einzelschiedsrichter habe dem Beschwerdegegner zu Unrecht umfassende Ausschlussautonomie zuerkannt. Der Beschwerdegegner sei wie eine Berufs- oder Standesorganisation mit den entsprechenden Einschränkungen der Ausschlussfreiheit zu behandeln. Der Beschwerdegegner hätte sie demnach nur aus wichtigen Gründen ausschliessen dürfen. Solche Gründe habe der Einzelschiedsrichter aber nicht überprüft und sie lägen auch nicht vor: Das erste Sanktionsverfahren habe zu einer Konventionalstrafe von bloss Fr. 500.-- geführt. Dies lasse darauf schliessen, dass die damals beurteilten Verletzungen blosse Bagatellen gewesen seien. Im vorliegenden Sanktionsverfahren habe die Beschwerdeführerin die Rügen der Beschwerdegegnerin zu einem grossen Teil entkräften können. Letztlich seien die Probleme einzig in der mangelnden Übersichtlichkeit der Dossierführung gelegen.
2.3 Wie bereits gesagt (oben lit. B) hat der Einzelschiedsrichter dem Beschwerdegegner umfassende Ausschlussautonomie zuerkannt. Entgegen der Ansicht der Beschwerdeführerin verstossen seine Erwägungen nicht in willkürlicher Weise gegen die Einschränkungen der Ausschlussautonomie (Art. 72 Abs. 2 ZGB), denen gemäss bundesgerichtlicher Rechtsprechung Berufs- oder Standesorganisationen bzw. Wirtschaftsverbände unterliegen, die als massgebende Organisation des betreffenden Berufsstandes oder Wirtschaftszweiges auftreten (BGE 131 III 97 E. 3 S. 102 ff.; 123 III 193 E. 2c S. 196 ff.). Es erscheint nicht als offensichtliche Rechtsverletzung, wenn der Einzelschiedsrichter dem Beschwerdegegner diese Qualität abgesprochen hat, weil die Beschwerdeführerin eine andere Selbstregulierungsorganisation gefunden hat, der sie sich anschliessen konnte. In BGE 131 III 97 E. 3.2 S. 104 hat das Bundesgericht zwar erwogen, es könne nicht von vornherein ausgeschlossen werden, dass neben den Berufs- und Standesorganisationen bzw. Wirtschaftsverbänden weitere Fälle bestünden, in denen die Ausschlussfreiheit eingeschränkt sei. Die Beschwerdeführerin beruft sich auf diese Erwägung, da die Mitgliedschaft in einer Selbstregulierungsorganisation keinen ideellen, sondern wirtschaftlichen Interessen diene. Dass der Einzelschiedsrichter dies nicht berücksichtigt hat, begründet jedoch keine Willkür. Wie sich bereits aus dem von der Beschwerdeführerin angerufenen Bundesgerichtsurteil ergibt, besteht noch keine gefestigte Rechtsprechung, welche weiteren Vereine von einer Einschränkung der Ausschlussautonomie betroffen sein könnten.
Die Beschwerdeführerin macht geltend, es liege kein wichtiger Grund für einen Ausschluss vor, weil das erste Sanktionsverfahren nur in eine geringe Konventionalstrafe mündete und auch im vorliegenden Verfahren die Verfehlungen nicht schwer seien. Soweit sie von der Prämisse ausgeht, dass der Einzelschiedsrichter einen wichtigen Grund hätte prüfen müssen, geht dies an der Sache vorbei, da - wie soeben festgestellt - die gegenteilige Ansicht der Vorinstanz nicht willkürlich ist. Im Übrigen setzt sich die Beschwerdeführerin mit der Qualifizierung ihrer Pflichtverletzungen über die detaillierten Erwägungen des Einzelschiedsrichters hinweg (vgl. oben lit. B) und lässt dieselbe Tendenz zur Bagatellisierung erkennen, die ihr bereits der Einzelschiedsrichter vorgeworfen hat. Aktenwidrigkeit oder offensichtliche Rechtsverletzungen macht sie im Zusammenhang mit der Beurteilung der Pflichtverletzungen durch den Einzelschiedsrichter jedenfalls nicht geltend. Die Beschwerdeführerin bestreitet auch nicht, dass der Beschwerdegegner eine reglementarische Grundlage besitzt, um ein Mitglied auszuschliessen, das ein zweites Mal gegen das Reglement verstösst. Angesichts der festgestellten Umstände kann somit von einer offensichtlichen Verletzung des Rechts oder der Billigkeit durch den Ausschluss keine Rede sein.
2.4 Die Beschwerdeführerin sieht des Weiteren das Gebot der Gleichbehandlung direkter Konkurrenten (Art. 27 Abs. 1 BV) und den freien Zugang zu einer privatwirtschaftlichen Erwerbstätigkeit (Art. 27 Abs. 2 BV) verletzt. Finanzintermediäre, die der FINMA direkt unterstellt seien, könnten vom Bundesverwaltungsgericht einen Ausschlussentscheid mit voller Kognition, insbesondere auf Angemessenheit hin, überprüfen lassen, während dies dem angefochtenen Urteil zufolge bei Finanzintermediären, die einer Selbstregulierungsorganisation unterstellt seien, nicht der Fall sei. Dies führe zu einer nicht gerechtfertigten Ungleichbehandlung des Marktzugangs. Durch die fehlende Überprüfbarkeit des Ausschlusses werde der freie Marktzutritt behindert.
2.5 Die angebliche Verletzung von Art. 27 BV ist kein zulässiger Beschwerdegrund gemäss Art. 393 ZPO. Soweit die Beschwerdeführerin auch hier Willkür im Sinne von Art. 393 lit. e ZPO rügen will, ist weder genügend dargetan noch ersichtlich, inwiefern eine offensichtliche Rechtsverletzung vorliegen soll, wenn der Einzelschiedsrichter diesem Aspekt - sofern der Anwendungsbereich von Art. 27 BV überhaupt eröffnet sein sollte - keine Beachtung geschenkt hat. Gewisse Ungleichbehandlungen sind dem vom Gesetzgeber festgelegten System der Teilung der Aufsichtszuständigkeit zwischen der FINMA und den Selbstregulierungsorganisationen immanent (vgl. Art. 12 des Bundesgesetzes vom 10. Oktober 1997 über die Bekämpfung der Geldwäscherei und der Terrorismusfinanzierung im Finanzsektor [Geldwäschereigesetz, GwG; SR 955.0]). Im Übrigen steht es der Beschwerdeführerin frei, sich der Aufsicht der FINMA zu unterstellen, wenn sie vom Rechtsschutz profitieren will, der gegen ihre Verfügungen besteht (Art. 12 lit. c Ziff. 2 und Art. 14 GwG).
2.6 Die Beschwerde erweist sich somit als unbegründet, soweit auf sie eingetreten werden kann.
3. Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Einzelschiedsgericht mit Sitz in Zug schriftlich mitgeteilt.
Lausanne, 1. Juni 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg