Sachverhalt:
A. A.a Der Verein X._ (Beschwerdeführer) ist eine Selbstregulierungsorganisation im Sinne der Geldwäschereigesetzgebung. Die Z._ AG (Beschwerdegegnerin) ist seit 2. Oktober 2000 Mitglied des Beschwerdeführers.
A.b Y._ wurde am 27. Juni 2001 mit Einzelprokura für die Beschwerdegegnerin im Handelsregister eingetragen. Am 8. September 2009 wurde seine Einzelprokura gelöscht und durch Einzelunterschrift ohne Funktionsbezeichnung ersetzt. Die Beschwerdegegnerin informierte den Beschwerdeführer über die Veränderungen. Am 18. September 2009 teilte der Beschwerdeführer der Beschwerdegegnerin mit, er habe festgestellt, dass Y._ neu ins Handelsregister eingetragen worden sei und verlangte von ihr die Einreichung eines unterzeichneten und datierten Lebenslaufs, des Zentralstrafregister- und des Betreibungsregisterauszugs, zweier persönlicher Referenzschreiben sowie der persönlichen Erklärung gemäss Formular Nr. xxx.
Am 20. November 2009 teilte die Beschwerdegegnerin dem Beschwerdeführer mit, es sei nicht richtig, dass Y._ neu im Handelsregister eingetragen sei. Dem Beschwerdeführer würden daher bereits alle Unterlagen von Y._ vorliegen, der zudem in allen jährlichen Selbstdeklarationen erwähnt sei und alle vorgeschriebenen Kurse und Schulungen absolviert habe.
Mit Schreiben vom 24. November 2009 verlangte der Beschwerdeführer nochmals die fraglichen Unterlagen. Dem widersetzte sich die Beschwerdegegnerin am 7. Dezember 2009 mit der Begründung, der Wechsel von Einzelprokura zu Einzelunterschrift habe die Aufgaben und Zuständigkeiten von Y._ nicht verändert. In einem weiteren Schriftwechsel im Dezember 2009 beharrten die Parteien auf ihren Standpunkten und auch eine telefonische Aufforderung im April 2010 führte nicht dazu, dass die Beschwerdegegnerin die Unterlagen einreichte.
A.c Am 6. September 2010 eröffnete die Aufsichtskommission des Beschwerdeführers ein Sanktionsverfahren gegen die Beschwerdegegnerin wegen Verdachts auf Verletzung von Mitgliedschaftsvoraussetzungen. Die Kommission forderte lediglich noch die Einreichung einer persönlichen Erklärung gemäss Formular Nr. yyy, des Lebenslaufs und des Strafregisterauszugs. Am 24. September 2010 reichte die Beschwerdegegnerin diese Dokumente ein.
Die Aufsichtskommission des Beschwerdeführers erliess am 21. Juni 2011 einen Sanktionsentscheid und auferlegte der Beschwerdegegnerin eine Konventionalstrafe von Fr. 3'000.-- wegen Nichtbefolgung von Aufforderungen zur Einhaltung von Bestimmungen des SRO-Reglements des Beschwerdeführers trotz schriftlicher zweimaliger Mahnung. Zudem wurden der Beschwerdegegnerin die Verfahrenskosten von Fr. 2'000.-- auferlegt.
B. Am 8. Juli 2011 beantragte die Beschwerdegegnerin die Durchführung eines Schiedsverfahrens. Mit Verfügung vom 20. September 2011 ernannte der Präsident des Kantonsgerichts Zug Rechtsanwältin W._ in Zug zur Einzelschiedsrichterin.
Mit Urteil vom 5. Dezember 2011 hob die Einzelschiedsrichterin den Sanktionsentscheid auf und hielt fest, dass die Beschwerdegegnerin dem Beschwerdeführer weder eine Konventionalstrafe noch Verfahrenskosten schulde. Die Schiedsrichterin kam zum Schluss, der Wechsel von Einzelprokura zu Einzelunterschrift würde zwar bei einer einzig am Vereinszweck orientierten Auslegung des Reglements eine Kontrolle der persönlichen Unterlagen auslösen. Es seien jedoch auch die Mitgliederinteressen zu beachten. Die Veränderung erscheine marginal und der Nutzen der Kontrolle für den Beschwerdeführer stehe in keinem Verhältnis zum Aufwand für die Beschwerdegegnerin. Es sei deshalb nicht erforderlich, die persönlichen Unterlagen von Y._ zu überprüfen. Die Beschwerdegegnerin habe durch die anfängliche Nichteinreichung der Unterlagen keine Pflicht verletzt.
C. Am 20. Januar 2012 hat der Beschwerdeführer Beschwerde in Zivilsachen erhoben. Er beantragt die Aufhebung des Schiedsspruchs und die Rückweisung zu neuer Entscheidung an die Einzelschiedsrichterin.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist ein Schiedsspruch über eine Streitigkeit zwischen zwei Parteien, die beide ihren Sitz in der Schweiz haben (und auch beim Abschluss der Schiedsvereinbarung hatten; <ref-law> [SR 291]). Für die Rechtsmittelordnung sind somit die Bestimmungen über die Binnenschiedsgerichtsbarkeit anzuwenden. Nach <ref-law> (SR 272) gilt für Rechtsmittel gegen Entscheide von nationalen Schiedsgerichten das Recht, das bei Eröffnung des Schiedsentscheids in Kraft ist. Nach Inkrafttreten der ZPO am 1. Januar 2011 eröffnete Binnenschiedsentscheide sind demzufolge unter den Voraussetzungen der Art. 389 bis 395 ZPO anfechtbar, soweit die Parteien keine Vereinbarung im Sinne von <ref-law> geschlossen haben, mit der sie die Geltung dieser Bestimmungen ausgeschlossen und die Anwendung der Bestimmungen des 12. Kapitels des IPRG vereinbart haben. Nachdem dies vorliegend nicht der Fall ist und die Parteien keine Beschwerdemöglichkeit an ein kantonales Gericht im Sinne von <ref-law> vereinbart haben, kommt gegen den Endschiedsspruch (<ref-law>) vom 5. Dezember 2011 die Beschwerde an das Bundesgericht als einzige Rechtsmittelinstanz nach den Bestimmungen von <ref-law> in Betracht (<ref-law>).
1.2 Ob auf die Anfechtung von Schiedssprüchen die Streitwertgrenze von <ref-law> angewendet werden muss, ist umstritten. Nach Inkrafttreten der ZPO und der entsprechenden Revision von <ref-law> stellt sich diese Frage nicht nur für die internationale, sondern nunmehr auch für die nationale Schiedsgerichtsbarkeit. Das Bundesgericht hat die Frage bisher offengelassen (vgl. Urteil 4A_392/2008 vom 22. Dezember 2008 E. 2.3 mit Hinweisen). Vorliegend beträgt der Streitwert lediglich Fr. 3'000.-- (<ref-law>), womit die Streitwertgrenze von <ref-law> nicht erreicht wäre. Das Bestehen einer Frage von grundsätzlicher Bedeutung wird vom Beschwerdeführer zwar behauptet, entgegen <ref-law> aber in keiner Weise begründet. Da auf die Beschwerde aber bereits aus anderen Gründen nicht einzutreten ist, kann weiterhin offenbleiben, ob die Streitwertgrenze auf Beschwerden gegen Schiedsentscheide anzuwenden ist.
1.3 Die Beschwerdegründe gegen einen Schiedsspruch sind beschränkter als gegen ein staatliches Urteil. Sie sind im Gesetz abschliessend aufgezählt (<ref-law>). Das Bundesgericht prüft nur diejenigen Beschwerdegründe, die in der Beschwerde vorgebracht und begründet werden (<ref-law>). Diese Anforderung entspricht der für die Verletzung von Grundrechten vorgesehenen Rügepflicht (<ref-law>); dabei gelten nach wie vor die strengen Begründungsanforderungen, die das Bundesgericht unter Art. 90 Abs. 1 lit. b OG stellte (<ref-ruling> E. 5 S. 187). Der Beschwerdeführer muss die einzelnen Beschwerdegründe, die nach seinem Dafürhalten erfüllt sind, benennen; es ist nicht Aufgabe des Bundesgerichts, danach zu forschen, welcher Beschwerdegrund nach <ref-law> mit den einzelnen erhobenen Rügen geltend gemacht werden soll, wenn dies vom Beschwerdeführer im Zusammenhang mit diesen nicht präzisiert wird. Sodann hat der Beschwerdeführer im Detail aufzuzeigen, warum die angerufenen Beschwerdegründe erfüllt sind, wobei er mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz anzusetzen hat (Urteil 4A_424/2011 vom 2. November 2011 E. 1.3 mit Hinweisen; vgl. <ref-ruling> E. 1c S. 53 f.).
1.4 Der Beschwerdeführer beruft sich auf <ref-law>.
Gemäss <ref-law> kann gegen den Schiedsspruch vorgebracht werden, er sei im Ergebnis willkürlich, weil er auf offensichtlich aktenwidrigen tatsächlichen Feststellungen oder auf einer offensichtlichen Verletzung des Rechts oder der Billigkeit beruht (zum Ganzen Urteil 4A_424/2011 vom 2. November 2011 E. 2.1). Dieser Beschwerdegrund wurde aus Art. 36 lit. f des Konkordats vom 27. März 1969 über die Schiedsgerichtsbarkeit (AS 1969 1093; nachfolgend: KSG) übernommen (Botschaft vom 28. Juni 2006 zur Schweizerischen Zivilprozessordnung, BBl 2006 7405 Ziff. 5.25.8 zu Art. 391 des Entwurfs).
Die Umschreibung des Willkürtatbestandes in <ref-law> bzw. Art. 36 lit. f KSG stimmt mit dem Begriff der Willkür überein, den das Bundesgericht zu Art. 4 aBV bzw. <ref-law> entwickelt hat (<ref-ruling> E. 3.4 S. 48). Willkürlich ist ein Entscheid danach nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.4 S. 5; <ref-ruling> E. 2.2.2 S. 318 f.). Die Tatbestände, hinsichtlich derer Willkür im genannten Sinne geltend gemacht werden kann, sind jedoch eingeschränkt.
Eine Einschränkung der Willkürrüge betrifft Tatsachenfeststellungen. Es kann einzig offensichtliche Aktenwidrigkeit vorgebracht werden; diese ist nicht mit willkürlicher Beweiswürdigung gleichzusetzen. Offensichtlich aktenwidrige tatsächliche Feststellungen im Sinne von <ref-law> trifft das Schiedsgericht dann, wenn es sich infolge Versehens mit den Akten in Widerspruch gesetzt hat, sei es, dass es Aktenstellen übersehen oder ihnen einen anderen als den wirklichen Inhalt beigemessen hat, sei es, dass es irrig davon ausgegangen ist, eine Tatsache sei aktenmässig belegt, während die Akten in Wirklichkeit darüber keinen Aufschluss geben. Aktenwidrigkeit liegt nur vor, wenn der Richter bei der Beweiswürdigung von unrichtigen tatsächlichen Prämissen ausgeht; das Ergebnis und die Art und Weise der Beweiswürdigung sowie die darin liegenden Wertungen sind nicht Gegenstand der Willkürrüge, sondern einzig Tatsachenfeststellungen, die von keiner weiteren Würdigung abhängen, weil sie mit den Akten unvereinbar sind (<ref-ruling> E. 3.6 und 3.7 S. 49 f.; Urteile 4A_454/2011 vom 27. Oktober 2011 E. 2.2; 4A_424/2011 vom 2. November 2011 E. 2.1).
Mit offensichtlicher Verletzung des Rechts gemäss <ref-law> ist - als weitere Einschränkung - nur eine Verletzung des materiellen Rechts gemeint und nicht eine solche des Verfahrensrechts (<ref-ruling> E. 3.4 S. 48). Eine offensichtliche Verletzung der Billigkeit kann schliesslich nur gerügt werden, wenn das Schiedsgericht befugt war, nach Billigkeit zu entscheiden, oder wenn es eine Norm angewendet hat, die auf Billigkeit verweist (<ref-ruling> E. 2a S. 66).
1.5 Der Beschwerdeführer beruft sich auf alle drei Teilgehalte von <ref-law>, genügt seiner Rügepflicht jedoch nicht (oben E. 1.3).
1.5.1 Zunächst bezieht er sich auf die Erwägung des Schiedsgerichts, die Statuten und das Reglement enthielten keine Bestimmung, die die Missachtung einer Aufforderung der Aufsichtskommission durch ein Mitglied unter Sanktion stelle. Der Beschwerdeführer hält diese Feststellung für aktenwidrig. Er verweist auf Art. 68 des Reglements, wonach die Aufsichtskommission ein Mitglied ausschliessen könne, wenn es einer Aufforderung zur Einhaltung oder Wiederherstellung des ordnungsgemässen Zustandes trotz zweimaliger schriftlicher Mahnung nicht nachgekommen sei. Da diese Bestimmung eine Kann-Bestimmung sei, könne anstelle des Ausschlusses auch eine Konventionalstrafe verhängt werden.
Der Beschwerdeführer legt nicht dar, inwiefern eine allfällige Korrektur der schiedsgerichtlichen Feststellung erheblich sein könnte. Das Schiedsgericht hat nämlich nicht entscheidend auf die gerügte Feststellung abgestellt, sondern untersucht, ob sich die Sanktion auf diejenigen Bestimmungen des Reglements stützen lässt, die vom Beschwerdeführer in seinem eigenen Sanktionsentscheid angewandt worden waren (insbesondere Art. 5 Abs. 5 bis 7 des Reglements; vgl. sogleich E. 1.5.2). Der Beschwerdeführer übergeht denn vor Bundesgericht auch die schiedsgerichtliche Feststellung, dass er sich selber im Sanktionsentscheid gar nicht auf die erst jetzt angerufene Reglementsbestimmung abgestützt hat.
1.5.2 Der Beschwerdeführer macht des Weiteren eine offensichtliche Rechtsverletzung geltend. Das Schiedsgericht habe Art. 5 Abs. 5 des Reglements falsch ausgelegt.
Der Beschwerdeführer übergeht, dass das Schiedsgericht Abs. 5 von Art. 5 des Reglements nur nebenbei erwähnt und vielmehr Abs. 7 desselben Artikels ausgelegt hat. Zu Auslegung und Anwendbarkeit von Abs. 7 äussert sich der Beschwerdeführer nicht.
1.5.3 Für den Fall, dass die Auslegung von Art. 5 Abs. 5 des Reglements durch das Schiedsgericht korrekt sein sollte, rügt der Beschwerdeführer schliesslich, der Entscheid des Schiedsgerichts sei offensichtlich unbillig. Die Wertung des Schiedsgerichts, dass der administrative Aufwand der Beschwerdegegnerin zur Einreichung der Unterlagen den Nutzen für die Aufsicht nicht rechtfertige, sei unhaltbar.
Der Beschwerdeführer zeigt nicht auf, inwiefern der schiedsgerichtliche Entscheid in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen sollte. Seine Rüge erschöpft sich im Wesentlichen in der Behauptung, ein grosses Interesse an den verlangten Unterlagen zu haben, während der Aufwand für die Beschwerdegegnerin zur Beschaffung dieser Unterlagen nur klein sei. Damit beschränkt er sich auf eine Interessengewichtung aus eigener Sicht. Darauf ist nicht einzutreten.
2. Auf die Beschwerde kann demnach insgesamt nicht eingetreten werden. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Schiedsgericht mit Sitz in Zug schriftlich mitgeteilt.
Lausanne, 26. März 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg