Sachverhalt:
A. Mit Veranlagungsverfügung vom 16. Dezember 2010 legte die Eidgenössische Spielbankenkommission (im Folgenden: ESBK) die Spielbankenabgabe für die X._ für das Jahr 2009 auf Fr. 4'799'814.69 fest. Dabei ging sie von einem Bruttospielertrag von Fr. 11'962'962.65 aus.
B. Die X._ erhob gegen diese Verfügung Beschwerde beim Bundesverwaltungsgericht mit dem Antrag, die angefochtene Verfügung sei insoweit aufzuheben, als die bei den Tischspielen erhobenen Kommissionen der Spielbankenabgabe unterworfen würden; der Bruttospielertrag sei um diese Kommissionen zu reduzieren.
Mit Urteil vom 14. März 2012 hiess das Bundesverwaltungsgericht die Beschwerde gut, hob die Veranlagungsverfügung vom 16. Dezember 2010 auf und wies die Sache zur Neuberechnung der Spielbankenabgabe ohne Einbezug der bei den Tischspielen erhobenen Kommissionen an die ESBK zurück.
C. Mit Eingabe vom 8. April 2012 erhebt die ESBK Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Antrag, das Urteil des Bundesverwaltungsgerichts aufzuheben. Die X._ beantragt Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung.

Erwägungen:
1. Der angefochtene Entscheid des Bundesverwaltungsgerichts legt fest, dass die streitigen Kommissionen nicht zum steuerbaren Bruttospielertrag gehören, und weist die Sache zur rein rechnerischen Umsetzung an die ESBK zurück. Es handelt sich dabei um einen Endentscheid (<ref-ruling> E. 1.3), so dass dagegen die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG). Die ESBK ist zur Beschwerde legitimiert (Art. 48 Abs. 3 lit. e des Spielbankengesetzes vom 18. Dezember 1998 [SBG; SR 935.52] i.V.m. <ref-law>).
2. Streitthema ist die Frage, ob die bei den Tischspielen von der Beschwerdegegnerin erhobenen Kommissionen zum steuerbaren Bruttospielertrag gehören. Es geht dabei um Spiele, bei denen die Spieler nicht gegen die Spielbank, sondern gegeneinander spielen und die Spielbank nur die Leitung und Infrastruktur bietet; dafür erhebt sie eine Kommission (oder Taxe) in vorab definierter Höhe, nämlich als Prozentsatz des Pot (d.h. der von den Spielern gesamthaft eingesetzten Summe). Als Gewinn ausbezahlt wird somit nur der um die Kommission reduzierte Pot (vgl. E. 3.3.1 des angefochtenen Entscheides).
3. 3.1 Nach <ref-law> erhebt der Bund von den Spielbanken eine ertragsabhängige Spielbankenabgabe, die 80 % der Bruttospielerträge aus dem Betrieb der Spielbanken nicht übersteigen darf.
<ref-law> lautet:
1 Der Bund erhebt auf den Bruttospielerträgen eine Abgabe (Spielbankenabgabe).
2 Der Bruttospielertrag ist die Differenz zwischen den Spieleinsätzen und den ausbezahlten Spielgewinnen.
In französischer Sprache hat der genannte Erlasstext folgenden Wortlaut:
1 La Confédération perçoit un impôt sur le produit brut des jeux (impôt sur les maisons de jeu).
2 Le produit brut des jeux est constitué par la différence entre les mises des joueurs et les gains qui leur sont versés.
Und die italienische Fassung von <ref-law> lautet:
1 La Confederazione preleva una tassa calcolata sul prodotto lordo dei giochi (tassa sulle case da gioco).
2 Il prodotto lordo dei giochi corrisponde alla differenza tra le poste giocate e le vincite versate.
Der steuerbare Bruttospielertrag ist somit gesetzlich definiert als Spieleinsätze (mises des joueurs, poste giocate) minus ausbezahlte Spielgewinne. Umstritten ist, ob der Begriff "Spieleinsätze" den gesamten Pot umfasst, oder nur den Pot abzüglich der Kommission.
Organisiert die Spielbank ein Spielturnier, so gilt gemäss Art. 51 Abs. 2 der Spielbankenverordnung vom 24. September 2004 (VSBG; SR 935.521) die Differenz zwischen Einschreibegebühr und den ausgerichteten Preisen bei einem Überschuss als Bruttospielertrag. Art. 78 Abs. 3 VSBG lautet sodann:
"Die von der Spielbank bei Tischspielen erhobenen Kommissionen (droits de table) bei Baccara, Poker und den anderen Spielen sind Bestandteil des Bruttospielertrages."
3.2 Nach dem klaren Wortlaut der Verordnung gehört somit auch die Kommission zum Bruttospielertrag. Die Vorinstanz hat indessen erwogen, das Abgabeobjekt müsse im formellen Gesetz festgelegt sein. Das Gesetz definiere nicht, was unter "Spieleinsatz" zu verstehen sei. Nach allgemeinem Sprachgebrauch sei darunter der eingesetzte Betrag zu verstehen, den man für Gewinn oder Verlust wagt, bzw. mit dem man sich an einer Wette beteiligt oder um den man tatsächlich spielt. Der Spieler habe die Möglichkeit, den Einsatz zu verlieren, aber auch mindestens den gesamten Einsatz zu gewinnen. Um die Kommission werde aber gerade nicht gespielt; es handle sich dabei um eine Art Infrastrukturgebühr, die geleistet werden müsse, um überhaupt spielen zu können, die man aber nicht gewinnen könne. Nach dem Wortlaut gehörten die Kommissionen somit nicht zum Spieleinsatz und damit auch nicht zum Bruttospielertrag. Die anderen Auslegungselemente würden kein eindeutiges Ergebnis zeitigen, welches rechtfertigen würde, vom Wortlaut abzuweichen. Art. 78 Abs. 3 und Art. 51 Abs. 2 VSBG könnten den gesetzlich festgelegten Gegenstand der Abgabe nicht erweitern.
3.3 Der Vorinstanz ist darin zuzustimmen, dass das Gesetz den Bundesrat nicht ermächtigt, das in <ref-law> festgelegte Abgabeobjekt auszudehnen; der Bundesrat kann dieses nur im Sinne einer Ausführungsverordnung näher umschreiben, aber nicht erweitern (<ref-ruling> E. 5.1). Zuzustimmen ist der Vorinstanz auch darin, dass der Wortlaut des Gesetzes Ausgangspunkt der Auslegung bildet (<ref-ruling> E. 3.4). Von einem klaren Wortlaut kann nur abgewichen werden, wenn dafür triftige Gründe bestehen (<ref-ruling> E. 4 und 6, 137 III 217 E. 2.4.1, 137 V 13 E. 5.1).
3.4 Der Wortsinn des Begriffs "Spieleinsatz" in <ref-law> ist indessen nicht in dem Sinne klar, wie ihn die Vorinstanz versteht: Betrachtet man die gesamte Spielsumme, trifft zwar zu, dass die Kommission nicht gewonnen werden kann, sondern in jedem Fall bei der Spielbank verbleibt. Anders sieht es hingegen aus der Optik des einzelnen Spielers aus: Dieser legt einen bestimmten Betrag in den Pot und hat durchaus die Chance, diesen ganzen Betrag bzw. ein Mehrfaches davon zu gewinnen. Nach dem allgemeinen Sprachgebrauch erscheint daher die Auffassung der Beschwerdeführerin näher liegend, wonach "Einsatz" das ist, was die Spieler in den Pot legen, ungeachtet dessen, wie viel davon als Gewinn verteilt wird. In diesem Sinne wurde der Begriff "Einsatz" auch in <ref-ruling> E. 5.1 und 5.3.3 verwendet, wobei dort allerdings die Kommission nicht Streitthema war.
3.5 Im gleichen Sinn ist der Begriff des "Einsatzes" offensichtlich auch in anderen Bestimmungen des Gesetzes zu verstehen, so in <ref-law>, wonach Glücksspiele definiert sind als Spiele, bei denen gegen Leistung eines "Einsatzes" ein Geldgewinn oder ein anderer geldwerter Vorteil in Aussicht steht. Der Vorteil, der gewonnen werden kann, muss nicht zwingend in einer frankenmässigen Relation zum geleisteten Einsatz stehen: Es kann auch ein anderer geldwerter Vorteil sein, z.B. Spielpunkte, Warengewinne, Jetons (BBl 1997 III 169). Im Lichte des Schutzzwecks des Gesetzes geht es nur darum, dass Geld bezahlt wird, um spielen zu können (Urteil 2C_693/2011 vom 10. April 2012 E. 5.1 und 5.6). Von Geldeinsatz wird (bei Geschicklichkeitsautomaten) auch dann gesprochen, wenn der Gegenwert nicht in Gewinnchancen auf dem einbezahlten Betrag besteht, sondern im Unterhaltungswert des Spiels (vgl. Art. 1 lit. f der Glücksspielverordnung vom 24. September 2004 [GSV; SR 935.521.21]; <ref-ruling> E. 3.2.1; <ref-ruling> E. 5.2.2; 2C_442/2007 E. 3.4).
Sodann regelt der Bundesrat nach Art. 6 Abs. 2 und Art. 26 Abs. 1 SBG den "Höchsteinsatz": Damit ist offensichtlich nicht derjenige Betrag gemeint, den die Gesamtheit der Spieler gewinnen kann, sondern derjenige, den sie einbezahlen. Nur mit diesem Verständnis machen die im Anhang zur GSV festgelegten Maximaleinsätze einen Sinn; denn der Sinn und Zweck der Regelung besteht darin zu vermeiden, dass Spieler Einsätze tätigen, die ihren finanziellen Verhältnissen nicht angepasst sind (vgl. auch BBl 1997 III 179 f., 194). Dasselbe gilt für den Begriff "Spieleinsätze" in <ref-law>: Auch dieser kann sich sinnvollerweise nur auf den gesamten eingesetzten Betrag beziehen, unabhängig davon, welcher Anteil als Gewinn ausbezahlt wird (vgl. Urteil 2C_949/2010 vom 18. Mai 2011 E. 5.3.3). In diesem Sinne wurde der Begriff überdies bereits in Art. 35 Abs. 3 aBV verstanden, wonach das Gesetz "Einsatzlimiten" festlegt. Die gleiche Begriffsbedeutung liegt auch dem Begriff "Einsatz" in Art. 1 Abs. 2 des Lotteriegesetzes vom 8. Juni 1923 (LG; SR 935.51) zugrunde, nämlich das, was der Spieler einbezahlt, nicht nur derjenige Prozentsatz, der als Gewinn zur Auszahlung gelangt. Es ist gerade typisch für die Lotterie, dass nicht 100 % ausbezahlt werden, sondern ein tieferer fixer Anteil. Wie bei den hier zur Diskussion stehenden Tischspielen spielen beim Lotto die Spieler nicht gegen den Veranstalter (der seinen fixen Betrag kassiert und damit sein Risiko ausschliesst), sondern gegen andere Spieler (<ref-ruling> E. 4, 222 E. 7.1).
3.6 Die Materialien zum Spielbankengesetz äussern sich nicht ausdrücklich zu den Kommissionen: Immerhin ergibt sich daraus, dass nach dem Vernehmlassungsentwurf auch die Trinkgelder (tronc) Bestandteil des Bruttospielertrags waren (ebenso PAUL RICHLI, Kommentar aBV, Rz. 26 zu Art. 35). Dies wurde von den Spielbanken kritisiert, weshalb der Tronc dann von der Besteuerung ausgenommen wurde (BBl 1997 III 151, 181, 185; vgl. Art. 78 Abs. 4 VSBG). Dies weist darauf hin, dass dem Gesetz grundsätzlich ein weiter Begriff des Bruttospielertrags zu Grunde liegt. Das entspricht auch dem Sinn und Zweck, wonach es darum geht, alle Geldglücksspiele hoch zu besteuern (BBl 1997 III 163), so dass bei verfassungskonformer Auslegung (<ref-law>) möglichst der gesamte Bruttospielertrag zu erfassen ist.
3.7 Vor allem widerspricht die Auslegung der Vorinstanz der Sachlogik: Dem Begriff des Bruttospielertrags ist immanent, dass die Summe der ausbezahlten Gewinne kleiner ist als die Summe der Einsätze. Andernfalls gäbe es gar keinen Bruttospielertrag und damit kein Objekt für die Spielbankenabgabe. Sachlogisch kann daher der Begriff des Spieleinsatzes nicht bloss denjenigen Prozentanteil des eingesetzten Geldes umfassen, der als Gewinn ausbezahlt wird, wäre doch so der Bruttospielertrag immer null. Die Beschwerdeführerin verweist mit Recht darauf, dass auch bei den Glücksspielautomaten eine gewisse Auszahlungsquote vorprogrammiert ist, die tiefer ist als 100 % (mindestens 80 %, Art. 28 Abs. 1 GSV). Die ausbezahlten Spielgewinne betragen nie 100 % der eingesetzten Gelder, sondern nur einen bestimmten Prozentsatz davon. Mit der Differenz zwischen den eingesetzten Geldern und dem Prozentsatz, der zur Auszahlung gelangt, finanziert die Spielbank die Infrastruktur und erzielt sie ihre Gewinne, genauso wie mit den hier streitigen Kommissionen. Würde die Betrachtungsweise der Vorinstanz übernommen, wäre auch bei den Glücksspielautomaten nur derjenige Anteil "Spieleinsatz", der als Gewinn ausbezahlt wird, mit der Folge, dass der Bruttospielertrag immer null wäre. Dasselbe gilt für alle anderen Glücksspiele, die in einer Spielbank gespielt werden: Die Spielanordnung ist immer so, dass insgesamt die Summe der ausbezahlten Gewinne tiefer ist als die Summe der von den Spielern eingesetzten Gelder (beim Roulette z.B. mittels der Zero-Regel, welche zur Folge hat, dass der Erwartungswert aller Gewinne tiefer ist als 100 % der eingesetzten Gelder). Wäre es anders, könnte eine Spielbank gar nie ihre Kosten decken oder Gewinne erzielen. Der Bruttospielertrag soll aber gerade den Betrag umfassen, mit welchem die Kosten der Spielbank zu decken sind (BBl 1997 III 163, 184).
Mit dem Begriff "Spieleinsatz" kann daher nicht bloss derjenige Teil gemeint sein, der als Gewinn ausbezahlt wird, sondern der gesamte Betrag, den der Spieler für das Spiel aufwendet (zumal er durchaus auch mehr als 100 % dieses Betrags gewinnen kann). Für die Qualifikation als "Spieleinsatz" kann auch nicht ausschlaggebend sein, ob sich der Anteil, welcher der Spielbank verbleibt, aus einer Kommissionsregel, einer Spielregel oder einer Wahrscheinlichkeitsrechnung (vgl. Art. 28 Abs. 2 GSV) oder aus einer Kombination dieser Elemente ergibt, ebenso wenig, ob die Spieler gegeneinander oder gegen die Bank spielen. Nach der Steuersystematik ist Steuerobjekt der Spielvorgang als solcher (<ref-ruling> E. 4.3), unabhängig davon, wer spielt. Auch wenn die Bank mitspielt, dient die Differenz zwischen Einsätzen und ausbezahlten Spielgewinnen dazu, die Kosten der Bank zu decken.
3.8 Entscheidend ist, dass die streitige Kommission nicht für den blossen Eintritt in die Spielbank (vgl. <ref-law>) bzw. unabhängig von einem konkreten Spiel bezahlt wird, sondern im Rahmen eines bestimmten Spiels: Die Spieler legen einen bestimmten Geldbetrag in den Pot um zu spielen; sie spielen mit diesem Betrag um den eigenen Gewinn, nicht um die maximal mögliche Gesamtgewinnsumme (die zwangsläufig immer tiefer ist als die Summe des eingesetzten Geldes). Der gesamte Betrag, den sie im Rahmen dieses Spiels in den Pot legen, ist ein Spieleinsatz im Sinne von <ref-law>, auch wenn ein Teil davon nicht als Gewinn ausbezahlt wird, sondern als Kommission der Spielbank verbleibt. Die Kommission bildet daher Teil des Bruttospielertrags.
4. Die Beschwerde ist gutzuheissen. Die unterliegende Beschwerdegegnerin trägt die Kosten des Verfahrens (<ref-law>). Die ESBK hat keinen Anspruch auf eine Parteientschädigung (<ref-law>; Urteil 2C_123/2009 vom 1. Oktober 2009 E. 8.2, nicht publ. in <ref-ruling>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Bundesverwaltungsgerichts vom 14. März 2012 wird aufgehoben.
2. Die Gerichtskosten von Fr. 3'000.-- werden der Beschwerdegegnerin auferlegt.
3. Die Sache geht zur Neuverlegung der Kosten des vorinstanzlichen Verfahrens an das Bundesverwaltungsgericht.
4. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 31. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein