Faits:
A. Par jugement du 24 juin 2011, le Tribunal de police de l'arrondissement de Lausanne a reconnu X._ coupable de lésions corporelles simples qualifiées (<ref-law>) et l'a condamné à une peine pécuniaire de quarante jours-amende à 55 fr. le jour, avec sursis pendant deux ans, et à une amende de 550 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de l'amende étant de dix jours. Il a alloué à Y._ une indemnité pour tort moral de 2'500 fr.
Par le même jugement, il a condamné Y._ pour lésions corporelles simples (<ref-law>) à une peine pécuniaire de cinq jours-amende à 50 fr. le jour, avec sursis pendant deux ans.
B. Par jugement du 1er novembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formés par X._ et Y._ et confirmé le jugement de première instance.
En substance, elle a retenu les faits suivants:
Le 19 octobre 2008, à environ trois heures du matin, dans la discothèque " Z._ ", à Lausanne, X._ et Y._ se sont bousculés sur la piste de danse, d'abord involontairement, puis intentionnellement. Lors de cette bousculade, X._ est tombé en arrière contre l'estrade, sur le dos, ce qui a causé une ecchymose. Après une nouvelle bousculade, il a frappé Y._ par derrière sur le sommet du crâne au moyen d'une bouteille de bière de 3 dl, qui s'est brisée. Y._ s'est retourné. Les deux hommes se sont à nouveau mutuellement repoussés, alors que X._ tenait encore le tesson de la bouteille dans sa main, blessant ainsi Y._ au visage et au thorax.
C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral, concluant, sous suite de frais et dépens, à l'annulation du jugement attaqué.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant s'en prend à l'établissement des faits, qu'il qualifie d'arbitraire sur plusieurs points.
1.1 Le Tribunal fédéral est un juge du droit. Il ne peut revoir les faits établis par l'autorité précédente que si ceux-ci l'ont été de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (<ref-ruling> consid. 5.1 p. 356). Sur la notion d'arbitraire, on peut renvoyer aux principes maintes fois exposés par le Tribunal fédéral (voir par ex: <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560 ; <ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat.
Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>). Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356 ; <ref-ruling> consid. 6 p. 397).
1.2 Le recourant reproche à la cour cantonale d'avoir versé dans l'arbitraire en retenant qu'il était tombé en arrière sur le dos, à la suite des premières bousculades. D'après lui, il se serait cogné le dos à la suite d'une chute, provoquée par un coup de chope intentionnellement porté à son visage par l'intimé. Il se fonde sur un rapport médical du 28 octobre 2008, qui ferait état de plusieurs lésions (pièce 16/3).
1.2.1 Selon le rapport médical du CHUV du 4 février 2009 (pièce 15), le recourant présentait, lors de son examen le 21 octobre 2008 au matin, des contusions au niveau du crâne, une labyrinthite traumatique (à savoir une lésion ou inflammation de l'oreille interne) avec acouphène et des troubles de l'équilibre et une parésie faciale (à savoir l'équivalent d'une paralysie de très faible importance), qui a disparu durant son hospitalisation de quelques heures le 21 octobre 2008.
Interrogés lors de l'audience de première instance, les Dr A._ et B._ ont expliqué que, " pour les médecins urgentistes, le terme de contusion peut être utilisé sans marque visible, si la personne relate avoir reçu un coup, et décrit des symptômes subjectifs de douleur, alors que les médecins légistes décrivent une contusion uniquement lorsqu'il existe une marque perceptible à l'oeil nu " (jugement de première instance p. 24). Ils ont également évoqué la possibilité qu'une labyrinthite ait d'autres causes qu'un choc direct, par exemple une origine infectieuse ou une chute en arrière (jugement de première instance, p. 25).
En outre, il ressort du constat médical établi le 28 octobre 2008 par le Dr B._ de l'Unité de médecine des violences (pièce 16) que, mise à part une ecchymose jaune violacée dans la région dorsolombaire paramédiane gauche, aucune autre lésion n'a été constatée en relation avec les faits survenus le 19 octobre 2008 dans la discothèque.
1.2.2 Au vu des constats médicaux et des explications données par les médecins, le premier juge a retenu qu'aucune trace physique n'avait été en définitive constatée (alors qu'un coup de chope aurait dû laisser au moins une ecchymose au visage). En outre, le témoin C._ avait affirmé que l'intimé n'avait pas de verre à la main lorsqu'il était sur la piste de danse. Le premier juge, suivi par la cour cantonale, a déduit de ces éléments que le recourant était tombé à la suite d'une bousculade et non d'un coup de chope porté au visage. Ce raisonnement n'a rien d'arbitraire, de sorte que le grief soulevé doit être rejeté.
1.3 Le recourant se plaint d'arbitraire, dans la mesure où la cour cantonale a retenu que les deux protagonistes se sont à nouveau mutuellement repoussés alors que le recourant tenait encore le tesson de la bouteille dans sa main, blessant ainsi l'intimé au visage et au thorax. Il explique que cette version des faits ne correspond pas au témoignage de C._, qu'aucun élément ne permet de considérer qu'ils se sont " mutuellement repoussés " après qu'il aurait frappé l'intimé et que la blessure n'est apparue que très tardivement dans la nuit du 19 octobre 2008, à savoir seulement après que l'intimé est sorti des toilettes de la discothèque.
1.3.1 L'essentiel de l'argumentation du recourant relève d'une libre discussion des faits, celui-ci se contentant d'opposer sa version des faits à celle retenue. Purement appellatoire, son argumentation est irrecevable.
1.3.2 Au demeurant, supposés recevables, les griefs ne seraient pas fondés.
En effet, il est établi que le recourant a frappé l'intimé par derrière sur le sommet du crâne au moyen d'une bouteille. Interrogé lors de l'audience de première instance, le Dr A._ a expliqué qu'il ne lui était pas possible de déterminer si les plaies sur la tête avaient été faites en lançant la bouteille ou en la cassant tout en la tenant (jugement de première instance p. 24). Il n'est toutefois pas arbitraire de retenir que le recourant tenait un tesson de bouteille à la main.
Selon le rapport du CHUV du 17 novembre 2008 (pièce 9), l'intimé présentait, lors de l'examen du 19 octobre 2008, une plaie superficielle au thorax, qui a été suturée, pouvant entraîner des dommages permanents d'ordre esthétique. Le Dr A._ a précisé lors de l'audience de première instance que la coupure nette et relativement profonde au thorax nécessitait une certaine force et a exclu qu'elle ait pu être faite par un tesson de verre glissé sous le pull (jugement de première instance p. 24). Le témoin C._ suppose que lorsque l'intimé s'est retourné vers son agresseur, celui-ci l'a probablement blessé au torse, avec son tesson de bouteille ou de verre (procès-verbal du 25 novembre 2008, p. 2).
Compte tenu du fait que le recourant a frappé l'intimé avec une bouteille qui s'est brisée et de la nature de la blessure infligée, il n'est pas arbitraire de retenir que le recourant tenait encore à la main un tesson de bouteille et qu'il a blessé l'intimé à la poitrine au moyen de ce tesson. Peu importe en définitive les circonstances exactes dans lesquelles l'intimé a été blessé, que ce soit lors d'une nouvelle bousculade (version de la cour cantonale) ou lorsque l'intimé s'est retourné (version du témoin). Sur le plan subjectif, dans la mesure où le recourant tenait un tesson de bouteille à la main, il acceptait la possibilité de blesser un tiers.
2. Le recourant invoque la présomption d'innocence et le principe in dubio pro reo. Tel qu'il est invoqué, à savoir comme règle de l'appréciation des preuves, le principe in dubio pro reo interdit au juge de se déclarer convaincu d'un état de fait défavorable à l'accusé, lorsqu'une appréciation objective des éléments de preuve recueillis laisse subsister un doute sérieux et insurmontable quant à l'existence de cet état de fait (<ref-ruling> consid. 2a p. 41 et les arrêts cités). Le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 2 p. 40 ss; <ref-ruling> consid. 4 p. 211; <ref-ruling> consid. 2d p. 37/38). Le grief tiré de la violation de la présomption d'innocence se confond donc avec celui d'appréciation arbitraire des preuves, qui a été déclaré mal fondé (cf. consid. 1).
3. Se fondant sur l'<ref-law>, le recourant reproche à la cour cantonale de s'être comportée comme une instance de recours et non comme une cour d'appel.
3.1 L'appel doit permettre un nouvel examen au fond par la juridiction d'appel. Celle-ci ne doit pas se borner à rechercher les erreurs du juge précédent et à critiquer le jugement de ce dernier ; elle doit tenir ses propres débats et prendre sa décision sous sa responsabilité et selon sa libre conviction, qui doit reposer sur le dossier et sa propre administration des preuves. L'appel tend à la répétition de l'examen des faits et au prononcé d'un nouveau jugement (LUZIUS EUGSTER, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 1 ad art. 398). L'immédiateté des preuves ne s'impose toutefois pas en instance d'appel. Selon l'<ref-law>, la procédure d'appel se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. La juridiction d'appel administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours (<ref-law>).
3.2 En l'espèce, la cour cantonale a tenu ses propres débats (art. 405 et 406 CPP) et entendu les deux protagonistes, qui ont confirmé leurs déclarations faites en cours de procédure. Le recourant reproche à la cour cantonale d'avoir mal instruit et mal interprété les éléments probants à disposition. En particulier, elle aurait refusé d'ordonner une instruction complémentaire concernant les lésions qu'il a subies au visage, par l'audition d'un expert dont la mission aurait été de dire l'origine des lésions subies. Comme vu sous considérant 1, la cour cantonale s'est toutefois fondée sur des éléments suffisants et probants pour conclure que le recourant était tombé en arrière à la suite d'une bousculade et non d'un coup donné au visage. On ne saurait donc lui reprocher de ne pas avoir procédé à un examen complet de l'état de fait. Mal fondé, le grief soulevé doit être rejeté.
4. Le recourant invoque la légitime défense (<ref-law>). Il prétend avoir reçu une chope de bière sur le côté droit du visage, geste violent consécutif aux bousculades. Alors qu'il était encore à terre et que son agresseur était en face de lui, il aurait lancé sa bouteille contre celui-ci (mémoire de recours p. 12).
Par cette argumentation, le recourant s'écarte de l'état de fait cantonal, qui lie la cour de céans, à moins qu'il n'ait été établi de façon manifestement inexacte, à savoir arbitraire. Or, tel n'est pas le cas en l'espèce (cf. consid. 1). Au vu des faits constatés, le recourant a attaqué l'intimé par derrière alors qu'il ne faisait pas l'objet d'une attaque à ce moment-là, de sorte que la condition de l'attaque imminente, actuelle et concrète, posée par l'<ref-law>, n'est pas réalisée.
5. Condamné à une peine pécuniaire de 40 jours-amende à 55 fr. et à une amende de 550 fr., le recourant se plaint de la sévérité de la peine qui lui a été infligée. Il conteste uniquement le nombre des jours-amende, à l'exclusion de leur montant.
5.1 Pour fixer le nombre de jours-amende, le juge se fonde sur la culpabilité de l'auteur (<ref-law>). Pour ce faire, il se référera aux critères posés à l'<ref-law>. Il prendra en considération les antécédents et la situation personnelle de l'auteur ainsi que l'effet de la peine sur son avenir (<ref-law> ). Il tiendra compte de la gravité de la lésion ou de la mise en danger du bien juridique concerné, du caractère répréhensible de l'acte, des motivations et des buts de l'auteur et de la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (<ref-law>).
5.2 Dans sa motivation, reprise par la cour cantonale, le juge de première instance a tenu compte de la gravité des faits et de l'absence d'antécédents (jugement de première instance p. 27; jugement attaqué p. 16). Il a retenu que le recourant avait agi par dol éventuel (et non par négligence; jugement de première instance p. 26) et que la blessure infligée au thorax laisserait un dommage esthétique définitif (jugement de première instance p. 23).
C'est en vain que le recourant se plaint que les juges cantonaux n'ont pas tenu compte de l'absence d'antécédents. En effet, les premiers juges ont expressément cité cet élément, étant précisé que, selon la jurisprudence (<ref-ruling>), cet élément a un effet neutre sur la fixation de la peine et n'a donc pas à être pris en considération dans un sens atténuant. En outre, le recourant n'explique pas en quoi cette peine pécuniaire, prononcée avec sursis, aurait un effet sur son avenir.
En définitive, la peine infligée n'apparaît pas sévère, de sorte qu'il faille conclure à un abus du large pouvoir d'appréciation accordé à l'autorité cantonale. Cette dernière a motivé de manière suffisante la peine, et le recourant n'invoque aucun élément, propre à modifier la peine, qu'elle aurait omis ou pris en considération à tort. Le grief de violation de l'<ref-law> est dès lors infondé.
6. Le recours est rejeté dans la mesure où il est recevable.
Le recourant, qui succombe, doit supporter les frais (<ref-law>).
Il n'y a pas lieu d'allouer d'indemnité à l'intimé qui n'a pas déposé de mémoire dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 août 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin