Faits:
A. En août 2005, D._, né le 15 décembre 1988, a débuté un apprentissage comme mécanicien réparateur d'automobiles auprès de l'entreprise X._ SA. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Dans la nuit du 21 au 22 juin 2006, vers 1h15, D._ a été trouvé devant la piscine Y._, blessé à la tête et au visage, par un tiers qui a appelé les secours. Il a été transporté à l'Hôpital Z._ où les médecins ont diagnostiqué une commotion cérébrale, une fracture du nez et une grave contusion à l'oeil gauche. Le traumatisme oculaire a entraîné une hémorragie du corps vitré et un glaucome à angle ouvert. Dans les suites de l'événement et malgré les traitements entrepris, le prénommé perdra l'acuité visuelle de son oeil gauche. Il a également présenté un état de stress post-traumatique. La CNA a pris en charge le cas.
Le 17 juillet 2006, la mère de l'assuré, M._, a porté plainte pénale contre inconnu notamment pour lésions corporelles graves. Interrogé par la CNA, l'assuré a déclaré que le soir du 21 juin 2006, il s'était rendu à une fête d'anniversaire où il avait consommé de l'alcool. Après la fête, il était monté dans un bus pour rentrer chez lui. Son cousin, C._, qui l'accompagnait, s'était approché de trois jeunes gens pour leur demander une cigarette. Il avait suivi son cousin quand l'un des jeunes lui avait lancé : Il veut quoi ce bouffon ? L'assuré avait répondu : Qu'est-ce que tu as petite pute ? Après quoi, il avait reçu une gifle à laquelle il avait réagi en donnant un coup de poing. A l'arrêt de bus suivant, il avait été forcé de descendre du véhicule par deux des jeunes gens qui l'avait roué de coups tandis qu'il se trouvait à terre (compte-rendu de l'entretien du 24 janvier 2007).
L'enquête de police a permis de retrouver les personnes impliquées dans l'agression. Il s'est agi des frères jumeaux A._ et B._ et F._, âgés respectivement de 15 et 16 ans au moment des faits. Par trois jugements du 6 mars 2008, le Tribunal de la jeunesse du canton de Genève a reconnu les trois prénommés coupables de rixe, les a déclarés non punissables au sens de l'art. 133 al. 2 CP et les a libérés des fins de la poursuite pénale pour lésions corporelles graves au sens de l'art. 122 CP pour avoir agi dans un état de légitime défense.
Le tribunal a retenu, en résumé, les faits déterminants suivants. La nuit du 21 au 22 juin 2006, D._, passablement ivre, est monté dans le bus n° ... à l'arrêt T._ accompagné de C._, également sous influence de l'alcool, et de trois jeunes filles, J._ et V._ et M._. A un moment, D._ s'est approché d'un groupe de trois jeunes gens, à savoir A._, B._ et F._, pour leur demander une cigarette. Ceux-ci lui ayant répondu qu'ils ne fumaient pas, D._ les a injuriés. Ensuite, A._ l'a repoussé de la main. Sur quoi, D._ lui a donné une gifle. C._ est alors intervenu. Il s'en est suivi une bagarre générale entre les intéressés. A l'arrêt suivant, A._, B._ et F._ sont descendus du bus pour se soustraire à la querelle. D._ les a suivis de sa propre initiative et s'est dirigé, une bouteille à la main et en criant, vers les trois jeunes qui s'éloignaient, dans le but de poursuivre la bagarre. Se sentant menacé, B._ a sorti sa ceinture et, la tenant par le côté opposé de la boucle, s'en est servi pour frapper D._, ce qui a causé sa blessure à l'oeil gauche.
Après avoir pris connaissance du jugement, la CNA a rendu le 3 juillet 2009 une décision par laquelle elle informait l'assuré qu'elle réduirait les prestations en espèces auxquelles il avait droit de 50%, au motif qu'il avait été blessé à la suite de sa participation à une bagarre (art. 49 al. 2 OLAA). Saisie d'une opposition, elle l'a rejetée dans une nouvelle décision du 23 septembre 2009.
B. L'assuré a recouru contre la décision sur opposition de la CNA devant le Tribunal cantonal genevois des assurances sociales (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales).
Le tribunal cantonal a demandé l'apport des dossiers du Tribunal de la jeunesse, qui lui a transmis le résumé des auditions effectuées dans le cadre de la procédure. Le tribunal cantonal a également procédé à trois audiences d'enquêtes au cours desquelles il a interrogé toutes les personnes concernées (D._; A._; B._; F._; J._ et V._; M._; C._). Par jugement du 14 septembre 2010, il a rejeté le recours de l'assuré.
C. D._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut à ce que la CNA soit condamnée à lui allouer l'entier des prestations en espèces auxquelles il peut prétendre.
La CNA conclut au rejet du recours. De son côté, l'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le bien-fondé de la réduction des prestations en espèces en application de l'art. 49 al. 2 OLAA.
Dans une procédure de recours concernant une prestation en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et 105 al. 3 LTF).
2. 2.1 Selon l'art. 49 al. 2 OLAA, édicté par le Conseil fédéral en vertu de la délégation de compétence de l'art. 39 LAA, les prestations en espèces sont réduites au moins de moitié en cas d'accident non professionnel survenu - notamment - lors d'une participation à une rixe ou à une bagarre, à moins que l'assuré ait été blessé par les protagonistes alors qu'il ne prenait aucune part à la rixe ou à la bagarre ou qu'il venait en aide à une personne sans défense (let. a), ou encore lors de dangers auxquels l'assuré s'expose en provoquant gravement autrui (let. b).
2.2 Les premiers juges ont correctement exposé la jurisprudence relative à ces notions, de sorte qu'on peut renvoyer à leurs considérants.
On rappellera que la notion de participation à une rixe ou à une bagarre est plus large que celle de l'art. 133 CP et que pour admettre l'existence d'une telle participation, il suffit que l'assuré entre dans la zone de danger, notamment en participant à une dispute. Peu importe que l'assuré ait effectivement pris part activement aux faits ou qu'il ait ou non commis une faute : il faut au moins qu'il se soit rendu compte ou ait pu se rendre compte du danger. Le fait que la responsabilité de l'assuré est diminuée en raison d'un état d'ébriété n'exclut pas l'application de l'art. 49 al. 2 OLAA. Cette circonstance peut toutefois être prise en compte comme facteur atténuant pour fixer le taux de la réduction; celui-ci reste de toute façon de 50% au moins (JEAN-MAURICE FRÉSARD/MARGIT MOSER-SZELESS, L'assurance-accidents obligatoire in : Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., 2007, no 321, et les références). Par ailleurs, il doit exister un lien de causalité entre le comportement de la personne assurée - qui doit être qualifié de participation à une rixe ou une bagarre - et le dommage survenu. Pour juger du lien de causalité, il convient de déterminer rétrospectivement, en partant du résultat qui s'est produit, si et dans quelle mesure l'attitude de l'assuré apparaît comme une cause essentielle de l'accident (SVR 1995 UV no 29 p. 85). A cet égard, les diverses phases d'une rixe forment un tout et ne peuvent être considérées indépendamment l'une de l'autre (ATFA 1964 p. 75).
3. Au vu des témoignages recueillis, la juridiction cantonale a retenu que c'était l'assuré qui avait engagé l'échange verbal injurieux avec le groupe des trois jeunes gens et également donné le premier coup déclenchant la bagarre. En ce qui concernait le déroulement des faits après la sortie du bus, la juridiction cantonale a relevé qu'aucun des témoins interrogés n'avait affirmé avoir vu l'assuré poussé ou tiré hors du bus et qu'il n'existait pas non plus d'éléments suffisants pour étayer la version de celui-ci d'un violent passage à tabac alors qu'il se trouvait à terre et sans défense devant le bus. En effet, les jeunes filles restées à l'intérieur l'avaient aperçu qui courait le long du véhicule avant que le bus ne reparte. En substance, il était plus vraisemblable que l'assuré, après avoir fini de faire le tour du bus, s'était dirigé en courant en direction des trois jeunes qui s'éloignaient et qui s'étaient sentis menacés par son approche, ce qui avait conduit B._ à utiliser sa ceinture contre D._. Sur la base de ces faits, la juridiction cantonale a estimé, d'une part, que la condition d'une participation à une rixe était réalisée et, d'autre part, qu'il y avait un lien de causalité entre le comportement de l'assuré et les lésions qu'il avait subies.
4. Le recourant invoque une constatation inexacte des faits pertinents. Se référant notamment aux témoignages des jeunes filles en procédure cantonale et aux déclarations de B._ devant la police judiciaire, il soutient que les premiers juges n'étaient pas fondés à retenir, au degré de la vraisemblance prépondérante, qu'il avait été à l'origine de l'échange de coups dans le bus, ni qu'il était descendu du véhicule de sa propre initiative pour continuer la bagarre. Il avait été tiré hors du bus par B._ qui cherchait à poursuivre la querelle dehors. Après avoir reçu encore un coup à l'extérieur et cherché en vain à remonter dans le bus, il s'était peut-être avancé en direction des trois jeunes gens, mais sans crier ni tenir une bouteille à la main. Le coup de ceinture qu'il avait reçu à ce moment-là alors que la bagarre était terminée et qu'il était seul et sans défense ne se situait pas dans la continuité des événements ayant eu lieu dans le bus mais relevait d'un acte de vengeance. Dans ces conditions, il ne pouvait être admis que son comportement était la cause essentielle de l'atteinte à la santé dont il avait été victime.
5. En l'espèce, il est établi que le recourant a volontairement pris part à la bagarre qui l'a opposé lui et son cousin à A._, B._ et F._. C'est donc à juste titre que les premiers juges ont retenu la participation à une rixe sans qu'il soit décisif de savoir qui a proféré la première injure ou asséné le premier coup. Il n'y a pas non plus lieu de s'écarter du point de vue des juges cantonaux selon lequel il existe une relation étroite entre le coup de ceinturon à l'origine de l'atteinte à la santé du recourant et la rixe. Cette conclusion s'impose non seulement au vu du bref laps de temps qui s'est écoulé entre ces deux événements mais également quelle que soit la version des faits des intéressés que l'on retienne. On peut en effet déduire des déclarations des uns et des autres que les esprits étaient encore bien échauffés par les coups échangés de part et d'autre lorsque le bus s'est arrêté et a ouvert ses portes, de sorte que le conflit était loin d'être aplani quand les jeunes gens et D._ se sont retrouvés à l'extérieur. Il semblerait d'ailleurs qu'il y a eu encore des coups échangés avant que le groupe des trois jeunes ne s'éloigne. Aussi, lorsque, peu après, l'assuré s'est avancé vers eux alors qu'il aurait pu partir lui aussi dans une autre direction, il y a lieu d'admettre qu'il pouvait s'attendre selon le cours ordinaire des choses et l'expérience de la vie, à un nouvel acte de violence. Enfin, compte tenu du contexte qui l'a précédé - et peu importe les fautes respectives -, on ne saurait retenir que la réaction de B._ de faire usage de sa ceinture contre D._ est tellement extraordinaire, inattendue et disproportionnée au point de reléguer à l'arrière-plan le rôle causal joué par la participation de ce dernier à la bagarre dans le bus, et ce en dépit des conséquences malheureuses qui en sont résultées. La juridiction cantonale n'a donc pas violé le droit fédéral en concluant que le comportement du recourant était la cause essentielle de son atteinte à la santé.
Le jugement n'est pas critiquable et le recours doit être rejeté.
6. Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 21 octobre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl