Faits:
A. A._ a fondé un salon et une école de coiffure qu'il exploite en qualité d'associé-gérant sous la raison sociale X._ Sàrl. A ce titre, il est assuré contre le risque d'accidents auprès de Generali Assurances Générales SA (ci-après: Generali).
Le 25 mai 2008, A._ s'est blessé au poignet gauche à la suite d'une chute dans sa baignoire. Les radiographies effectuées ont montré une fracture de l'extrémité distale du radius gauche de type C2 associée à une lésion scapho-lunaire de stade III. Generali a pris en charge le cas, qui a nécessité deux interventions chirurgicales (en mai et décembre 2008) et des séances de rééducation. L'incapacité de travail était totale dès le jour de l'accident.
En dépit du traitement prodigué, les médecins consultés ont fait état d'une persistance d'une limitation fonctionnelle de la main gauche (voir les rapports des docteurs G._, C._ et N._). Mandaté par Generali pour une expertise médicale, le docteur O._, spécialiste en chirurgie orthopédique, a diagnostiqué une arthrose post-traumatique radio-carpienne gauche modérée et confirmé l'existence d'une diminution (d'environ un quart) de la mobilité, de la force, de l'endurance et de la dextérité du membre supérieur gauche. L'état était stabilisé et les séquelles définitives avec une atteinte à l'intégrité évaluée à 10 %. L'assuré était limité dans les gestes bi-manuels exigés par sa profession actuelle dans une proportion que le médecin estimait à 50 % d'un rendement complet. Dans une autre activité ne nécessitant pas d'efforts ou de mouvements répétitifs de la main gauche, A._ était théoriquement capable de travailler à temps complet (rapport d'expertise du 11 décembre 2009).
Par décision du 22 février 2010, Generali a mis fin aux indemnités journalières avec effet au 28 février suivant, et alloué à l'assuré une indemnité pour atteinte à l'intégrité d'un taux de 10 %. Elle lui a refusé l'octroi d'une rente d'invalidité LAA, considérant, sur la base des conclusions du docteur O._ et en vertu de son obligation de diminuer le dommage, qu'on pouvait exiger de lui qu'il reprenne une activité salariée de substitution dans laquelle il était en mesure d'obtenir un revenu pratiquement équivalent à celui qu'il réalisait en tant qu'associé-gérant de X._ Sàrl (soit 54'000 fr.). Dans une nouvelle décision du 13 décembre 2010, l'assureur-accidents a écarté l'opposition formé par l'assuré contre sa prise de position initiale.
Saisi entre-temps d'une demande de prestations de l'assurance-invalidité, l'Office cantonal genevois des assurances sociales (OCAS) a notifié à A._, le 19 janvier 2011, un projet d'acceptation de rente par lequel il lui reconnaissait le droit à une demi-rente d'invalidité limitée dans le temps du 1er octobre 2009 au 31 novembre 2009, et l'informait de son refus de lui accorder des mesures professionnelles.
B. Par jugement du 30 août 2011, la Chambre des assurances sociales de la Cour de justice du canton de Genève a rejeté le recours de l'assuré contre la décision sur opposition de Generali du 13 décembre 2010.
C. A._ interjette un recours en matière de droit public contre le jugement cantonal dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement au renvoi de la cause à la juridiction cantonale pour complément d'instruction; à titre subsidiaire, à l'octroi d'une rente LAA fondée sur un degré d'invalidité de 60 % dès le 1er mars 2010.
Generali conclut au rejet du recours. L'Office fédéral de la santé publique renonce à se déterminer.
Considérant en droit:
1. Le litige porte sur le droit du recourant à une rente de l'assurance-accidents, plus particulièrement sur le taux d'invalidité qu'il présente. Dès lors que le jugement entrepris concerne des prestations en espèces, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction cantonale (art. 97 al. 2 et 105 al. 3 LTF).
2. Le recourant conteste l'utilisation de la méthode ordinaire de la comparaison des revenus à laquelle a procédé l'intimée pour fixer son degré d'invalidité, évaluation qui a été confirmée par les premiers juges. Il soutient que sa perte de gain doit être déterminée en fonction des activités administratives et de surveillance qu'il peut encore réaliser à ce jour au sein de sa société et qui représentent 40 % de l'activité globale qu'il effectuait avant son accident (méthode dite extraordinaire de l'évaluation de l'invalidité). Il allègue ainsi un taux d'invalidité de 60 %, précisant que sans sa présence dans la société, celle-ci devrait fermer ou être reprise par des tiers. Or, il n'était pas raisonnablement exigible qu'il abandonne son activité d'indépendant alors qu'il avait 52 ans et ne bénéficiait pas d'autre formation que celle de coiffeur. En tout état de cause, il soutient que son invalidité ne saurait être fixée sans que des mesures professionnelles concrètes ne lui aient été proposées et critique le fait qu'on puisse lui opposer, à titre de revenu d'invalide, le montant beaucoup trop élevé des salaires issus des données statistiques.
3. Lorsque l'activité exercée après la survenance de l'atteinte à la santé ne met pas pleinement en valeur la capacité de travail résiduelle de l'assuré, ce dernier peut être tenu de quitter son poste de travail, voire de mettre fin à son activité indépendante au profit d'une activité plus lucrative (cf. arrêt I 840/81 du 26 avril 1982, in RCC 1983 p. 246), ou encore d'accepter un emploi le contraignant à changer de domicile, en vertu de son obligation de réduire le dommage résultant de l'invalidité (ATF 113 V 22 consid. 4 p. 28; 109 V 25 consid. 3c p. 27). L'effort à consentir par l'assuré est d'autant plus important que la diminution du dommage escomptée est substantielle, l'ensemble des circonstances devant être prises en considération, conformément au principe de proportionnalité, applicable de manière générale en droit des assurances sociales (ATF 122 V 377 consid. 2b/cc p. 380; 119 V 250 consid. 3a p. 253; voir également ATF 113 V 22 consid. 4d p. 31, ainsi que PETER OMLIN, Die Invalidität in der obligatorischen Unfallversicherung, Fribourg 1995, p. 185 sv., p. 203 sv.).
4. 4.1 A juste titre, le recourant ne remet pas en cause le fait qu'il conserve une capacité de travail résiduelle entière dans une activité adaptée. Il reconnaît par ailleurs lui-même que son activité indépendante ne lui permet de mettre à contribution qu'une faible part (40 %) de sa capacité résiduelle de travail et de gain.
4.2 Or, si l'on détermine le revenu que A._ pourrait obtenir dans l'exercice d'une activité salariée de substitution en se fondant, conformément à ce que permet la jurisprudence (ATF 135 V 297 consid. 5.2 p. 301), sur les données salariales statistiques, on peut constater que les perspectives de revenu offertes par un changement d'activité sont pratiquement équivalentes au gain qu'il tirait de son activité indépendante sans atteinte à la santé (54'000 fr. selon l'extrait du compte individuel AVS de l'assuré). Le salaire statistique de référence oscille en effet entre 51'989 et 55'047 fr. pour des activités simples et répétitives avec un niveau de qualification 4, une durée de travail hebdomadaire de 41,6 heures, et la prise en compte d'un abattement adéquat de 10 %, voire de 15 % (cf. Enquête suisse sur la structure des salaires 2010, TA1; Annuaire statistique de la Suisse 2012, p. 102, T.3.2. 4.19). Quoi qu'en dise le recourant, ces valeurs sont représentatives des salaires pratiqués dans la réalité même si elles sont le résultat d'une moyenne. Et il n'est pas non plus irréaliste de retenir qu'il existe, parmi la large palette d'activités considérées, un emploi adapté à sa situation sur un marché du travail équilibré. Cette notion est certes théorique et abstraite mais elle est inhérente au système et trouve son fondement à l'art. 16 LPGA (applicable en vertu du renvoi de l'art. 18 LAA). Cela signifie qu'il n'y a pas lieu d'examiner la question de savoir si un invalide peut être placé eu égard aux conditions concrètes du marché du travail - ce qui revient à l'assurance-chômage -, mais uniquement de se demander s'il pourrait encore exploiter économiquement sa capacité résiduelle de travail lorsque les places de travail disponibles correspondent à l'offre de la main d'?uvre (jurisprudence confirmée de manière constante depuis l'arrêt I 198/97 du 7 juillet 1998 consid. 3b et les références, in VSI 1998 p. 293). Il n'y a dès lors pas lieu de renvoyer la cause à la juridiction cantonale pour un complément d'instruction à ce sujet comme le demande le recourant.
4.3 Pour le surplus, âgé de 51 ans au moment où la question de l'exigibilité du changement d'activité se pose (2010), l'assuré n'avait de loin pas atteint le seuil à partir duquel le Tribunal fédéral considère généralement qu'il n'existe plus de possibilité réaliste d'exploiter la capacité résiduelle de travail sur un marché du travail supposé équilibré (cf. arrêt 9C_695/2010 du 15 mars 2011 consid. 6.2 et les arrêts cités). Enfin, A._ ne prétend pas qu'il lui serait impossible de remettre sa société.
4.4 Dans ces circonstances, une reconversion professionnelle est exigible et l'intimée était en droit de déterminer le degré d'invalidité de l'assuré en fonction du salaire que celui-ci pourrait obtenir en changeant d'activité (méthode ordinaire de la comparaison des revenus). Il en résulte un taux d'invalidité de 4 % tout au plus (54'000 - 51'989 : 54'000 x 100 = 3,72; voir le consid. 4.2 supra), ce qui se situe en dessous du seuil de 10 % donnant droit à une rente LAA (art. 18 al. 1 LAA), si bien que le refus de cette prestation par l'assureur-accidents n'est pas critiquable.
Le recours est mal fondé.
5. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 15 novembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl