Faits:
A. V._ était employé comme électricien monteur par l'entreprise X._ SA et, à ce titre, assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 13 septembre 2004, le prénommé a chuté sur le sol mouillé des toilettes de l'entreprise en se réceptionnant sur son poignet gauche en hyperextension. Il a fait l'objet d'un traitement conservateur à la Permanence Y._, où les médecins ont fait état d'une décompensation d'une pseudarthrose du scaphoïde existante avec un début d'arthrose radiocarpienne. L'incapacité de travail était totale. En décembre 2004, le médecin traitant de V._ a également signalé un trouble dépressif secondaire. La CNA a pris en charge le cas.
L'évolution a été défavorable. En raison de ses fortes douleurs, l'assuré a subi une dénervation partielle de son poignet gauche le 24 janvier 2005. Depuis lors, V._ ne se sert pratiquement plus de sa main gauche dont les doigts et le pouce sont maintenus en flexion. Le 10 mai 2005, il a néanmoins pu reprendre à 50 % une activité allégée auprès de son employeur. Le 28 juillet 2005, la doctoresse B._ a effectué une mobilisation sous anesthésie du poignet gauche qui a révélé une fonctionnalité préservée. L'état de l'assuré est toutefois resté stationnaire. D'autres mesures ont été tentées, mais sans succès. Du 9 janvier au 20 février 2007, l'assuré a accompli un séjour à la Clinique Z._. Les médecins de cet établissement ont posé les diagnostics de troubles moteurs dissociatifs de la main gauche, type clenched fist syndrom ou syndrome de conversion (F 44.4), de trouble de l'adaptation avec réaction mixte, anxieuse et dépressive (F 43.22), et d'arthrose radiocarpienne gauche et pseudarthrose du scaphoïde gauche (M 19.9). Le 9 août 2007, le docteur O._, médecin d'arrondissement de la CNA a procédé à un examen final et évalué l'atteinte à l'intégrité à 15 %.
Au terme d'un reclassement professionnel pris en charge par l'Office AI du canton de Vaud, V._ a été engagé en qualité d'ordonnanceur par son employeur à 50 % dès le 8 mai 2008. L'intéressé a également été mis au bénéfice d'un quart de rente d'invalidité dès le 1er août 2007, puis d'une demi-rente d'invalidité à partir du 1er novembre 2007.
Le 23 septembre 2008, la CNA a rendu une décision par laquelle elle a alloué à V._ une rente d'invalidité fondée sur une incapacité de gain de 29 % dès le 1er mai 2008, ainsi qu'une indemnité pour atteinte à l'intégrité d'un taux de 15 %, en prenant seulement en considération l'atteinte somatique. Saisie d'une opposition, elle l'a écartée dans une nouvelle décision du 12 décembre 2008.
B. Le 28 janvier 2009, l'assuré a déféré cette dernière décision à la Cour des assurances sociales du Tribunal cantonal vaudois. Le 12 octobre 2010, il a saisi le Tribunal fédéral d'un recours pour déni de justice (voir l'arrêt de la Ire Cour de droit social du 29 novembre 2010; cause 8C_856/2010).
Le 18 octobre 2010, le tribunal cantonal a rendu son jugement. Il a rejeté le recours.
C. V._ interjette un recours en matière de droit public contre ce jugement. Il conclut à ce que la CNA soit condamnée à lui verser une rente LAA (complémentaire) fondée sur un degré d'invalidité de 50 %; subsidiairement, au renvoi de la cause à la juridiction cantonale ou à la CNA pour nouveau jugement, respectivement nouvelle décision, au sens des considérants.
La CNA conclut au rejet du recours. De son côté, l'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le point de savoir si la CNA est tenue de prendre en charge les conséquences des troubles psychiques développés par le recourant et, éventuellement, de lui allouer une rente LAA plus élevée. Il s'agit plus particulièrement de déterminer si ces troubles se trouvent en relation de causalité adéquate avec l'accident du 13 septembre 2004, l'existence d'un lien de causalité naturelle étant admise. Sur ce point, le jugement entrepris expose correctement les principes jurisprudentiels applicables (voir ATF 115 V 133 consid. 6 p. 138 ss et 403 consid. 5 p. 407 ss), de sorte qu'il suffit d'y renvoyer.
2. Dans la procédure de recours concernant une prestation en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 LTF).
3. 3.1 Par un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu pour défaut de motivation du jugement entrepris, dans la mesure où la juridiction cantonale s'était bornée - sur la question litigieuse de la causalité adéquate - à renvoyer à la décision de la CNA sans entrer en matière sur les critiques qu'il avait soulevées dans son recours. Le jugement cantonal avait manifestement été rédigé à la hâte à la suite de son recours pour déni de justice.
3.2 La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) le devoir pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'a toutefois pas l'obligation d'exposer et de discuter tous les arguments invoqués par les parties (ATF 134 I 83 consid. 4.1 p. 88 et les arrêts cités). Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (cf. arrêt 2A.783/2006 du 23 janvier 2008 consid. 4.1).
3.3 Dans leurs considérants, les premiers juges ont clairement dit qu'ils reprenaient à leur compte l'appréciation des critères jurisprudentiels pertinents pour évaluer la causalité adéquate de troubles psychiques effectuée par la CNA. Bien que cette motivation soit réduite au strict minimum, le recourant pouvait en déduire quels éléments ont conduit la juridiction cantonale à rejeter son recours, comme le démontre d'ailleurs son argumentation au fond. On peut par conséquent nier une violation du droit d'être entendu.
4. 4.1 Sur le fond, le recourant fait valoir qu'une fracture du poignet est susceptible chez un travailleur manuel comme lui d'entraîner des troubles psychiques, qu'il a été sous traitement médical durant plus de quatre ans, ce qui représente une durée anormalement longue, que le processus de guérison de son atteinte à la santé s'est compliqué par d'importantes douleurs et l'apparition d'un état dépressif et d'un syndrome de conversion, qu'il souffre encore actuellement des conséquences de son accident et, enfin, qu'il n'a jamais pu récupérer intégralement sa capacité de travail. Il remplirait dès lors un nombre suffisant de critères déterminants pour que le caractère adéquat de ses troubles psychiques doive être admis.
4.2 Tout d'abord, c'est à juste titre que les premiers juges ont classé la chute de l'assuré sur le sol, de hauteur d'homme, parmi les accidents de gravité moyenne à la limite des accidents de peu de gravité. Il faut donc que les critères objectifs posés par la jurisprudence en la matière se cumulent ou revêtent une intensité particulière (ATF 115 V 133 consid. 6c/aa p. 140 et 403 consid. 5c/aa p. 409).
Quoi qu'en dise le recourant, il n'est pas douteux que celui-ci n'a pas subi de lésion grave. Pour l'examen du critère de la durée anormalement longue du traitement médical, il faut uniquement prendre en compte le traitement thérapeutique nécessaire (arrêt U 369/05 du 23 novembre 2006 consid. 8.3.1). N'en font pas partie les mesures d'instruction médicale et les simples contrôles chez le médecin (arrêt U 393/05 du 27 avril 2006 consid. 8.2.4). En l'espèce, le suivi médical régulier dont l'assuré a été l'objet depuis l'accident n'a pas été nécessité pendant toute sa durée par l'atteinte somatique. Au plus tard à la fin du mois de juillet 2005, date à laquelle la doctoresse B._ a pratiqué une mobilisation sous anesthésie du poignet gauche, il est apparu clair, sous l'angle médical, que la fonction articulaire de celui-ci était totalement libre et qu'il y avait d'autres causes d'ordre non organique au fait que l'assuré n'utilisait pas sa main gauche. Si des mesures médicales ont néanmoins été poursuivies, c'était avant tout pour tenter de débloquer la situation par une approche combinée intégrant une prise en charge physique et psychothérapeutique. On ne saurait donc parler d'un traitement particulièrement long. On ne peut pas non plus admettre des difficultés au cours de la guérison ou des complications importantes du fait que l'évolution a été défavorable et qu'elle a été marquée par l'apparition d'une dépression, puis d'un syndrome de conversion. D'une part, les médecins ont pu écarter l'existence d'une algodystrophie ou d'une autre atteinte d'origine neurogène. D'autre part, le lien de causalité adéquate doit être examiné au regard de la seule atteinte somatique en excluant les aspects psychiques. En substance, il ressort du dossier médical de l'assuré une grande discordance entre les données objectives (cliniques et radiologiques) et l'ampleur de la diminution fonctionnelle de la main gauche, ainsi qu'une influence décisive et précoce du facteur psychogène dans cette évolution. Aussi peut-on en conclure que c'est ce facteur qui a joué un rôle prépondérant dans la persistance des douleurs et de l'incapacité de travail de l'assuré.
4.3 Aucun critère n'étant réalisé, l'intimée était fondée à nier l'existence d'un lien de causalité adéquate et, partant, à refuser de prendre en charge les suites des troubles psychiques du recourant. Comme celui-ci ne remet pas en cause l'évaluation de son invalidité en ce qui concerne les conséquences somatiques de l'accident, il n'est pas besoin d'examiner plus avant ce point. Le jugement cantonal n'est pas critiquable et le recours doit être rejeté.
5. Vu l'issue du litige, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 8 novembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl