Faits:
A. R._ travaillait comme opérateur de production au service de l'entreprise X._ SA. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse en cas d'accidents (CNA).
Le 24 septembre 2003, R._ a été victime d'un accident professionnel. Alors qu'il était en train de travailler sur une scie pour couper des tubes, sa main droite a été entraînée dans l'ébavureuse. Il a subi une mutilation de la face dorsale des doigts longs. Plusieurs interventions chirurgicales ont été nécessaires pour traiter cette blessure, notamment une couverture secondaire de la main droite par un lambeau de peau prélevé à la face latérale du bras droit. La CNA a pris en charge le cas.
Le 16 août 2004, l'assuré a fait une chute à vélo qui a occasionné une fracture de la première phalange de l'annulaire droit. Dans un rapport du 30 septembre 2004, le docteur O._, médecin d'arrondissement de la CNA, a constaté un bon résultat en termes de recouvrement cutané mais un défaut d'enroulement important des trois derniers doigts de la main droite. L'index était raccourci. L'articulation interphalangienne distale de l'index ainsi que celles proximales du médius, de l'annulaire et de l'auriculaire étaient arthrodésées. Ce médecin a suggéré une évaluation à la Clinique Y._. L'assuré y a séjourné à trois reprises (du 3 novembre au 7 décembre 2004, du 3 au 24 mai 2005 et du 13 au 28 juin 2005). Au terme du dernier séjour, les médecins de cet établissement ont observé que l'assuré avait amélioré l'intégration de sa main droite dans les activités professionnelles; par contre, il se plaignait de dorsalgies; au plan psychique, il persistait un trouble de l'adaptation avec réaction dépressive prolongée (rapport du 19 juillet 2005 et ses annexes). Au mois de février 2005, le matériel d'ostéosynthèse a été enlevé. Le 31 août suivant, le docteur O._ a procédé à un examen final de la situation. Au plan somatique, il a conclu à une capacité de travail entière dans une activité légère privilégiant le contrôle et la surveillance, et évalué de l'atteinte à l'intégrité à 17,5 %.
Par décision du 25 janvier 2006, la CNA a alloué à R._ une rente LAA fondée sur un degré d'invalidité de 18 % dès le 1er février 2006 ainsi qu'une indemnité pour atteinte à l'intégrité d'un taux de 17,5 %. Saisie d'une opposition, elle l'a écartée dans une nouvelle décision du 16 juin 2006. En bref, l'assureur-accidents a considéré que seules les séquelles somatiques découlant de l'accident donnaient droit à une indemnisation; en effet, s'il fallait admettre un lien de causalité naturelle entre les troubles psychiques et l'accident, la causalité adéquate devait être niée au regard des critères consacrés par la jurisprudence en la matière.
B. B.a Par jugement du 19 avril 2007, le Tribunal des assurances du canton de Vaud a admis le recours de l'assuré contre la décision sur opposition de la CNA du 16 juin 2006, annulé celle-ci, et renvoyé la cause à l'assureur-accidents pour qu'il mette en oeuvre une expertise psychiatrique et rende une nouvelle décision sur le droit aux prestations.
B.b A la suite de ce jugement, la CNA a mandaté le docteur L._ pour une expertise psychiatrique. Ce psychiatre a diagnostiqué un épisode dépressif moyen avec syndrome somatique [F32.11] et une efficience intellectuelle faible [F70.0]. Il a déclaré que l'accident avait provoqué chez l'assuré un sentiment de ruine et d'anéantissement dont il n'arrivait pas à se remettre (rapport du 6 novembre 2007). Le 31 janvier 2008, respectivement le 31 mars suivant, la CNA a confirmé les termes de sa décision initiale.
B.c L'assuré a déféré la décision sur opposition de la CNA (du 31 mars 2008) à la Cour des assurances sociales du Tribunal cantonal vaudois qui a rejeté le recours, par jugement du 20 janvier 2010.
C. R._ interjette un recours en matière de droit public. Il conclut à l'annulation du jugement cantonal et au renvoi du dossier à la CNA pour qu'elle fixe le taux d'incapacité de gain au sens des considérants.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le point de savoir si le recourant a droit à une rente LAA plus élevée en raison de son état dépressif. Il s'agit plus particulièrement de déterminer si cette affection psychique se trouve en relation de causalité adéquate avec l'accident du 24 septembre 2003, l'existence d'un lien de causalité naturelle étant admise par l'intimée.
2. Le jugement entrepris expose correctement les principes jurisprudentiels applicables en cas de troubles psychiques consécutifs à un accident (ATF 115 V 133 consid. 6 p. 138 ss et 403 consid. 5 p. 407 ss). Il suffit d'y renvoyer.
3. Dans la procédure de recours concernant une prestation en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 LTF).
4. 4.1 Le recourant conteste le point de vue de la juridiction cantonale selon lequel l'accident qu'il a subi entre dans la catégorie des accidents de gravité moyenne. Il est d'avis que l'événement en cause se situe à la limite supérieure de cette catégorie compte tenu du fait que c'est sa main droit dominante qui a été gravement lésée. Il se réfère à un arrêt U 233/95 du 13 juin 1996 dans lequel le Tribunal fédéral des assurances avait classé à la limite supérieure des accidents de gravité moyenne l'accident subi par un serrurier dont la main droite dominante avait été sévèrement mutilée.
4.2 Le degré de gravité d'un accident s'apprécie d'un point de vue objectif, en fonction de son déroulement; il ne faut pas s'attacher à la manière dont la victime a ressenti et assumé le choc traumatique (cf. ATF 115 V 133 consid. 6c/aa p. 140, 403 consid. 5c/aa p. 409; voir également JEAN-MAURICE FRÉSARD/MARGIT MOSER-SZELESS, L'assurance-accidents obligatoire, in : Schweizerisches Bundesverwaltungsrecht [SBVR], 2ème éd., no 89 ss). Le Tribunal fédéral a encore récemment précisé que ce qui est déterminant à cet égard, ce sont les forces générées par l'accident et non pas les conséquences qui en résultent. La gravité des lésions subies - qui constitue l'un des critères objectifs définis par la jurisprudence pour juger du caractère adéquat du lien de causalité - ne doit être prise en considération à ce stade de l'examen que dans la mesure où elle donne une indication sur les forces en jeu lors de l'accident (arrêt 8C_77/2009 du 4 juin 2009 consid. 4.1.1 et les références citées).
4.3 Dans la pratique, ont été classés parmi les accidents de gravité moyenne à la limite supérieure les accidents ayant occasionné les lésions de la main suivantes : l'amputation totale du pouce, de l'index, du majeur et de l'auriculaire, et partielle de l'annulaire chez un serrurier dont la main droite s'était trouvée coincée dans une machine (cas U 233/95 cité par le recourant) ainsi que l'amputation du petit doigt, de la moitié de l'annulaire et des deux-tiers de l'index chez un aide-scieur dont la main gauche avait été atteinte (arrêt U 280/97 du 23 mars 1999 publié dans RAMA 1999 U 346 p. 428). En revanche, a été jugé comme étant de gravité moyenne l'accident subi par un scieur dont la main gauche avait été prise dans la chaîne de la machine avec pour résultat une amputation de l'auriculaire, un annulaire douloureux et une atrophie des autres doigts (arrêt U 5/94 du 14 novembre 1996), de même que celui dont a été victime un aide-serrurier avec une scie entraînant l'amputation des extrémités de deux doigts à la main droite et de trois doigts à la main gauche (arrêt U 185/96 du 17 décembre 1996) ou encore l'accident ayant causé un raccourcissement du pouce phalangien d'un demi-centimètre et un index hypoesthésique (arrêt U 25/99 du 22 novembre 2001 publié dans RAMA 2002 U 449 p. 53; pour une vue d'ensemble de la casuistique voir le consid. 4.1.2 de l'arrêt 8C_77/2009 du 4 juin 2009).
4.4 Selon les constatations médicales figurant au dossier, l'assuré a subi une mutilation de la face dorsale des doigts longs de la main droite avec un défect cutané, tendineux et ostéo-articulaire de l'articulation interphalangienne distale de l'index ainsi que des articulations interphalangiennes proximales du médius, de l'annulaire et de l'auriculaire. Sa main est restée entière. En comparaison aux cas les plus graves d'accidents de la main cités ci-dessus qui ont occasionné des amputations d'une partie des doigts et/ou du pouce, on doit retenir que les forces mises en jeu sur la main droite du recourant au moment de l'accident étaient d'importance moyenne. La qualification des premiers juges concernant le degré de gravité de l'accident peut donc être confirmée.
5. 5.1 Pour qu'un lien de causalité adéquate entre des troubles psychiques et un accident de gravité moyenne soit admis, il faut que les critères objectifs posés par la jurisprudence en la matière se cumulent ou revêtent une intensité particulière (ATF 115 V 133 consid. 6c/aa p. 140 et 403 consid. 5c/aa p. 409; cf. arrêt 8C_788/2008 du 4 mai 2009 consid. 2). Alors que la juridiction cantonale n'en a admis aucun, le recourant fait valoir qu'il en réunit plusieurs.
5.2 Le recourant soutient tout d'abord que les circonstances de l'accident sont objectivement impressionnantes et particulièrement dramatiques. En l'occurrence, on peut nier que l'accident se soit déroulé dans des circonstances dramatiques. Contrairement à l'intimée et à la juridiction cantonale, on doit en revanche reconnaître qu'il a présenté un caractère impressionnant. Que le recourant connaissait les risques inhérents à la machine qu'il utilisait ou qu'il a réussi seul à dégager sa main et à se donner les premiers soins ne sont nullement des faits propres à relativiser l'émotion violente qu'il a dû ressentir en voyant sa main entraînée dans l'ébavureuse et les blessures qui s'en sont suivies.
5.3 Le recourant invoque ensuite la gravité et la nature particulière de ses blessures. Les séquelles de l'accident se caractérisent par une mobilité restreinte des trois derniers doigts, par une diminution de la force de préhension de la main ainsi que par une perte de sensibilité de la face dorsale de l'avant-bras. L'utilisation du pouce et l'index sont possibles. Par ailleurs, le résultat a été jugé bon en termes de recouvrement cutané (voir le rapport d'examen final du docteur O._ du 31 août 2005). Depuis l'événement accidentel, l'assuré a tout de même recouvré une certaine fonctionnalité de sa main droite qui lui permettrait de reprendre une activité professionnelle adaptée (voir les rapports de la Clinique Y._). Dans ces conditions, et bien que le recourant ait été atteint à sa main dominante, on ne peut retenir que les lésions qu'il a subies sont, au regard de leurs conséquences purement physiques, d'une gravité et d'une nature particulière propre, selon l'expérience, à entraîner des troubles psychiques.
5.4 Pour l'examen du critère de la durée anormalement longue du traitement médical, il faut uniquement prendre en compte le traitement thérapeutique nécessaire (arrêt U 369/05 du 23 novembre 2006 consid. 8.3.1). N'en font pas partie les mesures d'instruction médicale et les simples contrôles chez le médecin (arrêt U 393/05 du 27 avril 2006 consid. 8.2.4). La jurisprudence a nié que ce critère fût rempli notamment dans le cas d'un assuré dont le traitement médical du membre supérieur accidenté avait consisté en plusieurs opérations chirurgicales et duré 18 mois (arrêt U 37/06 du 22 février 2007 consid. 7.3). En l'espèce, la reconstruction du dos de la main du recourant a nécessité cinq interventions chirurgicales. Le traitement principal des lésions a pris fin en septembre 2004 (voir le rapport de la doctoresse B._ du 8 septembre 2004). Une dernière opération a eu lieu au mois de février 2005 pour l'ablation du matériel d'ostéosynthèse. Les séjours accomplis par l'assuré à la Clinique Y._ à partir du mois de novembre 2004 ont eu pour but l'évaluation et la réadaptation professionnelle. On peut donc considérer que le traitement des lésions de l'assuré a duré presque une année et demie, ce qui ne suffit pas, à l'aune de la jurisprudence précitée, pour conclure à une durée anormalement longue des soins médicaux. En outre, aucune complication dans le processus de guérison ou erreur médicale n'est à déplorer.
5.5 Enfin, les divers rapports au dossier ne font pas état de douleurs physiques persistantes et on ne peut pas non plus parler d'une longue incapacité de travail, celle-ci n'étant pas imputable aux lésions physiques mais à la persistance des troubles psychiques.
5.6 En définitive, un seul critère objectif est rempli (le caractère impressionnant de l'accident) sans qu'on puisse toutefois retenir qu'il a revêtu in casu une intensité particulière (pour des cas similaires voir par exemple les arrêts 8C_77/2009 du 4 juin 2009 consid. 4.2.1 et U 19/06 du 18 octobre 2006 consid. 4.1). La juridiction cantonale était donc fondée à nier l'existence d'un lien de causalité adéquate entre l'accident et les troubles psychiques.
6. Il n'y a pas lieu d'examiner plus avant l'évaluation de l'invalidité à laquelle a abouti l'intimée pour les seules lésions physiques du recourant. Celui-ci, en effet, ne discute pas ce point dans son recours, qui doit être rejeté.
7. Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 14 février 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung von Zwehl