Faits :
A.
A.a. Le 22 août 2013, A._ alors employé par l'entreprise B._ SA en qualité de poseur de fenêtres, a été victime d'un accident sur un chantier. Il s'est blessé à la main gauche en découpant une lambourde de bois avec une scie circulaire. La Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA), auprès de laquelle il était assuré, a pris en charge le cas.
L'assuré a été soigné à la Clinique C._, où les médecins ont constaté une plaie complexe de la main gauche (subamputation de l'index gauche avec perte de substance ouverte au niveau du tiers distal de la phalange proximale; section complète de l'appareil extenseur; perte post-traumatique du tiers distal de la phalange proximale de l'index gauche; plaie profonde de la face palmaire du pouce gauche; avulsion des deux tiers des ongles du majeur et de l'auriculaire gauches).
Par la suite, A._ a encore subi plusieurs interventions chirurgicales à l'Hôpital D._: une révision de l'arthrodèse interphalangienne proximale de l'index gauche le 15 octobre 2013; une amputation distale de la première phalange de l'index gauche avec ablation du matériel d'ostéosynthèse et cure de Kocher du bord cubital du pouce gauche le 21 février 2014; une révision et résection d'un névrome douloureux du nerf cubital de l'index gauche le 12 février 2015; une amputation de la base du 2e rayon du métacarpien et resurfaçage par lambeau de type Foucher de la face palmo-cubitale du pouce gauche le 24 novembre 2015.
A.b. Durant cette période, l'assuré a été examiné à intervalles réguliers par le docteur E._, médecin d'arrondissement de la CNA. Dans un rapport du 23 mai 2016, ce dernier a constaté que l'évolution n'était pas du tout favorable; il subsistait une allodynie du bord cubital du pouce gauche ainsi que de la zone greffée dans la commissure entre le pouce et le majeur. Le médecin de la CNA a préconisé un séjour à la Clinique Romande de Réadaptation (CRR), qui s'est déroulé du 8 juin au 6 juillet 2016. Selon les médecins de la CRR, la situation n'était pas encore stabilisée sous l'angle médical et des aptitudes fonctionnelles; l'assuré présentait une douleur de type neuropathique (allodynie) ne répondant pas au traitement conservateur habituel et il était opportun d'évaluer la possibilité d'un bloc nerveux périphérique pour diminuer cette douleur. Des limitations fonctionnelles provisoires étaient retenues pour les activités bimanuelles nécessitant la main gauche et le port de charges supérieures à 10 kg.
Le docteur F._, du Centre d'antalgie de l'Hôpital D._, a posé le diagnostic de neuropathie du bord ulnaire du pouce gauche et de la première commissure. Il a pratiqué le traitement préconisé par les médecins de la CRR ainsi que des infiltrations d'anesthésiques, mais les résultats se sont avérés négatifs (cf. rapport du 18 mai 2017). L'assuré a également été adressé au docteur G._ pour un essai de pose de stimulateur médullaire, mais cette indication a été abandonnée car il présentait une anesthésie de la paume de la main mais pas de la région du pouce.
A.c. Dans l'intervalle, A._ a annoncé un nouvel accident à la CNA. Le 27 avril 2017, il s'est blessé à la main gauche en coupant de la viande. Les plaies palmaires des quatrième et cinquième doigts ont été suturées le 30 avril suivant.
Le 20 novembre 2017, le docteur E._ a procédé à un examen médical final. Il a repris à son compte les diagnostics posés par ses confrères de l'Hôpital D._, y compris l'allodynie du bord cubital du pouce gauche et de la commissure entre le pouce et le troisième doigt, et a conclu à un état stabilisé sans amélioration à attendre. L'assuré ne pouvait plus exercer son ancienne profession mais était désormais apte à travailler dans une activité adaptée aux limitations fonctionnelles, soit une activité mono-manuelle droite, la main gauche (dominante) pouvant être utilisée pour des gestes d'appoint occasionnels sans préhension fine. Dans une appréciation séparée datée du même jour, le médecin de la CNA a évalué l'atteinte à l'intégrité à 25 %, retenant que l'état actuel de la main gauche était équivalent à une amputation du pouce et de l'index au niveau des articulations méta-carpo-phalangiennes.
A.d. Par décision du 9 janvier 2018, la CNA a alloué à l'assuré une indemnité pour atteinte à l'intégrité d'un taux de 25 %, mais a nié le droit à une rente compte tenu d'un degré d'invalidité de 8 %. Pour fixer le revenu d'invalide (57'179 fr.), elle s'est fondée sur cinq descriptions de postes de travail (DPT). A._ a formé opposition en produisant un rapport de son médecin traitant, le docteur H._. Ce praticien y indiquait qu'une antalgie adéquate permettant la reprise d'une activité lucrative était difficile à obtenir car le seul traitement efficace, compte tenu du seuil douloureux très bas chez l'assuré, était de la morphine à une dose incompatible avec l'exercice d'un emploi. Le 23 mai 2018, la CNA a confirmé sa décision initiale.
B.
Par jugement du 3 septembre 2019, la Cour des assurances sociales du Tribunal cantonal vaudois a partiellement admis le recours formé par l'assuré contre la décision sur opposition du 23 mai 2018, qu'elle a réformée en ce sens que A._ a droit à une rente d'invalidité de 19 % dès le 1er janvier 2018.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation et au renvoi de la cause à la cour cantonale pour nouveau jugement au sens des considérants.
La CNA interjette également un recours en matière de droit public, en concluant à la réforme du jugement cantonal dans le sens de la confirmation de sa décision sur opposition du 23 mai 2018.
Chaque partie conclut au rejet du recours adverse. La cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer sur les recours.

Considérant en droit :
1.
Les recours sont dirigés contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Ils ont été déposés dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Ils sont donc recevables.
Les deux recours sont dirigés contre le même jugement, concernent des faits de même nature et portent sur des questions juridiques communes. Il se justifie par conséquent de joindre les causes et de statuer sur celles-ci en un seul arrêt (<ref-ruling> consid. 1 p. 60 et les références).
2.
2.1. Sont litigieux les points de savoir si c'est à bon droit que la cour cantonale a, d'une part, reconnu le droit de l'assuré à une rente d'invalidité fondée sur un taux d'invalidité de 19 % et, d'autre part, confirmé la décision de la CNA sur le taux de l'atteinte à l'intégrité. A cet égard, le jugement entrepris expose de manière complète les dispositions légales (dans leur teneur valable jusqu'au 31 décembre 2016; ch. 1 des dispositions transitoires relatives à la modification de la LAA du 25 septembre 2015 [RO 2016 4388]) et les principes jurisprudentiels applicables au cas, en particulier s'agissant du droit à une rente d'invalidité (<ref-law>), de l'évaluation du taux d'invalidité selon la méthode ordinaire de la comparaison des revenus (<ref-law>; RS 830.1), de l'évaluation de l'indemnité pour atteinte à l'intégrité (<ref-law> et <ref-law>) et de l'appréciation des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352). Il suffit d'y renvoyer. On rappellera cependant que lorsqu'un cas est réglé sans avoir recours à une expertise externe, l'appréciation des preuves est soumise à des exigences sévères: s'il existe un doute même minime sur la fiabilité et la validité des constatations du médecin de l'assurance, il y a lieu de procéder à des investigations complémentaires (<ref-ruling> consid. 5.2 p. 229; <ref-ruling> consid. 4.4 p. 470). En effet, si la jurisprudence a reconnu la valeur probante des rapports médicaux des médecins-conseils, elle a souligné qu'ils n'avaient pas la même force probante qu'une expertise judiciaire ou une expertise mise en oeuvre par un assureur social dans une procédure selon l'<ref-law> (ATF <ref-ruling> consid. 4.4 p. 469 et les références).
2.2. La décision qui fait l'objet du recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents, de sorte que le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (art. 97 al. 2 et 105 al. 3 LTF).
3.
3.1. Sur le plan médical, la cour cantonale s'est fondée sur le rapport final du docteur E._ (du 20 novembre 2017), auquel elle a accordé pleine valeur probante, écartant les critiques de l'assuré à l'encontre de ce rapport. Ainsi, selon elle, le médecin de la CNA, tenant dûment compte des documents médicaux au dossier et des plaintes de l'assuré, avait rendu une appréciation claire, non contredite par d'autres médecins, quant au caractère exigible d'une activité adaptée aux limitations fonctionnelles découlant des séquelles à la main gauche. Il n'y avait pas lieu de suivre l'avis du médecin traitant selon lequel l'exercice d'une activité lucrative était incompatible avec le traitement à la morphine prescrit à l'assuré, dès lors que le docteur E._ avait bien mentionné et pris en considération la prescription de Tramal en réserve dans son appréciation médicale. Enfin, contrairement à ce que soutenait l'assuré, il n'y avait pas de contradiction entre les constatations du docteur F._ (du Centre d'antalgie de l'Hôpital D._) et celles du médecin de la CNA. Les douleurs dont le premier faisait état n'étaient pas contestées et avaient d'ailleurs conduit le second à poser les diagnostics d'allodynie persistante du bord cubital du pouce gauche et de la commissure entre le pouce et le troisième doigt de la main gauche. De plus, leurs avis se rejoignaient sur l'absence de limitation du poignet, du coude et de l'épaule, ainsi que sur la mobilité satisfaisante du pouce, du majeur, de l'annulaire et de l'auriculaire. Cela étant, la cour cantonale a retenu que l'assuré disposait d'une capacité de travail entière.
En ce qui concerne l'évaluation du taux d'invalidité, la cour cantonale s'est toutefois distancée du revenu d'invalide retenu par l'assureur-accidents. En effet, les activités décrites dans les DPT n° 11554 et n° 4605, à savoir tester des pipettes et des doseurs, respectivement procéder à l'adoucissage circulaire de roues dentées à l'aide de brucelles,pouvaient certes être effectuées d'une main, mais requéraient l'usage intact de la main dominante; elles n'étaient donc pas compatibles avec les séquelles de l'assuré dont la main dominante était lésée. Il en allait de même des DPT n° 3488 (cariste) et n° 5825 (conducteur de palan), qui impliquaient le maniement de commandes d'élévation. La cour cantonale a donc recouru aux données salariales statistiques ressortant de l'Enquête suisse sur la structure des salaires [ESS] valables en 2016, singulièrement au salaire de référence pour les hommes exerçant des activités simples et répétitives dans le secteur privé (niveau de qualification 1). Elle a abouti, après tous les ajustements nécessaires et l'application d'un abattement de 25 % pour tenir compte des limitations fonctionnelles importantes de l'assuré, à un revenu d'invalide de 50'302 fr. La comparaison avec le revenu sans invalidité de 62'256 fr. donnait un taux d'invalidité (arrondi) de 19 %, qui ouvrait le droit à une rente d'invalidité.
Enfin, la cour cantonale a confirmé le taux de l'atteinte à l'intégrité de 25 % retenu par le docteur E._, considérant qu'il était suffisamment tenu compte de l'importante allodynie du pouce et de l'index gauches puisque ce taux correspondait à une perte du pouce et de l'index.
3.2. Comme principal grief, l'assuré conteste le caractère probant et convaincant des conclusions du docteur E._ sur sa capacité de travail aussi bien que sur le taux de son atteinte à l'intégrité. Il relève que tous les rapports médicaux font état de douleurs (allodynies) importantes, en augmentation depuis la dernière intervention du 24 novembre 2015, et que les traitements entrepris n'y ont rien changé. Sa problématique médicale ne réside donc pas uniquement dans les conséquences des amputations subies, mais également dans la gestion de cette allodynie. Or le médecin de la CNA n'a nullement abordé cette problématique dans son rapport d'examen final; il a en outre rendu son avis sans avoir procédé à un test fonctionnel et en tenant compte d'une médication adaptée à une situation au repos mais pas à la mobilisation. A cet égard, l'assuré se réfère au rapport du docteur H._, dans lequel celui-ci atteste la nécessité d'une médication plus forte en situation de travail, ce qui réduirait à son tour la capacité de travail, ainsi qu'aux observations faites par l'ergothérapeute sur l'augmentation des douleurs en cas de mobilisation (rapport du 28 janvier 2014). En résumé, le rapport final du médecin de la CNA serait incomplet et lacunaire sur des points essentiels et reposerait davantage sur des considérations d'ordre général que sur les données individuelles de son cas. Il serait dès lors nécessaire de mettre en oeuvre une expertise.
3.3. De son côté, la CNA reproche à la cour cantonale d'avoir retenu que les DPT qu'elle avait sélectionnées n'étaient pas compatibles avec les limitations fonctionnelles de l'assuré. Pour le cas où le recours aux données salariales des ESS devait être confirmé, la CNA fait également grief à l'instance précédente d'avoir procédé à un abattement de 25 % sur le salaire statistique. Selon elle, le seul facteur susceptible d'influer sur les perspectives salariales de l'assuré serait celui des limitations fonctionnelles. Toutefois, une réduction uniforme du revenu statistique telle qu'effectuée par la cour cantonale en considération du fait que l'assuré était désormais mono-manuel ne serait pas justifiée. Vu la palette d'activités simples et peu contraignantes existant sur un marché équilibré du travail, un abattement de 15% tiendrait suffisamment compte du handicap de l'assuré.
4.
Il convient d'examiner d'abord le recours de l'assuré.
4.1. La cour cantonale considère que les rapports médicaux des docteurs I._ et F._ de l'Hôpital D._ ne contredisent pas les éléments retenus par le docteur E._. Elle omet cependant de préciser que ces médecins ne se sont pas du tout prononcés sur les répercussions des séquelles définitives de l'accident sur la capacité de travail résiduelle de l'assuré. On ne peut dès lors pas en tirer une confirmation des conclusions du médecin d'arrondissement de la CNA à ce sujet. En l'occurrence, il est établi que l'assuré présente, depuis la cicatrice d'amputation de l'index gauche, des douleurs à caractère neuropathique qui se manifestent sous la forme d'une hypersensibilité à tout (mécanique et température), cela malgré le suivi de séances d'ergothérapie pendant trois ans; par ailleurs, les blocs nerveux et les infiltrations pratiqués n'ont pas eu d'effet (rapport du docteur F._ du 18 mai 2017). Dans ces conditions, on pouvait attendre du docteur E._ qu'il prenne expressément position sur cette problématique particulière alors qu'il retient implicitement une capacité de travail entière et sans diminution de rendement dans une activité mono-manuelle droite où la main (dominante) présentant l'allodynie peut être utilisée pour des gestes d'appoint. Des explications circonstanciées étaient d'autant plus nécessaires que le médecin de la CNA avait estimé, dans son rapport précédent du 23 mai 2016, que "l'évolution n'[était] pas du tout favorable" justement en raison de cette allodynie importante et persistante après la dernière intervention chirurgicale. Par ailleurs, on ne saurait, comme l'a fait la cour cantonale, écarter sans autre l'avis du docteur H._, dont les considérations sur la prescription d'une médication antalgique différente selon que l'assuré est mis en situation de travail ou non et ses conséquences n'apparaissent pas a priori dénuées de fondement. Ces considérations étaient au contraire de nature à justifier des investigations complémentaires.
Par conséquent, on doit admettre avec l'assuré que, tel qu'il est motivé, le rapport médical final du docteur E._ n'emporte pas la conviction s'agissant de l'évaluation de la capacité de travail. Sur ce point, il convient d'annuler le jugement attaqué et de renvoyer la cause à la CNA pour qu'elle mette en oeuvre une expertise (au sens de l'<ref-law>) et rende une nouvelle décision sur le droit à la rente.
4.2. Il en va en revanche différemment en ce qui concerne l'appréciation séparée de ce même médecin relative au taux de l'atteinte à l'intégrité. Dans cette appréciation, celui-ci a retenu, en considération de l'importante allodynie du pouce et de la commissure entre le pouce et le majeur, un taux équivalent à celui prévu en cas d'amputation du pouce et de l'index (figure 19 de la table d'indemnisation 3 "Atteinte à l'intégrité résultant de la perte d'un ou plusieurs segments des membres supérieurs"). Comme l'a pertinemment relevé la cour cantonale, on ne voit pas que l'état de la main gauche de l'assuré justifie une indemnisation allant au-delà de ce taux, puisqu'il correspond à une atteinte complète du pouce et de l'index. A cet égard, le recours de l'assuré est mal fondé et le jugement entrepris doit être confirmé.
4.3. Il s'ensuit que le recours de l'assuré doit être partiellement admis dans le sens exposé plus haut (cf. consid. 4.1 supra). Dès lors que la cause est renvoyée à la CNA qui devra rendre une nouvelle décision sur le droit à la rente sur la base du résultat de l'instruction complémentaire, il n'y a pas lieu d'examiner son recours, qui porte sur la manière dont la cour cantonale a fixé le revenu d'invalide et qui est ainsi sans objet.
5.
Vu l'issue du litige, les frais judiciaires seront répartis entre la CNA et l'assuré à raison de trois quarts pour la première et d'un quart pour le second (<ref-law>). En outre, l'assuré a droit à des dépens réduits (<ref-law>). Il n'y a pas lieu de modifier les dépens de l'instance cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 8C_697/2019 et 8C_698/2019 sont jointes.
2.
Le recours de A._ dans la cause 8C_697/2019 est partiellement admis. Le chiffre II du dispositif du jugement de la Cour des assurances sociales du Tribunal cantonal vaudois du 3 septembre 2019 est réformé en ce sens que la décision sur opposition du 23 mai 2018 est annulée en tant qu'elle refuse le droit à une rente d'invalidité, la cause étant renvoyée à la CNA pour complément d'instruction et nouvelle décision sur ce point. Le recours est rejeté pour le surplus.
3.
Le recours de la CNA dans la cause 8C_698/2019 est sans objet.
4.
Les frais judiciaires, arrêtés globalement à 1600 fr., sont mis pour 400 fr. à la charge de l'assuré et pour 1200 fr. à la charge de la CNA.
5.
La CNA versera à A._ la somme de 2100 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
6.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 9 novembre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl