Faits :
A.
A._ a été engagé en qualité de monteur en échafaudages par B._ SA à compter du 1 er janvier 2010. A ce titre, il était assuré obligatoirement contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 16 juillet 2015, alors qu'il était occupé à protéger les échafaudages en fixant des attaches autour des barres, l'assuré a subi une entorse du ligament collatéral cubital de l'articulation métacarpo-phalangienne de l'index droit. L'accident n'a pas entraîné d'interruption de travail et la CNA a pris en charge les frais de traitement. Le 24 avril 2017, l'employeur a annoncé une rechute depuis le mois de février précédent - moment de la reprise des consultations médicales - indiquant que l'employé avait toujours des douleurs depuis sa blessure. Une IRM, pratiquée le 28 février 2017, a conclu à une déchirure partielle subtotale de l'enthèse proximale sur la face ulnaire de la tête du deuxième métacarpien. En l'absence d'incapacité de travail, la CNA a de nouveau pris en charge le traitement médical.
En raison de la persistance des douleurs malgré un traitement antiphlogistique et une infiltration, le médecin traitant de l'assuré, le docteur C._, spécialiste en chirurgie de la main, a préconisé une intervention chirurgicale exploratoire (arthrotomie et révision de l'articulation métacarpo-phalangienne), à laquelle l'assuré s'est soumis le 20 décembre 2017. L'intervention n'a pas permis de mettre en évidence de lésion à suturer, de tissu inflammatoire, cicatriciel ou d'autre élément permettant d'expliquer la symptomatologie (cf. rapport opératoire du 20 décembre 2017 et rapport du praticien du 8 février 2018). L'assuré a été en incapacité de reprendre le travail depuis l'opération.
L'assuré a bénéficié de nouvelles infiltrations et s'est soumis à une seconde IRM de la main droite, pratiquée le 14 août 2018, laquelle n'a pas mis en évidence de lésions particulières, si ce n'est un "placard tissulo-fibreux rétractile discrètement inflammatoire".
Sur indication du médecin d'arrondissement de la CNA, l'assuré a séjourné à la clinique romande de réadaptation (CRR) du 29 octobre au 1 er novembre 2018 pour une évaluation interdisciplinaire. Dans leur rapport du 2 novembre 2018, les médecins de la CRR ont conclu à un bon pronostic de retour dans le monde du travail, rappelant qu'aucun médecin consulté n'avait trouvé de lésion anatomique susceptible d'expliquer les douleurs et que la médecine n'avait plus de traitement spécifique à proposer.
Par décision du 20 novembre 2018, la CNA a mis fin aux prestations d'assurance avec effet au 1 er décembre 2018, motif pris que la situation était stabilisée sur le plan médical, que l'accident du 16 juillet 2015 n'avait plus d'influence sur la persistance des douleurs et que l'assuré disposait d'une pleine capacité de travail dans son activité professionnelle habituelle. Saisie d'une opposition, elle l'a rejetée par décision du 4 février 2019, considérant que les plaintes ne pouvaient pas s'expliquer sur le plan organique et qu'un lien de causalité adéquate avec l'accident du 16 juillet 2015 faisait défaut.
B.
L'assuré a déféré la décision sur opposition à la Cour des assurances sociales du Tribunal cantonal du Valais. En cours de procédure, il a produit, dans le but de démontrer l'existence d'une lésion objectivable à l'origine de ses douleurs, un rapport de scintigraphie osseuse de la main droite du docteur D._, spécialiste en médecine nucléaire et en radiologie, du 19 avril 2019, un rapport de la doctoresse E._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur ainsi qu'en chirurgie de la main, du 30 avril 2019, ainsi qu'un rapport du docteur F._, spécialiste en chirurgie plastique, reconstructive et esthétique, du 4 juin 2019. La CNA a produit une prise de position de la doctoresse G._, spécialiste en chirurgie générale et traumatologie au sein du centre de compétence de médecine des assurances de la CNA, du 25 juin 2019.
Par jugement du 9 juin 2021, la cour cantonale a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre ce jugement, dont il demande principalement la réforme dans le sens de la reprise des prestations d'assurance. A titre subsidiaire, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'instance cantonale pour complément d'instruction dans le sens des considérants.
L'intimée conclut au rejet du recours. La cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le droit éventuel du recourant à des prestations de l'assurance-accidents au-delà du 30 novembre 2018, singulièrement sur le point de savoir si la cour cantonale a violé le droit fédéral en considérant que l'existence d'une lésion organique n'était pas établie et que le lien de causalité adéquate entre l'accident et les troubles du recourant n'était pas donné.
2.2. Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF). Aussi, lorsque sont en jeu des prestations en espèces et en nature, comme c'est le cas ici, le Tribunal fédéral dispose-t-il d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (arrêt 8C_445/2021 du 14 janvier 2022).
3.
3.1. Selon la jurisprudence constante, le juge des assurances sociales apprécie la légalité des décisions attaquées d'après l'état de fait existant au moment où la décision litigieuse a été rendue; les faits survenus postérieurement et ayant modifié cette situation doivent en principe faire l'objet d'une nouvelle décision administrative (<ref-ruling> consid. 4.3.1; <ref-ruling> consid. 1b). Le juge des assurances sociales doit cependant prendre en compte les faits survenus postérieurement dans la mesure où ils sont étroitement liés à l'objet du litige et de nature à influencer l'appréciation au moment où la décision attaquée a été rendue; en particulier, même s'il a été rendu postérieurement à la date déterminante, un rapport médical doit être pris en considération s'il a trait à la situation antérieure à cette date (<ref-ruling> consid. 3a in fine et les arrêts cités).
3.2. Selon le principe de la libre appréciation des preuves, le juge apprécie librement les preuves médicales qu'il a recueillies, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. Le juge doit examiner objectivement tous les documents à disposition, quelle que soit leur provenance, puis décider s'ils permettent de porter un jugement valable sur le droit litigieux. S'il existe des avis contradictoires, il ne peut pas trancher l'affaire sans indiquer les raisons pour lesquelles il se fonde sur une opinion plutôt qu'une autre. En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant, c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3a; <ref-ruling> consid. 1c et les références).
3.3. Le droit à des prestations de l'assurance-accidents suppose notamment l'existence d'un lien de causalité adéquate entre l'accident et l'atteinte à la santé. La causalité est adéquate si, d'après le cours ordinaire des choses et l'expérience de la vie, le fait considéré était propre à entraîner un effet du genre de celui qui s'est produit, la survenance de ce résultat paraissant de façon générale favorisée par une telle circonstance (<ref-ruling> consid. 3.2). En droit des assurances sociales, la causalité adéquate en tant que limitation légale de la responsabilité de l'assureur-accidents résultant de la causalité naturelle ne joue pratiquement pas de rôle dans le domaine des troubles accidentels organiques, puisqu'ici la causalité adéquate se recoupe en grande partie avec la causalité naturelle (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2.1). Il en va différemment en présence de troubles qui sont en relation de causalité naturelle avec l'accident, mais qui ne reposent pas sur un déficit organique objectivable (<ref-ruling> précité). En pareil cas, l'examen de la causalité adéquate se fait selon des règles particulières en fonction de la gravité de l'accident et du type de lésion (ATF <ref-ruling> précité; <ref-ruling> consid. 4.4.1; <ref-ruling> consid. 5).
4.
4.1. Se fondant sur le rapport de la doctoresse G._ du 25 juin 2019, auquel elle a reconnu une pleine valeur probante contrairement aux rapports des docteurs E._ et F._ des 30 avril et 4 juin 2019, la cour cantonale a retenu que la présence d'un fragment osseux ou d'une calcification n'était pas établie au degré de la vraisemblance prépondérante. Aussi, en l'absence de troubles objectivables d'un point de vue organique, l'intimée avait à juste titre examiné l'existence d'un lien de causalité adéquate entre les plaintes invoquées par le recourant au-delà du 30 novembre 2018 et l'événement du 16 juillet 2015 sur la base de la jurisprudence en matière de troubles psychiques. Sur ce point, les premiers juges ont considéré qu'aucun des critères jurisprudentiels (cf. ATF <ref-ruling> consid. 4.4.1) n'était réalisé.
4.2. Dans son recours, le recourant soulève de nombreux arguments portant sur des questions diverses. Il en ressort en particulier qu'il se plaint de mesures d'investigation incomplètes et du fait que les premiers juges ont remis en cause l'existence du fragment osseux sur la base de l'avis émis par la doctoresse G._.
5.
5.1. En l'occurrence, on se trouve en présence d'avis médicaux divergents, exprimés d'une part par les docteurs E._ et D._, ainsi que par le docteur F._ (lequel se rallie en grande partie aux conclusions des médecins précités), et d'autre part par la doctoresse G._.
5.1.1. Ainsi, dans son rapport du 30 avril 2019, la doctoresse E._ indique que le recourant a pris contact avec elle en raison de douleurs chroniques au niveau de sa main droite à la suite de l'accident de 2015; vu qu'il avait été multi-investigué, elle a demandé un SPECT-CT-scan, effectué le 19 avril 2019, où l'on constate - en référence aux conclusions du docteur D._ dans son rapport de scintigraphie osseuse du 19 avril 2019 - un fragment osseux d'environ 4 mm sur le versant ulnaire de la tête du deuxième métacarpien avec une hypercaptation en miroir, témoin d'un conflit à ce niveau. La spécialiste propose de pratiquer un débridement avec restitution du ligament collatéral radial si nécessaire.
5.1.2. De son côté, le docteur F._ indique avoir revu le recourant le 23 mai 2019 (étant précisé qu'il l'avait examiné en octobre 2018, où il avait procédé à une quatrième et dernière infiltration). A son avis, l'image radiologique résultant de la scintigraphie osseuse du 19 avril 2019 est compatible avec un fragment osseux sur le versant ulnaire de la tête du deuxième métacarpien, site des douleurs perpétuelles du patient. Il ajoute ne pas pouvoir exclure formellement que la découverte radiologique pourrait être le signe de dépôt de Diprophos effectué lors de la dernière consultation. Cependant, "après relecture par le docteur D._ du service de radiologie", celui-ci suspecte fortement la présence d'un fragment osseux. Dans ces conditions, le docteur F._ estime qu'une dernière révision chirurgicale devrait être effectuée rapidement, avec une évolution d'une durée maximale de deux à trois mois pour finaliser et clore le cas. Ladite révision chirurgicale permettra selon lui d'exclure toutes causes mécaniques post-traumatiques avant de finaliser ou d'accepter la présence des douleurs séquellaires.
5.1.3. Quant à la doctoresse G._, elle relève que rien n'a pu être objectivé lors des iconographies de février 2017 et août 2018, ainsi que lors de l'exploration chirurgicale de décembre 2017, de sorte qu'elle peine à retenir la présence d'un fragment osseux. S'agissant de l'éventuelle présence d'une calcification, elle la considère comme tout à fait plausible puisque le produit injecté (Diprophos) peut effectivement être à l'origine d'une calcification et puisqu'il peut également se développer une calcification à la suite d'une inflammation chronique. Néanmoins, avant l'IRM d'août 2018, le recourant avait déjà subi trois infiltrations et lors de cette imagerie aucun hypersignal laissant suspecter une calcification n'avait été objectivé. Partant, la présence d'une calcification serait tout au plus possible. Quoi qu'il en soit, celle-ci ne serait pas à l'origine de la symptomatologie douloureuse puisque celle-ci a toujours été présente depuis 2015 avec des rémissions, puis depuis l'intervention de décembre 2017. La doctoresse G._ se dit par ailleurs surprise que la doctoresse E._ puisse prétendre que la découverte radiologique en avril 2019, à quatre ans de l'accident, pourrait être à l'origine de la symptomatologie et propose une intervention, alors que le recourant a déjà subi une exploration chirurgicale qui s'est révélée blanche et que l'opération se fera sur un tissu cicatriciel, avec toutes les complications que cela peut impliquer. Elle relève que dans le rapport de la doctoresse E._ du 30 avril 2019, il n'y a aucun examen clinique décrit et que le conflit semble seulement avoir été constaté radiologiquement. C'est aussi avec étonnement qu'elle apprend que le docteur F._ est prêt à opérer le recourant simplement sur une trouvaille radiologique, alors qu'en octobre 2018, il considérait qu'il n'y avait pas d'indication chirurgicale. En conclusion, la doctoresse G._ préconise de poursuivre un traitement conservateur à l'aide d'ondes de choc, de séances d'ultrason antalgique et éventuellement de needling, en précisant que ce traitement a pour but une antalgie et une éventuelle dissolution de la calcification mais ne remet pas en cause la stabilisation de l'état de santé et la reprise d'une activité professionnelle adaptée en novembre 2018.
5.2. Face à ces conclusions divergentes, et a priori vérifiables, il apparaît difficile de les départager sans ordonner une instruction complémentaire. Premièrement, on ne saurait remettre en cause des constatations radiologiques, encore moins lorsqu'elles émanent de spécialistes en radiologie, du seul fait que le rapport y relatif ne repose pas sur une anamnèse complète ou sur un examen clinique de l'assuré. En outre, même si le rapport de la doctoresse G._ remplit les exigences formelles en matière de valeur probante, encore faut-il que, sur le fond, les conclusions emportent la conviction. Or cette spécialiste écarte la présence d'un fragment osseux, contre l'avis du radiologue, sur le seul fait qu'il n'avait pas été mis en évidence par les imageries précédentes ou lors de l'intervention de décembre 2017. Les images réalisées en février 2017 et août 2018 résultent cependant de techniques différentes par rapport à l'examen d'avril 2019 (imagerie par résonance magnétique pour les premières et scintigraphie osseuse avec SPECT-CT pour la dernière). Il semble en outre quelque peu péremptoire d'affirmer que s'il existait, le fragment osseux aurait été observé lors de l'intervention de décembre 2017 sans même interpeller le docteur C._ à ce propos. Quoi qu'il en soit, même à admettre l'absence de fragment osseux dans les suites immédiates de l'accident et jusqu'à l'exploration chirurgicale de décembre 2017, cela ne permet pas encore d'exclure une telle découverte en avril 2019. Autre est la question de savoir si le fragment osseux (éventuel) pourrait être imputé à l'accident de 2015 et constituer la source des douleurs du recourant. Quant au fait qu'une calcification, considérée par la médecin de la CNA comme "tout à fait plausible" puis "tout au plus possible", ne serait pas à l'origine des douleurs du recourant parce que celles-ci étaient préexistantes à la dernière infiltration pratiquée en octobre 2018, il n'est pas non plus convaincant. En effet, la présence d'une symptomatologie douloureuse antérieure à cette ultime infiltration ne signifie pas que la calcification évoquée ne jouerait aucun rôle dans les plaintes actuelles du recourant et qu'elle n'aurait pas contribué à l'exacerbation des douleurs, d'autant moins que la doctoresse G._ préconise un traitement antalgique à cet égard.
5.3. A cela s'ajoute qu'à la lecture de la dernière écriture du recourant en procédure cantonale, celui-ci semble s'être soumis à l'opération préconisée par les docteurs E._ et F._ vers la fin du mois de juillet 2019. Les premiers juges n'ont toutefois pas requis le rapport opératoire, ni de plus amples informations à ce sujet. Or, compte tenu de la motivation du jugement attaqué, l'existence ou non d'une lésion objectivable apparaissait déterminante. En définitive, la cause n'est manifestement pas en l'état d'être tranchée. Il existe en l'espèce trop d'éléments incertains (présence ou non du fragment osseux ou d'une calcification au regard de la dernière opération du recourant, le cas échéant examen du lien de causalité naturelle avec l'accident et des éventuelles limitations fonctionnelles consécutives). Comme il appartient en premier lieu à l'assureur-accidents de procéder à des instructions complémentaires pour établir d'office l'ensemble des faits déterminants (<ref-law>; <ref-ruling> consid. 5; arrêt 8C_445/2021 du 14 janvier 2022 consid. 4.4), la cause sera renvoyée à l'intimée pour qu'elle complète l'instruction sur les points susmentionnés, puis rende une nouvelle décision sur le droit du recourant à des prestations d'assurance au-delà du 30 novembre 2018. Dans cette mesure, le recours se révèle bien fondé.
6.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF (<ref-ruling> consid. 7; <ref-ruling> consid. 7.1). Par conséquent, l'intimée, qui succombe, supportera les frais judiciaires (<ref-law>). Elle versera par ailleurs une indemnité de dépens au recourant (art. 68 al. 1 et 2 LTF). Enfin, la cause sera renvoyée à l'autorité précédente pour nouvelle décision sur les dépens de la procédure cantonale de recours (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal du Valais du 9 juin 2021 et la décision sur opposition de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) du 4 février 2019 sont annulés. La cause est renvoyée à cette dernière pour instruction complémentaire et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée à la Cour des assurances sociales du Tribunal cantonal du Valais pour nouvelle décision sur les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du Valais et à l'Office fédéral de la santé publique.
Lucerne, le 11 février 2022
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Wirthlin
La Greffière : Castella