Faits :
A.
A.a. A._ travaillait comme conseiller en assurances pour le compte de l'Agence B._. A ce titre, il était obligatoirement assuré contre le risque d'accidents auprès de Phenix Assurances (ci-après: Phenix). Il bénéficiait également auprès de cet assureur d'une assurance perte de gain en cas de maladie.
Le 20 janvier 2004, A._ a été blessé à la main droite par la turbine d'une fraiseuse à neige. Il avait lâché la poignée de sécurité et tentait de déboucher la turbine avec un bout de bois quand sa main a glissé et touché la turbine qui a effectué un tour de rotation. Il en est résulté une plaie complexe au 3 ème, 4 èmeet 5 ème doigt avec une fracture ouverte de la main droite. A._ a été opéré le jour même à l'Hôpital C._. Phenix a pris en charge le cas.
L'assuré a repris son travail à 100 % le 11 avril 2005 tout en poursuivant un traitement de rééducation. Phenix a alors arrêté le versement des indemnités journalières à cette date. Dès le mois d'août 2005, A._ a commencé à se plaindre de douleurs à l'épaule droite. Il a subi une arthro-IRM le 24 avril 2006, qui a montré un examen dans les limites de la norme. En novembre 2006, Phenix a mandaté le docteur D._ pour effectuer le bilan définitif des séquelles de l'assuré. Ce médecin a conclu que la situation était stabilisée et évalué l'atteinte à l'intégrité à 8 %.
Sur cette base, Phenix a informé A._ qu'en ce qui concernait les suites de l'accident du 20 janvier 2004, elle mettait fin à la prise en charge du traitement médical au 16 novembre 2006 et lui allouait une indemnité pour atteinte à l'intégrité fondée sur un taux de 8 % (décision du 29 novembre 2006). L'assuré a formé opposition en concluant à l'octroi d'une indemnité d'un taux de 15 %. La procédure a été suspendue à sa demande pour lui permettre de produire une expertise. Le 12 juin 2007, A._ a requis la reprise de la procédure. Phenix n'a toutefois pas rendu de décision sur opposition.
A.b. Au mois de février 2008, A._ a annoncé une rechute de l'accident du 20 janvier 2004 sous la forme de névralgies cervico-crâniennes droites entraînant une incapacité de travail depuis le 21 janvier 2008. Par lettre du 26 février 2008, Phenix a informé l'employeur de l'assuré qu'elle allait intervenir provisoirement au titre de la LAA, même s'il n'était pas établi à ce stade qu'il s'agissait d'une suite de l'accident initial, vu qu'elle couvrait également l'intéressé en cas de perte de gain pour maladie. Elle a versé des indemnités journalières du 28 janvier 2008 au 31 mai 2011. Entre-temps, elle a mandaté le docteur D._ qui a évoqué un état migraineux et nié l'existence d'un rapport de causalité entre cet état, respectivement les plaintes cervico-crâniennes, et l'accident à la main droite, étant donné la nature de la lésion initiale qui avait touché les doigts, la date d'apparition des douleurs (plus d'une année après l'accident) et la normalité des examens effectués. Ce médecin ne voyait pas de substrat organique à ces douleurs (rapport du 24 avril 2008). L'assuré a contesté l'arrêt des prestations de Phenix en se référant à l'avis de son médecin traitant, le docteur E._, pour lequel les douleurs avaient une origine neurogène en lien avec l'accident du 20 janvier 2004.
Le 30 mai 2013, Solida Assurances SA (qui a repris le portefeuille LAA de la Phenix; ci-après: Solida) a rendu une décision par laquelle elle a nié devoir allouer des prestations LAA à raison des troubles annoncés 2008, motif pris de l'absence d'un lien de causalité avec l'événement assuré initial du 20 janvier 2004. Dans une nouvelle décision du 3 février 2014, Solida a rejeté l'opposition que l'assuré avait formée à l'époque contre la décision du 29 novembre 2006 rendue par Phenix, ainsi que celle dont elle avait été saisie contre sa décision du 30 mai 2013.
B.
Par jugement du 9 mars 2015, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 3 février 2014.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants.
Solida conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit :
1.
En tant que le recourant entend également obtenir, par sa conclusion de renvoi, l'examen de son droit éventuel à une rente d'invalidité LAA dès le 11 avril 2005, il est forclos. Ce n'est en effet que dans le contexte de sa déclaration de rechute en février 2008 qu'il a fait valoir pour la première fois une diminution de rendement liée à ses séquel-les à la main droite depuis sa reprise du travail le 11 avril 2005, qui avait justifié l'arrêt du versement des indemnités journalières par Phenix à cette date. Faute pour le recourant d'avoir manifesté son désaccord sur ce point une année après la cessation de ces prestations (cf. ATF 134 V 145 consid. 5 p. 149), voire au plus tard dans son opposition à la décision du 29 novembre 2006, la reconnaissance de sa pleine capacité de travail à partir du 11 avril 2005 a acquis force de chose décidée, de sorte que l'octroi d'une rente avec effet à cette date ne saurait entrer en ligne de compte.
2.
Lorsque sont en jeu des prestations en espèces et en nature, comme c'est le cas ici, le Tribunal fédéral dispose d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (arrêt 8C_584/2009 du 2 juillet 2010 consid. 4, in SVR 2011 UV n° 1 p. 2 s.)
3.
Aux termes de l'art. 99 al. 1 LTF, aucun fait nouveau ni aucune preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. Le rapport du docteur F._ du 26 février 2016 que le recourant a produit en instance fédérale n'a pas été versé à la procédure cantonale. Ce document ne sera donc pas pris en considération par la Cour de céans.
4.
4.1. Les juges cantonaux ont considéré qu'il était douteux que Phenix ait admis son obligation de prester en tant qu'assureur-accidents pour les troubles et l'incapacité de travail annoncés comme rechute, étant donné les réserves qu'elle avait formulées quant à sa responsabilité dans sa lettre du 26 février 2008. En tout état de cause, ils ont retenu que Solida était fondée à refuser toute prestation à ce titre au vu des pièces médicales au dossier, en particulier du rapport du docteur D._ (du 24 avril 2008) auquel ils ont accordé pleine valeur probante. Ce médecin avait expliqué de manière convaincante et motivée les raisons pour lesquelles l'hypothèse d'un lien de causalité entre les cervico-brachialgies droites apparues au cours de l'année 2005 et l'accident du 20 janvier 2004 n'était pas vraisemblable. L'absence d'un trouble d'origine neurologique à ces douleurs, contrairement à ce qu'affirmaient les docteurs E._ et G._ (également médecin traitant de l'assuré), était d'ailleurs une conclusion partagée par plusieurs autres médecins. En particulier par le docteur H._, auquel le docteur I._ - chargé de réaliser une expertise pluridisciplinaire dans le cadre de la demande de prestations de l'assuré à l'assurance-invalidité - avait confié un consilium neurologique (cf. rapport du 1 er mars 2010), de même que par la doctoresse J._ (cf. rapport du 8 juin 2009). Enfin, les médecins traitants G._ et E._ reconnaissaient qu'aucune lésion somatique n'avait pu être mise en évidence malgré les investigations médicales entreprises (cf. leurs rapports respectifs des 17 et 20 juin 2013).
4.2. Le recourant fait valoir que Phenix avait reconnu sa responsabilité pour la rechute qu'il avait annoncée en 2008 en versant ses prestations de janvier 2008 à mai 2011. Les décomptes de prestations établis par cet assureur faisaient clairement référence à la LAA. Dans ces conditions, il lui appartenait, pour justifier leur arrêt à la date déterminante, de démontrer que les troubles pris en charge à titre de rechute de l'accident du 20 janvier 2004 n'étaient plus en relation de causalité naturelle et adéquate avec cet événement, autrement dit que le statu quo ante ou sine avait été atteint au 31 mai 2011. Or, l'instruction médicale ne permettait pas de fonder une suppression des prestations à ce titre. Tous les rapports médicaux cités par les juges cantonaux étaient antérieurs à cette suppression. C'était également à tort que ceux-ci avaient estimé qu'il n'y avait aucun élément susceptible de mettre en doute le rapport du docteur D._. Une expertise s'imposait.
5.
5.1. Selon une jurisprudence constante, l'assureur-accidents a la possibilité de mettre fin avec effet ex nunc et pro futuro à son obligation d'allouer des prestations, qu'il avait initialement reconnue en versant des indemnités journalières et en prenant en charge les frais de traitement, sans devoir se fonder sur un motif de révocation (reconsidération ou révision procédurale). Ainsi, il peut liquider le cas en invoquant le fait que selon une appréciation correcte de l'état de fait, un événement assuré n'est jamais survenu, ou que l'existence d'un lien de causalité doit être niée (ATF 130 V 380 consid. 2.3.1 p. 384). Il faut bien sûr réserver l'éventualité dans laquelle l'assureur-accidents réclame les prestations allouées (cf. ATF 133 V 57 consid. 6.8 p. 65; arrêt 8C_3/2010 du 4 août 2010 consid. 4.1).
5.2. En l'occurrence, on se trouve justement en présence d'une décision par laquelle Solida confirme la suppression, avec effet ex nunc et pro futuro à partir du 1 er juin 2011, des prestations allouées précédemment par Phenix à titre de rechute sans en réclamer la restitution. Contrairement à ce que voudrait le recourant, Solida n'est pas liée dans ce contexte par le fait que Phenix a pris en charge les frais médicaux et versés des indemnités journalières du 21 janvier 2008 au 31 mai 2011 et il n'y pas non plus de renversement du fardeau de la preuve en ce qui concerne le lien de causalité.
5.3. Cela étant, à l'instar des juges cantonaux, on ne voit pas de raison de s'écarter du rapport du docteur D._. Le seul fait qu'il a effectué son examen en 2008 n'enlève rien à la pertinence de ses conclusions puisque les douleurs de l'assuré sont restées inchangées depuis lors. En outre, en se bornant à affirmer qu'un traumatisme tel que celui subi par le recourant peut engendrer des douleurs cervico-brachiales persistantes de type névralgique même si elles ne sont pas objectivables, les avis des médecins traitants ne permettent pas d'établir au degré de la vraisemblance prépondérante que ces douleurs ont une relation de causalité avec l'accident initial à la main. En droit des assurances sociales, il n'existe pas un principe selon lequel l'administration ou le juge devrait statuer, dans le doute, en faveur de l'assuré. Le défaut de preuve va au détriment de la partie qui entendait tirer un droit du fait non prouvé (ATF 126 V 322 consid. 5a et la référence). Par conséquent, l'intimée était fondée à nier l'octroi de prestations pour la rechute annoncée en février 2008. Une expertise n'est pas nécessaire.
6.
Enfin, le recourant semble également vouloir obtenir une indemnité pour atteinte à l'intégrité supérieure à 8 %. Dans son recours toutefois, il ne développe aucune argumentation à cet égard. Le grief, non motivé, ne satisfait pas aux exigences de motivation de l'art. 42 al. 2 LTF, de sorte qu'il n'y a pas lieu de l'examiner plus avant.
7.
Il s'ensuit que le recours doit être rejeté.
Le recourant, qui succombe, supportera les frais judiciaires et ses propres dépens (art. 66 al. 1 et art. 68 al. 1 LTF). L'intimée n'a pas droit aux dépens qu'elle prétend (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du Valais et à l'Office fédéral de la santé publique.
Lucerne, le 22 mars 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl