Faits :
A.
A.a. A._, né en 1975, travaillait depuis le 1er juillet 2016 en qualité d'ouvrier étancheur auprès de l'entreprise B._ SA. A ce titre, il était assuré obligatoirement contre le risque d'accident et de maladie professionnelle auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Par courrier du 31 juillet 2017, son assurance perte de gain maladie (Avenir Assurance Maladie SA) a informé la CNA d'une incapacité de travail de l'assuré depuis le 1er mai 2017 et d'une suspicion de maladie professionnelle en rapport avec l'exposition chronique aux solvants organiques employés sur son lieu de travail. Dans un rapport du 5 juillet 2017 de l'Institut C._, le docteur D._, chef de clinique et spécialiste FMH en médecine du travail, a posé les diagnostics de céphalées chroniques d'origine indéterminée et de possible encéphalopathie chronique toxique liée à une exposition professionnelle aux solvants organiques.
A.b. Se fondant sur les avis du docteur E._, spécialiste en médecine du travail ainsi qu'en médecine interne générale et médecin à la division de médecine du travail de la CNA, des 11 et 16 octobre 2017 et 27 août 2018, la CNA a rendu le 5 septembre 2018 une décision, confirmée sur opposition le 25 octobre suivant, par laquelle elle a refusé d'allouer les prestations d'assurance sollicitées. Elle a considéré qu'il n'était pas prouvé que les troubles déclarés par l'assuré aient été causés exclusivement ou de manière nettement prépondérante par l'exercice de son activité professionnelle (<ref-law>).
B.
Saisie d'un recours de l'assuré, la Cour des assurances sociales du Tribunal cantonal du canton du Valais l'a rejeté par jugement du 7 novembre 2019.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens que le droit à des prestations d'assurance-accidents, en particulier la prise en charge des frais de traitements et le droit à des indemnités journalières, soit reconnu et que la CNA soit condamnée à examiner et à allouer toutes autres prestations, notamment une indemnité pour atteinte à l'intégrité ainsi qu'une rente d'invalidité.
L'intimée conclut au rejet du recours, en tant qu'il est recevable. La cour cantonale et l'Office fédéral de la santé publique renoncent à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en niant le droit du recourant à des prestations de l'assurance-accidents au titre d'une maladie professionnelle.
La procédure portant sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et art. 105 al. 3 LTF).
3.
3.1. Les prestations d'assurance sont en principe allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle (<ref-law>).
3.1.1. Selon l'<ref-law>, sont réputées maladies professionnelles les maladies (<ref-law> [RS 830.1]) dues exclusivement ou de manière prépondérante, dans l'exercice de l'activité professionnelle, à des substances nocives ou à certains travaux; le Conseil fédéral établit la liste de ces substances ainsi que celle de ces travaux et des affections qu'ils provoquent. Se fondant sur cette délégation de compétence - à laquelle renvoie l'<ref-law> -, le Conseil fédéral a dressé à l'annexe I de l'OLAA la liste des substances nocives, d'une part, et la liste de certaines affections, ainsi que des travaux qui les provoquent, d'autres part. Ces substances et travaux, ainsi que les affections dues à ceux-ci, sont énumérés de manière exhaustive (arrêt 8C_757/2018 du 28 mars 2019 consid. 4.2 et la référence).
Selon la jurisprudence, l'exigence d'une relation prépondérante requise par l'<ref-law> est réalisée lorsque la maladie est due pour plus de 50 % à l'action d'une substance nocive mentionnée à l'annexe 1 de l'OLAA (<ref-ruling> consid. 4.1 p. 425 et les références).
3.1.2. Sont aussi réputées maladies professionnelles les autres maladies dont il est prouvé qu'elles ont été causées exclusivement ou de manière nettement prépondérante par l'exercice de l'activité professionnelle (<ref-law>). La condition d'un lien exclusif ou nettement prépondérant n'est réalisée que si la maladie a été causée à 75 % au moins par l'exercice de l'activité professionnelle (<ref-ruling> consid. 2b p. 186; <ref-ruling> consid. 2b p. 201 et la référence). Cela signifie, pour certaines affections qui ne sont pas typiques d'une profession déterminée, que les cas d'atteinte pour un groupe professionnel particulier doivent être quatre fois plus nombreux que ceux que compte la population en général (<ref-ruling> consid. 5c p. 143; RAMA 2000 n° U 408 p. 407, U 235/99, consid. 1a; arrêt 8C_73/2017 du 6 juillet 2017 consid. 2.2, publié in: SVR 2017 UV n° 46 p. 158).
3.2. Pour constater l'existence d'une atteinte à la santé en lien avec l'exercice d'une activité professionnelle, le juge doit se fonder sur des rapports médicaux auxquels on peut attribuer un caractère probant suffisant selon la jurisprudence (cf. <ref-ruling> consid. 3.2 p. 195; <ref-ruling> consid. 3a p. 352).
3.2.1. L'élément déterminant pour la valeur probante d'un rapport médical n'est ni son origine, ni sa désignation comme rapport ou comme expertise, mais bien son contenu. A cet égard, il importe que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> précité consid. 3a p. 352).
3.2.2. Selon la jurisprudence, il découle du principe de l'égalité des armes, tiré du droit à un procès équitable garanti par l'art. 6 par. 1 CEDH, que l'assuré a le droit de mettre en doute avec ses propres moyens de preuve la fiabilité et la pertinence des constatations médicales effectuées par un médecin interne à l'assurance. Le fait, tiré de l'expérience de la vie, qu'en raison du lien de confiance (inhérent au mandat thérapeutique) qui l'unit à son patient, le médecin traitant est généralement enclin à prendre parti pour celui-ci (<ref-ruling> consid. 4.5 p. 470; <ref-ruling> consid. 3a/cc p. 353 et les références) ne libère pas le juge de son devoir d'apprécier correctement les preuves, ce qui suppose de prendre également en considération les rapports versés par l'assuré à la procédure. Le juge doit alors examiner si ceux-ci mettent en doute, même de façon minime, la fiabilité et la pertinence des constatations des médecins internes à l'assurance. Lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis motivé d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis. Il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'<ref-law> ou une expertise judiciaire (<ref-ruling> consid. 4.5 p. 470 et consid. 4.6 p. 471).
4.
4.1. La cour cantonale a considéré en résumé que les rapports des médecins consultés par le recourant n'étaient pas de nature à remettre en cause le bien-fondé des conclusions du docteur E._. En particulier, le rapport du docteur D._, sur lequel s'appuyaient les deux médecins traitants, n'avait pas pu retenir avec certitude le diagnostic d'encéphalopathie toxique, qu'il avait uniquement qualifié de "possible". Faisant siennes les conclusions des rapports médicaux du docteur E._, la juridiction cantonale a ensuite constaté que le recourant ne présentait pas une maladie spécifique, mais un ensemble de symptômes désagréables, voire incapacitants. Elle a ainsi considéré que la symptomatologie présentée par le recourant n'était pas spécifique à une intoxication, qu'elle pouvait au contraire accompagner toutes sortes d'affections et des pathologies habituelles, que les céphalées chroniques étaient fréquentes dans la population, que les troubles cognitifs présentés par l'assuré étaient discrets et qu'ils pouvaient également être expliqués par son niveau scolaire ainsi que par d'autres facteurs psychosociaux, notamment le tabagisme et la consommation alcoolique à risque. La cour cantonale a conclu qu'en l'absence d'indices probants, il n'était pas possible de démontrer l'origine essentiellement professionnelle (à plus de 50 %) de l'atteinte à la santé.
4.2. Contestant la valeur probante des rapports du docteur E._ et se prévalant des rapports du docteur D._ du 5 juillet 2017, du docteur F._, spécialiste FMH en neurologie, du 28 juillet 2017 et du 1er juin 2018, ainsi que du docteur G._, spécialiste FMH en médecine interne générale, du 25 février 2018, le recourant reproche à la cour d'avoir établi les faits de manière inexacte en constatant que le diagnostic d'encéphalopathie n'était pas établi. Dès lors qu'il aurait été exposé aux résines époxy ainsi qu'aux xylènes, soit des substances qui figurent expressément dans l'Annexe 1 OLAA, il y aurait lieu de faire application de l'<ref-law> et non de l'<ref-law>, contrairement à l'appréciation du docteur E._. Aussi, une relation de causalité prépondérante aurait été établie par les médecins qui l'ont examiné. Au demeurant, le recourant reproche à la cour cantonale d'avoir violé la maxime inquisitoire (art. 61 let. c LPGA), soutenant que la mise en oeuvre d'une expertise médicale se serait imposée au vu des avis médicaux contradictoires.
4.3. En l'occurrence, il est établi que le recourant a été exposé dans le cadre de son activité professionnelle aux résines époxy et aux xylènes qui figurent sur la liste des substances nocives au sens de l'<ref-law> établie selon l'<ref-law> (cf. annexe I de l'OLAA). C'est donc à raison que la cour cantonale a examiné le cas en application de l'<ref-law>.
4.3.1. S'agissant des cinq rapports du docteur E._, dont les deux derniers ont été établis en cours de procédure cantonale, il est douteux qu'ils remplissent les conditions posées par la jurisprudence pour se voir reconnaître pleine valeur probante (cf. consid. 3.2 supra). En effet, même si ce spécialiste a correctement exposé l'anamnèse professionnelle de l'assuré en relevant qu'une exposition aux solvants et aux résines époxy était mentionnée dans le rapport de l'Institut C._ du 5 juillet 2017, il semble néanmoins remettre en doute les déclarations de l'assuré faites lors de son examen à l'Institut C._ selon lesquelles des moyens de protection (par exemple des masques respiratoires avec cartouches) n'étaient que rarement utilisés. En concluant de manière apodictique à l'impossibilité de retenir une relation de causalité nettement prépondérante au sens de l'<ref-law> entre l'exposition professionnelle et les troubles présentés par l'assuré, le docteur E._ omet de considérer qu'en présence d'exposition à des substances nocives énumérées dans la liste à l'annexe I de l'OLAA, telles que résines époxy et xylènes, il convient d'appliquer l'<ref-law>, nonobstant la question de savoir si des mesures de protection ont été prises. Ce point pourra néanmoins être considéré lorsqu'il s'agit d'examiner concrètement si, et le cas échéant dans quelle mesure, les troubles sont dus, dans l'exercice de l'activité professionnelle, à des substances nocives.
4.3.2. Quant au résultat, le jugement cantonal n'apparaît pas critiquable. En effet, l'appréciation des autres rapports médicaux versés au dossier ne permet pas de considérer que la symptomatologie présentée par le recourant, en particulier les céphalées chroniques, serait due exclusivement ou de manière prépondérante - soit pour plus de 50 % (cf. consid. 3.1.1 supra) - aux substances nocives auxquelles il a été exposé durant ses activités professionnelles:
Dans son rapport du 5 juillet 2017 le docteur D._ a évoqué une "possible encéphalopathie chronique toxique liée à une exposition professionnelle aux solvants organiques". Ce diagnostic hypothétique n'a pas pu être confirmé, dès lors qu'un des deux tests recommandés dans le dépistage ou le suivi d'encéphalopathie toxique liée à l'exposition chronique aux solvants organiques était normal (test de Farnsworth) et que l'autre (le questionnaire Euroquest de dépistage de symptômes neurotoxiques) retrouvait des scores altérés principalement sur les symptômes centraux. Le spécialiste en médecine du travail a donc proposé de faire un bilan neuropsychologique. Après avoir effectué ces examens à la Clinique romande de réadaptation (CRR), lesquels ont mis en évidence des troubles modérés de la mémoire, des difficultés attentionnelles et exécutives ainsi qu'un ralentissement, le docteur D._ a revu le recourant en consultation et a indiqué dans son rapport du 12 octobre 2017 que les troubles neuropsychologiques "pourraient être compatibles avec une possible encéphalopathie toxique". Dans un rapport du 15 mai 2018, il a encore relativisé cette hypothèse en indiquant qu'il avait "effectivement évoqué la possibilité d'une encéphalopathie chronique liée aux solvants organiques" et qu'ensuite du bilan neuropsychologique, il ne pouvait pas "exclure un lien entre les symptômes présentés par le recourant et ses expositions professionnelles". S'agissant des rapports des docteurs F._ et G._ cités plus haut (cf. consid. 4.2 supra), le recourant ne saurait en tirer un avantage, puisque dans leur motivation ces médecins s'appuient explicitement sur l'appréciation du docteur D._.
4.4. Dans ces conditions, c'est à juste titre que la cour cantonale a considéré que l'exigence d'une relation prépondérante n'était pas réalisée et que l'administration de preuves supplémentaires sous la forme d'une expertise médicale ne pourrait rien changer à ce constat (cf. <ref-ruling> consid. 6.5 p. 368 s. sur l'appréciation anticipée des preuves).
5.
Il résulte de ce qui précède que le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 18 novembre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu