Faits :
A.
A._, né en 1973, travaille au service de B._. A ce titre, il est obligatoirement assuré contre le risque d'accidents professionnels et non professionnels auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 16 janvier 2013, après 23 h, il a chuté du balcon d'un appartement situé au troisième étage d'un immeuble, d'une hauteur d'environ six à neuf mètres. Il a subi un polytraumatisme sévère avec des fractures multiples et un traumatisme cranio-cérébral. L'incapacité de travail était totale. A partir du 16 septembre 2013, l'assuré a retrouvé une capacité de travail de 50 %, puis de 100 % à partir du 1 er octobre 2013.
Dans le questionnaire à l'intention de l'assurance-accidents rempli le 5 février 2013, l'assuré a indiqué comme cause et circonstances de l'accident " Indéterminée? Perte d'équilibre! ". Entendu le 14 mars 2013 par le gestionnaire de dossier de la CNA, il a déclaré ne pas connaître les raisons de sa chute et expliqué qu'il était seul sur le balcon lorsqu'il est tombé. Il ne pouvait rien dire de plus, si ce n'est qu'il se trouvait sous l'influence de l'alcool et qu'il ne s'agissait pas d'une tentative de suicide.
Selon le rapport de police du 14 mai 2013, les agents de police dépêchés sur place la nuit où l'accident s'est produit ont découvert A._, blessé, étendu sur le sol. Au vu de son état et des soins urgents en cours, il n'a pas pu être questionné immédiatement. Les agents ont pu interroger la personne habitant l'appartement du balcon duquel l'assuré avait chuté, à savoir C._. Celle-ci a déclaré que l'intéressé se trouvait en visite privée chez elle avec une autre personne. A un moment donné, il s'était retrouvé seul sur le balcon, peut-être pour fumer une cigarette et, pour une raison qu'elle ignorait, il avait chuté.
Interrogée par le gestionnaire de dossier le 12 juin 2013, C._ a indiqué que le soir des faits, elle travaillait au café D._ situé au rez-de-chaussée de son immeuble, que E._ était présente et qu'à son arrivée au café, A._ avait demandé à cette dernière à pouvoir lui parler dans un endroit plus tranquille. C._ leur avait alors proposé de se rendre dans son appartement situé au-dessus de l'établissement, au 3ème étage. A la fin de son service, elle les avait rejoints et avait voulu leur offrir un verre mais avait eu le sentiment que A._ était contrarié par sa présence. Rapidement, ce dernier avait annoncé qu'il partait. Il s'était levé et après un bref instant, elle s'était rendue compte qu'il n'avait pas pris la direction de la porte d'entrée mais était passé par la cuisine. Lorsqu'elle s'y était elle-même rendue, elle s'était aperçue qu'il avait pris le chemin du balcon où elle l'avait trouvé suspendu à l'extérieur, les deux pieds dans le vide (des photos du balcon indiquant la position des mains du recourant sous la partie supérieure de la rembarde étaient annexées au rapport de la CNA). Avec E._, elle avait essayé en vain de le hisser mais il était tombé sur la terrasse du café.
Au cours d'un nouvel entretien avec le gestionnaire de dossier du 4 juillet 2013, l'assuré a déclaré qu'il ne pouvait pas contester les circonstances de l'accident décrites par C._ dès lors qu'il ne gardait aucun souvenir précis de ce dernier. Il demeurait incapable d'expliquer comment il s'était retrouvé suspendu à l'extérieur du balcon avec les deux pieds dans le vide, ni les raisons l'ayant poussé à le faire. Il ne se rappelait même pas que C._ était venue les rejoindre dans l'appartement. Il a toutefois admis avoir été sous l'influence de l'alcool le soir des faits mais certainement pas au point de n'avoir pas conscience de ses actes parce qu'il se souvenait avoir bu en compagnie de E._ une bouteille de F._ et deux ou trois bières avant d'arriver sur les lieux. Il a expliqué qu'il avait voulu s'entretenir avec cette dernière du club de cynophile et qu'il n'y avait pas eu de conflit à ce sujet.
Par décision du 30 juillet 2013, confirmée sur opposition le 10 octobre 2013, la CNA a réduit ses prestations en espèces de 50 % en raison du caractère téméraire de l'entreprise à l'origine de l'accident.
B.
L'assuré ayant formé un recours contre cette décision, la Cour des assurances sociales du Tribunal cantonal du Valais l'a rejeté par jugement du 21 mars 2014.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Il conclut à l'annulation de la décision sur opposition de la CNA du 10 octobre 2013 et à la constatation qu'il n'existe aucun motif justifiant une réduction des prestations de l'assurance-accidents, le tout sous suite de frais et dépens.
La CNA a conclu au rejet du recours. L'office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
La question est de savoir si l'intimée était en droit de réduire ses prestations en espèces de moitié au titre d'une entreprise téméraire. Compte tenu de l'objet du litige, le Tribunal fédéral n'est pas lié par les faits constatés en instance cantonale (art. 97 al. 2 et 105 al. 3 LTF).
2.
2.1. L'<ref-law> habilite le Conseil fédéral à désigner les dangers extraordinaires et les entreprises téméraires qui motivent dans l'assurance des accidents non professionnels le refus de toutes les prestations ou la réduction des prestations en espèces. La réglementation des cas de refus ou de réduction peut déroger à l'art. 21 al. 1 à 3 LPGA (RS 830.1).
Fondé sur cette norme de délégation de compétence, l'<ref-law> (RS 832.202) prévoit qu'en cas d'accidents non professionnels dus à une entreprise téméraire, les prestations en espèces sont réduites de moitié; elles sont refusées dans les cas particulièrement graves (al. 1); les entreprises téméraires sont celles par lesquelles l'assuré s'expose à un danger particulièrement grave sans prendre de mesures destinées à ramener celui-ci à des proportions raisonnables ou sans pouvoir prendre de telles mesures; toutefois, le sauvetage d'une personne est couvert par l'assurance même s'il peut être considéré comme une entreprise téméraire (al. 2).
2.2. La jurisprudence qualifie d'entreprises téméraires absolues celles qui, indépendamment de l'instruction, de la préparation, de l'équipement et des aptitudes de l'assuré, comportent des risques particulièrement importants, même si elles sont pratiquées dans les conditions les moins défavorables. Il en va de même des activités risquées dont la pratique ne répond à aucun intérêt digne de protection (<ref-ruling> consid. 3.1 p. 524; SVR 2007 UV n° 4 p. 10 [U 122/06] consid. 2.1). Tel est le cas, par exemple, de la participation à une course automobile de côte ou en circuit (<ref-ruling>; <ref-ruling>), à une compétition de motocross (RAMA 1991 n° U 127 p. 221 [U 5/90]), à un combat de boxe ou de boxe thaï (RAMA 2005 n° U 552 p. 306 [U 336/04]), ou encore, faute de tout intérêt digne de protection, de l'action de briser un verre en le serrant dans sa main (SVR 2007 UV n° 4 p. 10 [U 122/06] consid. 2.1).
2.3. D'autres activités non dénuées d'intérêt comportent des risques élevés, qui peuvent être limités, toutefois, à un niveau admissible si l'assuré remplit certaines exigences sur le plan des aptitudes personnelles, du caractère et de la préparation. A défaut, l'activité est qualifiée de téméraire et l'assurance-accidents est en droit de réduire ses prestations conformément aux <ref-law> et 50 OLAA. On parle dans ce cas d'une entreprise téméraire relative, en ce sens que le refus ou la réduction des prestations dépend du point de savoir si l'assuré était apte à l'exercer et a pris les précautions nécessaires pour limiter les risques à un niveau admissible (<ref-ruling> consid. 3.1 p. 524). Peuvent constituer des entreprises téméraires relatives le canyoning (<ref-ruling>), la plongée, y compris la plongée spéléologique dans une source (<ref-ruling>), l'alpinisme et la varappe (<ref-ruling>, 86), ou encore le vol delta (<ref-ruling>). Selon le degré de difficulté et le niveau de risque dans un cas particulier, il n'est pas exclu de qualifier l'une ou l'autre de ces activités d'entreprise téméraire absolue (cf. SVR 2007 UV n° 4 p. 10 [U 122/06] consid. 2.2).
3.
3.1. Les circonstances de la chute n'ont pas été clairement établies. Le recourant n'a gardé aucun souvenir des événements du 16 janvier 2013. Quant à C._ et E._ qui ont tenté de hisser le recourant alors qu'il était suspendu à la balustrade du balcon avec les deux pieds dans le vide, elles n'ont pas vu comment ce dernier s'était retrouvé dans cette position. L'intervention d'un tiers ayant été exclue après enquête, les premiers juges ont retenu que le recourant avait forcément dû franchir par lui-même la rambarde de sécurité du balcon dès lors qu'il n'était pas plausible, ni d'ailleurs possible, contrairement à ce qu'il soutenait, qu'il ait basculé par-dessus la balustrade à la suite d'un bref malaise, vu la hauteur de celle-ci. En outre, à supposer qu'il ait perdu conscience, même un bref instant, on ne voyait pas comment le recourant aurait pu se raccrocher au parapet, juste en-dessous de la partie supérieure de la rambarde, comme C._ avait déclaré l'avoir retrouvé. Les premiers juges ont encore relevé que sous l'angle de la responsabilité, il n'apparaissait pas que le recourant eût été privé de sa capacité de discernement. Il avait déclaré ne pas avoir été alcoolisé au point de ne plus savoir ce qu'il faisait ce soir-là et avait même prétendu, pour la première fois dans la réplique, ne pas avoir été sous l'emprise de l'alcool au moment de l'accident.
3.2. Le recourant fait valoir qu'il appartenait à l'intimée d'apporter la preuve de la réalisation d'une entreprise téméraire et d'en supporter les conséquences en cas d'absence de preuve. Or, selon le recourant, personne n'avait été en mesure de fournir des renseignements sur le déroulement exact des faits, de sorte qu'il eût parfaitement pu être victime d'un malaise à l'origine de sa chute alors qu'il était appuyé sur la rambarde du balcon. En retenant qu'il avait forcément franchi consciemment la rambarde de sécurité dès lors que celle-ci était suffisamment haute pour empêcher tout basculement involontaire, les premiers juges avaient fait une constatation arbitraire des faits.
3.3. En l'espèce, bien que le recourant ne se souvienne plus du déroulement des faits au moment de l'accident - probablement en raison d'une amnésie post-traumatique consécutive au traumatisme cranio-cérébral dont il a été victime - il a déclaré ne pas avoir été alcoolisé au point de ne plus savoir ce qu'il faisait ce soir-là. Il est par ailleurs établi qu'il a été retrouvé suspendu au parapet du balcon avec les deux pieds dans le vide juste avant de chuter. Cette circonstance plaide en défaveur d'un état d'inconscience au moment des faits. L'hypothèse selon laquelle il aurait eu un bref malaise en s'appuyant sur la rambarde du balcon, le faisant basculer dans le vide avant qu'il ne se raccroche au parapet, apparaît dès lors peu ou pas vraisemblable. Quoi qu'il en soit, pour admettre une telle éventualité, il aurait fallu, comme l'ont justement relevé les premiers juges, que le recourant fût déjà dans une position dangereuse, à savoir largement penché par-dessus la balustrade du balcon. En excluant toute perte de conscience du recourant avant la chute, on ne peut que conclure, en se conformant à la règle du degré de vraisemblance prépondérante appliquée généralement à l'appréciation des preuves dans l'assurance sociale (<ref-ruling> consid. 3.1 p. 181), que ce dernier a délibérément franchi la balustrade du balcon, s'exposant ainsi à un danger particulièrement important, de sorte que la chute est la conséquence d'un comportement téméraire. L'intimée était fondée à réduire ses prestations en espèces de 50 %.
4.
Il suit de là que le recours est mal fondé. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 27 avril 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin