Faits :
A.
A.a. A._ travaille comme aide à l'atelier pour B._ SA et est à ce titre assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA). Le 26 avril 2019, son employeur a fait parvenir à cette dernière une déclaration indiquant que le 21 avril 2019, l'assuré avait été victime d'une agression dans laquelle avaient été impliqués lui-même, son ex-épouse et le nouveau conjoint de celle-ci. Selon le rapport de consultation aux urgences de l'hôpital C._ du 21 avril 2019, l'assuré a subi de multiples contusions à l'épaule, à l'omoplate et au poignet gauches ainsi qu'au coccyx. Il a été en incapacité de travail totale depuis lors.
A.b. Il ressort des pièces de la procédure pénale ouverte à la suite de la plainte de A._ que le jour en question, après l'exercice de son droit de visite et accompagné de sa compagne D._, il était venu ramener les enfants à son ex-épouse. Il avait garé sa voiture au bas de l'immeuble, sur son ancienne place de parc, désormais utilisée par son ex-épouse. Après avoir mis les enfants dans l'ascenseur, il était ressorti de l'immeuble et avait alors fumé une cigarette en compagnie de E._, concierge de l'immeuble.
Selon la version des faits de A._, il avait entendu la fenêtre de l'appartement de son ex-épouse s'ouvrir et F._, le compagnon de celle-ci, crier qu'il était garé sur leur place de parc. Il lui avait rétorqué qu'il fumait sa cigarette et allait s'en aller. Constatant que F._ était énervé et l'insultait, il avait alors déplacé sa voiture pour éviter d'envenimer la situation. F._ avait alors surgi du bâtiment, l'avait traité notamment de "connard" et de "fils de pute" et l'avait bousculé. E._ avait voulu s'interposer, mais A._ l'avait retenu en se mettant entre lui et F._. D._ s'en était aussi mêlée en enjoignant à F._ de cesser ses insultes. Alors que A._ se trouvait face à E._ pour le calmer et dos à F._, ce dernier lui avait asséné un coup de pied à l'arrière de la cuisse gauche. Ensuite, alors que son amie était à nouveau intervenue verbalement et qu'il s'était interposé entre elle et F._, ce dernier lui avait porté deux nouveaux coups de pied dans le genou gauche, puis trois à quatre violents coups sur le haut du dos.
E._ et D._ ont confirmé pour l'essentiel la version de A._, à savoir que celui-ci s'était interposé entre eux-mêmes et F._ et que ce faisant, il avait reçu des coups de pied et de "matraque" de son antagoniste.
Par ordonnance pénale du 2 août 2019, F._ a été reconnu coupable de lésions corporelles simples, voies de fait et injures sur la base de l'état de fait suivant: "Le 21 avril 2019, à G._, pour de futiles motifs, une dispute verbale a éclaté entre E._ et F._. Ce dernier a frappé A._, qui tentait de les séparer, à l'aide d'un objet contondant et à coups de pied (...) ".
La procédure pénale ouverte contre A._, sur plainte de F._, pour injures et menaces a été classée le 18 mars 2020.
A.c. Par décision du 13 mai 2020, la CNA a réduit de 50 % l'indemnité journalière due à l'assuré en raison de son incapacité de travail, au motif qu'il avait été blessé dans un accident non professionnel survenu lors d'une bagarre. L'assuré s'étant opposé à cette décision, la CNA l'a confirmée par décision sur opposition du 28 octobre 2020; elle a retenu que l'assuré devait se rendre compte au vu de l'attitude de F._ que la situation allait dégénérer et qu'il s'était par son comportement inscrit dans une logique de bagarre, placé dans une zone de danger et exposé au risque d'être blessé.
B.
Par jugement du 18 juin 2021, la Cour des assurances sociales du Tribunal cantonal valaisan a rejeté le recours formé par l'assuré contre la décision sur opposition du 28 octobre 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation ainsi qu'à celle de la décision sur opposition du 28 octobre 2020. L'intimée, la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en confirmant la décision de l'intimée de réduire de 50 % les prestations en espèces dues au recourant ensuite de l'accident du 21 avril 2019.
2.2. S'agissant d'une procédure concernant l'octroi de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (art. 97 al. 2 et 105 al. 3 LTF).
3.
3.1. Aux termes de l'<ref-law>, le Conseil fédéral peut désigner les dangers extraordinaires et les entreprises téméraires qui motivent dans l'assurance des accidents non professionnels le refus de toutes les prestations ou la réduction des prestations en espèces; la réglementation des cas de refus ou de réduction peut déroger à l'art. 21, al. 1 à 3, LPGA. Fondé sur cette délégation de compétences, l'<ref-law> (RS 832.202) dispose que les prestations en espèces sont réduites au moins de moitié en cas d'accident non professionnel survenu dans les circonstances suivantes: participation à une rixe ou à une bagarre, à moins que l'assuré ait été blessé par les protagonistes alors qu'il ne prenait aucune part à la rixe ou à la bagarre ou qu'il venait en aide à une personne sans défense (let. a); dangers auxquels l'assuré s'expose en provoquant gravement autrui (let. b); participation à des désordres (let. c).
3.2. Selon la jurisprudence du Tribunal fédéral et de l'ancien Tribunal fédéral des assurances, la notion de rixe dans l'assurance-accidents est plus large que celle de l'<ref-law>, même si elle en revêt les principales caractéristiques objectives (cf. <ref-ruling> consid. 3a; arrêt 5C.72/1994 du 13 mars 1995 consid. 3d; AUFDENBLATTEN, Die Beteiligung am Raufhandel, thèse Berne 1955, p. 52 ss). Par rixe ou bagarre, il faut entendre une querelle violente accompagnée de coups ou une mêlée de gens qui se battent (<ref-ruling> consid. 2a). Il y a participation à une rixe ou à une bagarre, au sens de l'<ref-law>, non seulement quand l'intéressé prend part à de véritables actes de violence, mais déjà s'il s'est engagé dans l'altercation qui les a éventuellement précédés et qui, considérée dans son ensemble, recèle le risque qu'on pourrait en venir à des actes de violence (<ref-ruling> consid. 2a; <ref-ruling> consid. 1). Il s'agit d'éviter de pénaliser la communauté des assurés par la prise en charge collective de frais inhérents à la couverture d'un risque jugé indésirable (ATF <ref-ruling> consid. 1). Il importe peu que l'assuré ait effectivement pris part activement aux faits ou qu'il ait ou non commis une faute, mais il faut au moins qu'il se soit rendu compte ou ait pu se rendre compte du danger (ATF <ref-ruling> consid. 1; arrêt 8C_193/2019 du 1er octobre 2019 consid. 3.1, publié in SVR 2020 UV n°12 p. 43; arrêt 8C_932/2012 du 22 mars 2013 consid. 2 et les arrêts cités).
3.3. Par ailleurs, il doit exister un lien de causalité entre le comportement de la personne assurée et le dommage survenu. Si l'attitude de l'assuré - qui doit être qualifiée de participation à une rixe ou à une bagarre - n'apparaît pas comme une cause essentielle de l'accident, l'assureur-accidents n'est pas autorisé à réduire ses prestations d'assurance. Il faut que le comportement à sanctionner soit propre, selon le cours ordinaire des choses et l'expérience générale de la vie, à provoquer une atteinte à la santé du genre de celle qui s'est produite (<ref-ruling> consid. 4.5.1.2; arrêt 8C_932/2012 du 22 mars 2013 consid. 2 et les arrêts cités; arrêts du Tribunal fédéral des assurances U 325/05 du 5 janvier 2006, consid. 1.2 non publié à l'<ref-ruling> mais in SVR 2006 UV n° 13 p. 45, et U 106/92 du 15 décembre 1994 consid. 6a; voir aussi arrêts 8C_702/2017 du 17 septembre 2018 consid. 3.2, publié in SVR 2019 UV n° 16 p. 58; 8C_600/2017 du 26 mars 2018 consid. 3 et les arrêts cités).
4.
4.1. En l'espèce, la cour cantonale a constaté qu'il résultait des déclarations concordantes qu'initialement, la confrontation avait éclaté entre E._ et F._, puis, la compagne du recourant s'en étant mêlée, entre celle-ci et F._. Les deux fois, le recourant avait admis s'être interposé entre les protagonistes, tournant le dos à F._ pour calmer E._ d'abord, puis pour tempérer sa compagne ensuite. On ne pouvait dès lors pas suivre la thèse du recourant selon laquelle il serait intervenu pour "faire barrage de son corps" afin de protéger les siens. Tant E._ que D._ avaient démontré par leur réaction, à tout le moins verbale, à l'égard de F._ qu'ils n'étaient pas des personnes sans défense. En s'interposant physiquement entre F._ et E._ d'abord, puis en intervenant dans l'échange d'invectives entre F._ et sa compagne, le recourant s'était délibérément placé dans la zone de danger exclue par l'assurance-accidents. En outre, le recourant avait constaté dès le début de la scène, alors que F._ était encore à sa fenêtre, que ce dernier se montrait belliqueux et prêt à en découdre. C'était la raison pour laquelle il avait choisi dans un premier temps de déplacer sa voiture et de quitter rapidement les lieux, pour selon ses propres termes "éviter d'envenimer la situation". Il devait dès lors se rendre compte qu'il risquait une réaction violente de la part de F._. En s'attardant pour terminer sa cigarette, puis s'immiscer dans la confrontation entre F._ et E._, le recourant avait délibérément pris le risque que les choses dégénèrent à son désavantage jusqu'à être agressé physiquement. Il existait dès lors indéniablement un lien de causalité entre son comportement et les lésions qu'il avait subies, de sorte que l'intimée était fondée à réduire ses prestations en application de l'<ref-law>.
4.2. Le recourant reproche aux juges cantonaux d'avoir mal apprécié les faits et violé l'<ref-law> en considérant que son comportement devait être considéré comme une cause essentielle des lésions subies. Il fait valoir que, comme la juridiction cantonale l'a elle-même retenu en fait, lorsqu'il a reçu les coups de son agresseur, il ne faisait pas face à ce dernier, mais lui tournait le dos, d'abord pour calmer E._ puis pour tempérer sa compagne. Il n'avait donc pas participé à une bagarre ou à une rixe et son attitude ne pouvait pas apparaître comme propre à provoquer l'atteinte à la santé qu'il avait subie.
4.3. Ces griefs se révèlent fondés. En effet, au regard des faits tels qu'ils résultent du dossier et tels que la cour cantonale les a elle-même constatés, l'attitude du recourant ne peut pas être qualifiée de participation à une rixe ou à une bagarre, même au sens large défini par la jurisprudence en matière d'assurance-accidents. En effet, seule une agression verbale de la part de F._ à l'encontre de E._ avait précédé les premiers coups portés par F._ alors que le recourant lui tournait le dos pour calmer E._. On ne saurait dès lors retenir que le recourant se serait engagé dans une altercation dont il aurait dû prévoir qu'on pourrait en venir à des actes de violence. Au surplus, le comportement du recourant, qui s'est fait agresser alors qu'il tentait de tempérer E._ puis sa compagne et qu'il tournait le dos à son agresseur, n'apparaissait pas propre, selon le cours ordinaire des choses et l'expérience générale de la vie, à provoquer une atteinte à la santé du genre de celle qu'il a subie. Une réduction des prestations selon l'<ref-law> ne se justifiait donc pas en l'espèce.
5.
Il résulte de ce qui précède que le recours doit être admis. L'intimée, qui succombe, supportera les frais judiciaires (<ref-law>) et versera au recourant une indemnité à titre de dépens (art. 68 al. 1 et 2 LTF). La cause sera renvoyée à l'autorité précédente pour nouvelle décision sur les dépens de la procédure antérieure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le jugement du Tribunal cantonal du Valais, Cour des assurances sociales, du 18 juin 2021 et la décision sur opposition de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) du 28 octobre 2020 sont annulés.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du Valais, Cour des assurances sociales, pour nouvelle décision sur les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 9 décembre 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu