Faits :
A.
A._ travaillait comme technicien de service pour le compte de B._ AG. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Par déclaration d'accident du 15 août 2013, son employeur a annoncé à la CNA que le 13 juillet 2013, le prénommé avait été victime d'une agression physique par une tierce personne sur la route, au cours de laquelle il avait subi une luxation de l'épaule droite. Les premiers soins avaient été donnés à l'Hôpital C._. Le docteur D._, spécialiste FMH en médecine interne, a attesté une incapacité de travail totale depuis le 15 juillet 2013. La CNA a pris en charge les frais de traitement.
Par ordonnance pénale du 11 mars 2014, le procureur du canton de U._ a reconnu E._ coupable de violation simple des règles de la circulation routière et de lésions corporelles simples à l'encontre de A._ en raison de cette agression. Cette ordonnance n'a pas été contestée. L'assuré a pour sa part contesté l'ordonnance pénale du 11 mars 2014 le reconnaissant coupable de violation simple des règles de la circulation routière et de voies de fait. Le 6 mai 2014, il a été acquitté de ces deux chefs d'accusation. S'agissant des voies de fait, le juge a constaté qu'il n'était pas exclu que le prévenu se fût contenté de se défendre.
Par décision du 9 juillet 2015, confirmée sur opposition le 4 novembre 2015, la CNA a réduit les prestations en espèces auxquelles avait droit l'assuré de 50 %, au motif que celui-ci avait été impliqué dans une bagarre.
B.
Par jugement du 21 juin 2016, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a rejeté le recours dont elle avait été saisie par A._ contre la décision sur opposition de la CNA.
C.
A._ interjette un recours en matière de droit public. Il conclut à l'annulation du jugement, implicitement à sa réforme, en ce sens qu'il a droit à des prestations en espèces pleines et entières, sans aucune réduction.
La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte sur le bien-fondé de la réduction des prestations en espèces opérée par la CNA en application de l'<ref-law>, de sorte que le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et 105 al. 3 LTF).
2.
Édicté par le Conseil fédéral en vertu de la délégation de compétence de l'<ref-law>, l'<ref-law> [RS 832.202] dispose que les prestations en espèces sont réduites au moins de moitié en cas d'accident non professionnel survenu notamment en cas de participation à une rixe ou à une bagarre, à moins que l'assuré ait été blessé par les protagonistes alors qu'il ne prenait aucune part à la rixe ou à la bagarre ou qu'il venait en aide à une personne sans défense (let. a), ou encore lors de dangers auxquels l'assuré s'expose en provoquant gravement autrui (let. b). Il y a lieu de rappeler que la notion de participation à une rixe ou à une bagarre est plus large que celle de l'<ref-law>. Pour admettre l'existence d'une telle participation, il suffit que l'assuré entre dans la zone de danger, notamment en participant à une dispute. Peu importe qu'il ait effectivement pris part activement aux faits ou qu'il ait ou non commis une faute: il faut au moins qu'il se soit rendu compte ou ait pu se rendre compte du danger. En outre, il doit exister un lien de causalité entre le comportement de la personne assurée et le dommage survenu. Si l'attitude de l'assuré - qui doit être qualifiée de participation à une rixe ou à une bagarre - n'apparaît pas comme une cause essentielle de l'accident ou si la provocation n'est pas de nature, selon le cours ordinaire des choses et l'expérience de la vie, à entraîner la réaction de violence, l'assureur-accidents n'est pas autorisé à réduire ses prestations d'assurance. Il convient de déterminer rétrospectivement, en partant du résultat qui s'est produit, si et dans quelle mesure l'attitude de l'assuré apparaît comme une cause essentielle de l'accident (<ref-ruling> consid. 4.5.1.2 p. 320; arrêt 8C_153/2016 du 13 décembre 2016 consid. 2).
3.
Se fondant sur l'ordonnance pénale du 11 mars 2014 condamnant E._, la juridiction cantonale a retenu que l'assuré avait accéléré lorsque le motocycliste était en train de le dépasser, obligeant ce dernier à accélérer encore plus afin d'achever son dépassement. Après avoir demandé au recourant de s'arrêter, le motard l'avait suivi sur un petit chemin agricole en impasse. Arrivés au bout de celui-ci, une altercation s'était produite entre les deux protagonistes, au cours de laquelle ils s'étaient assénés plusieurs coups de poing. Si le recourant n'avait pas été condamné à l'issue de la procédure pénale, c'était au bénéfice du doute. Il avait cependant admis avoir klaxonné le motard après sa manoeuvre de dépassement pour lui montrer son mécontentement. En outre, alors qu'il était attendu à un mariage au centre du village de V._, l'assuré avait pris la décision de ne pas s'y arrêter mais de poursuivre sa route. Selon ses déclarations, il avait dû se décider très rapidement, sans connaître la région et avait estimé préférable de ne pas conduire le motard sur les lieux où se déroulait le mariage "ceci pour éviter que la situation ne puisse dégénérer". Selon les premiers juges, le recourant était dès lors bien conscient que la situation pouvait se détériorer. Il était pourtant sorti de son véhicule, au fond d'une impasse déserte, pensant que le motard s'était calmé et que la situation s'était apaisée. Or, il se trouvait en présence d'une personne qui avait manifesté son mécontentement de façon claire, qui - toujours selon les déclarations de l'assuré - lui avait reproché d'avoir voulu le tuer, avait essayé de l'arrêter sur la route et l'avait suivi en tentant de donner des coups de pieds dans la portière de sa voiture. Cela étant, il n'était pas vraisemblable que le motard se fût "apaisé". L'attitude du motocycliste décrite par le recourant tendait au contraire à démontrer une irascibilité croissante. La juridiction cantonale a conclu que dans ces circonstances, le recourant s'était mis dans la zone de danger exclue par l'assurance-accidents.
4.
Le recourant s'oppose au raisonnement de la juridiction cantonale. Selon lui, cela reviendrait à exiger d'un assuré pris à partie par un tiers devenu irascible, même à la suite d'actes ou d'un comportement aucunement répréhensibles de la part de l'assuré, que ce dernier prenne la fuite ou toute autre mesure pour éviter la moindre confrontation, sous peine de voir réduire ses prestations de moitié en cas de dommage. Il fait valoir que le fait de s'engager sur un chemin en impasse était totalement involontaire et dû à la méconnaissance de la région. D'autre part, il n'était pas dans le cours ordinaire des choses et l'expérience de la vie qu'un motocycliste se faisant klaxonner et "gentiment remettre à l'ordre" adopte une attitude irascible menant à une volonté d'en découdre sur le plan physique. En outre, à supposer que sa réaction n'eût pas été des plus judicieuses a posteriori, celle-ci relevait davantage d'une erreur d'appréciation qui ne pouvait nullement être assimilée à une forme d'exposition à un risque exclu de la couverture d'assurance.
5.
Sur la base des faits retenus par les premiers juges, qui ne sont au demeurant pas contestés et qui reposent essentiellement sur les déclarations du recourant, il y a lieu de constater qu'en raison du comportement agressif, voire menaçant du motard qui le poursuivait, le recourant a toutefois décidé de ne pas s'arrêter dans le village de V._ où il était attendu à un mariage. Cela tend à démontrer qu'avant même l'altercation proprement dite, le recourant avait déjà eu conscience du risque que la situation présentait un danger pour lui. Aussi, en sortant de son véhicule sur un chemin menant à une impasse après le déroulement des faits précités, le recourant pouvait s'attendre, selon le cours ordinaire des choses et l'expérience de la vie, à une réaction violente du motard. C'est précisément par ce comportement, alors qu'il aurait pu faire demi-tour, que le recourant s'est mis dans la zone de danger exclue par l'assurance. D'autre part, même s'il ne voulait pas s'arrêter à l'endroit où devait se dérouler la cérémonie pour éviter un esclandre en présence des personnes invitées à la fête, le recourant aurait certainement pu s'arrêter dans un autre endroit fréquenté, de manière à dissuader son poursuivant de le frapper. Au vu de ce qui précède, on doit admettre, à l'instar des premiers juges, que l'agression dont a été victime le recourant s'est produite alors que ce dernier a eu un comportement tombant sous le coup de l'<ref-law>. Par conséquent, l'assureur-accidents pouvait réduire ses prestations en espèces de moitié.
C'est un vain que le recourant se prévaut de divers précédents pour tenter de fait échec à l'application de l'<ref-law> dans sa situation. En particulier, son cas n'est pas comparable aux circonstances ayant donné lieu à l'arrêt 8C_341/2013 du 15 avril 2014. Dans cette affaire, un assuré qui se promenait avec son chien avait reçu une "claque sur l'oreille" - et son chien un coup de pied dans le flanc - de la part d'un motocycliste à qui il avait fait une remarque en relation avec la vitesse à laquelle roulait ce dernier ("C'est 20 km/h ici"). Assénant un coup de laisse sur le casque du motocycliste pour se défendre, l'assuré avait reçu un coup de pied à la main gauche, dont il était résulté une fracture de son petit doigt. Dans ce cas, le Tribunal fédéral a jugé que l'assuré avait agi dans un mouvement défensif et non pas par un acte susceptibles d'alimenter la bagarre. Ce mouvement réflexe de défense ne constituait pas la cause essentielle de l'atteinte subie.
6.
Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
7.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 1er juin 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin