Faits :
A.
A._ travaillait depuis le 9 janvier 2012 à plein temps en qualité d'électricien au service de B._ SA. A ce titre, il était assuré contre les accidents professionnels et non professionnels auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Par déclaration de sinistre LAA du 27 juin 2012, l'assuré a indiqué qu'il avait été victime d'un accident professionnel le 25 juin 2012 et décrit en ces termes le déroulement de l'accident: "un fil électrique en tournant m'a blessé l'oeil". L'assuré a consulté l'hôpital ophtalmique C._. Les diagnostics de débris au canthus interne et de blépharite ont été posés. Le traitement consistait en un rinçage, un traitement antibiotique et une hydratation de l'oeil. La CNA a pris en charge le cas.
Le 19 mars 2013, l'assuré a informé la CNA que suite à son accident, il avait toujours des problèmes au niveau de son oeil gauche et qu'il consultait le docteur D._, spécialiste FMH en ophtalmologie. Dans un rapport du 12 février 2015, ce dernier a posé le diagnostic de probable érosion cornéenne gauche suite à l'accident du 25 juin 2012. Sous la rubrique "Evolution", il a notamment indiqué: "pas d'érosion constatée objectivement". La CNA a demandé l'avis de la doctoresse E._, spécialiste FMH en ophtalmologie et ophtalmochirurgie rattachée auprès de sa division médecine des assurances. Dans un rapport du 17 mars 2015, celle-ci a indiqué que l'on ne pouvait envisager de maladie à caractère récidivant en l'espèce puisqu'il n'y avait pas d'érosion de la cornée, mais uniquement une irritation provoquée par des particules étrangères. La problématique oculaire de l'assuré était en revanche attribuable, selon la doctoresse, à la blépharite, soit une inflammation chronique au bord des paupières. Par conséquent, il n'y avait pas de lien de causalité entre les troubles de l'assuré, constitutifs de la rechute déclarée, et l'événement accidentel initial.
Par décision du 2 juin 2015, confirmée sur opposition le 4 septembre 2015, la CNA a refusé d'allouer des prestations pour les troubles oculaires ayant fait l'objet d'un traitement chez le docteur D._.
B.
Par arrêt du 4 février 2016, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours interjeté par l'assuré contre la décision sur opposition.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à ce que la CNA prenne en charge ses frais de traitement médical consécutifs à l'accident du 25 juin 2012. Il sollicite en outre le bénéfice de l'assistance judiciaire gratuite.
D.
Par ordonnance du 21 juillet 2016, le Tribunal fédéral a rejeté la demande d'assistance judiciaire, au motif que les conclusions du recours paraissaient vouées à l'échec.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le droit du recourant à la prise en charge du traitement médical dispensé par le docteur D._ à partir du mois de mars 2013.
Lorsque, comme en l'espèce, la procédure porte sur des prestations en nature de l'assurance-accidents, le Tribunal fédéral est lié par les constatations de fait de l'instance précédente et ne peut s'en écarter qu'en cas de constatation manifestement inexacte ou effectuée en violation du droit au sens de l'<ref-law> (cf. art. 97 al. 1, art. 105 al. 1 et art. 105 al. 2 LTF).
3.
Le jugement entrepris a correctement exposé les dispositions légales et les principes jurisprudentiels applicables au cas d'espèce. Il suffit par conséquent d'y renvoyer.
4.
4.1. Par un premier grief, le recourant invoque une violation de son droit d'être entendu en tant que la juridiction cantonale n'a pas donné suite à sa demande de mise en oeuvre d'une expertise auprès d'un médecin spécialiste "neutre".
Tel qu'invoqué, le grief de violation du droit d'être entendu n'a pas de portée propre par rapport à celui tiré de l'arbitraire dans l'appréciation des preuves (cf. arrêt 8C_15/2009 du 11 janvier 2010 consid. 3.2, in SVR 2010 IV n° 42 p. 132). Le juge peut en effet renoncer à accomplir certains actes d'instruction, sans que cela n'entraîne une violation du devoir d'administrer les preuves nécessaires ou plus généralement une violation du droit d'être entendu, s'il est convaincu, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a p. 352), que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves en général: <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428).
En l'occurrence, les premiers juges ont estimé que les renseignements médicaux au dossier étaient suffisants et probants pour conclure qu'il n'y avait pas de lien de causalité entre l'accident et les troubles de l'oeil gauche réannoncés à l'intimée et que la mise en oeuvre d'une expertise médicale n'apparaissait dès lors pas nécessaire. Le recourant ne remet nullement en cause l'appréciation des preuves à laquelle se sont livrés les premiers juges. En l'absence de toute critique de l'argumentation des premiers juges sur ce point, le recours ne répond pas aux exigences de motivation posées par l'<ref-law>. Le grief de violation du droit d'être entendu est partant irrecevable.
4.2. En deuxième lieu, le recourant semble alléguer une violation du fardeau de la preuve. Il soutient en substance qu'il incombait à la CNA d'établir que les troubles annoncés au titre de rechute n'étaient pas en relation de causalité avec l'accident du 25 juin 2012.
Ce point de vue est erroné. En effet, en cas de rechute ou de séquelle tardive, l'obligation de l'assureur-accidents de répondre de la nouvelle atteinte à la santé n'est pas donnée du seul fait que l'existence d'un lien de causalité naturelle entre l'atteinte initiale et un accident a été reconnue. Les conséquences de l'absence de preuve d'un tel lien entre la nouvelle atteinte et l'accident doivent être supportées par l'assuré qui requiert des prestations de l'assurance-accidents pour ladite atteinte (RAMA 1994 n° U 206 p. 328 consid. 3b; arrêt de l'ancien Tribunal fédéral des assurances U 192/06 du 10 avril 2007, consid. 3.3).
5.
Il résulte de ce qui précède que le recours se révèle manifestement infondé (<ref-law>). Succombant, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 9 novembre 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin