Faits :
A.
Par décision du 22 décembre 2015, confirmée sur opposition le 5 février 2016, la Caisse nationale suisse d'assurance en cas d'accidents (CNA) a refusé d'allouer ses prestations pour la rechute annoncée par A._ à la suite d'un accident survenu le 21 janvier 2012.
B.
Dans le cadre du recours interjeté contre cette décision devant la Cour des assurances sociales du Tribunal cantonal vaudois, le prénommé a requis l'assistance judiciaire. Par arrêt du 7 juin 2016, le Tribunal cantonal vaudois a déclaré irrecevable le recours formé par A._ ainsi que sa demande d'assistance judiciaire, au motif que ce dernier était domicilié dans le canton du Valais. La cause a été transmise à la Cour des assurances sociales du Tribunal cantonal du canton du Valais comme objet de sa compétence. Par décision du 2 novembre 2016, la Présidente de ce tribunal a rejeté la demande d'assistance judiciaire, motif pris de l'absence d'indigence du requérant.
C.
A._ interjette un recours en matière de droit public contre cette décision, dont il demande l'annulation. Il conclut à l'octroi de l'assistance judiciaire pour la procédure de recours cantonale, sous suite de frais et dépens.

Considérant en droit :
1.
1.1. La décision attaquée, qui porte sur le refus de l'assistance judiciaire en procédure cantonale, constitue une décision incidente au sens de l'<ref-law>. Le recours n'est dès lors recevable que si la décision incidente peut causer un préjudice irréparable (<ref-law>), la seconde hypothèse prévue à l'<ref-law> n'entrant manifestement pas en considération (<ref-ruling> consid. 2.2 et 2.3 p. 602 s.; <ref-ruling> consid. 4 p. 338).
2.
2.1. Un préjudice ne peut être qualifié d'irréparable que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral (<ref-ruling> consid. 3.1 p. 47; <ref-ruling> consid. 1.2 p. 47; <ref-ruling> consid. 1.1 p. 328). De ce point de vue, un dommage économique ou de pur fait n'est en revanche pas considéré comme un dommage irréparable (<ref-ruling> consid. 2.2.1 p. 317; <ref-ruling> consid. 1.2.1 p. 382; <ref-ruling> consid. 1.3.4 p. 35). Savoir si un tel préjudice existe s'apprécie par rapport aux effets de la décision incidente sur la cause principale, respectivement la procédure principale (<ref-ruling> consid. 1.2 p. 80 s.).
2.2. Le refus de l'assistance judiciaire et de la désignation d'un avocat d'office est susceptible de causer un préjudice irréparable lorsqu'une avance de frais doit être fournie dans un court délai (<ref-ruling> consid. 2a p. 210; voir aussi l'arrêt 4A_14/2016 du 15 novembre 2016 consid. 2, destiné à la publication) ou lorsque le requérant est amené à devoir défendre ses intérêts sans l'assistance d'un mandataire (<ref-ruling> consid. 1.1 p. 131; <ref-ruling> consid. 1.1 p. 283; arrêt 5A_811/2015 du 16 décembre 2015 consid. 2.1). En l'espèce, la procédure devant l'autorité cantonale est gratuite (<ref-law>). La requête ne porte donc que sur la prise en charge des frais d'avocat encourus par le recourant.
2.3. Lorsque la décision du 2 novembre 2016 a été rendue, la procédure de recours pour laquelle l'assistance judiciaire était requise touchait à sa fin. Le premier échange d'écritures était terminé. Dans sa réplique, le recourant s'est limité à de brèves remarques finales (celui-ci s'est contenté de se référer à son mémoire de recours), auxquelles étaient annexés une copie de décompte intermédiaire de l'assurance-maladie collective du 25 août 2016 ainsi qu'un certificat médical établi par le docteur Martinez le 29 août 2016. Pendant toute la procédure, il était assisté de son mandataire. Dans une telle situation, le recourant ne court pas le risque de ne pas pouvoir faire valoir ses droits en raison du refus de l'assistance judiciaire; il ne s'agit plus que de la question de savoir qui réglera les honoraires de son avocat. Ce point pourra être résolu de manière définitive dans le cadre d'un recours exercé contre la décision finale (<ref-law>). La décision incidente entreprise n'ayant aucun effet sur la cause principale, respectivement sur le procédure principale, il n'en résulte pas un préjudice irréparable au sens de l'<ref-law> (cf. <ref-ruling> consid. 2.3 p. 603; <ref-ruling> consid. 2.2 p. 648; arrêts 8C_480/2016 du 17 novembre 2016 consid. 1; 5A_811/2015 du 16 décembre 2015 consid. 2.2).
2.4. En tout état de cause, il appartenait au recourant d'alléguer et d'établir la possibilité que la décision incidente lui cause un préjudice irréparable lorsque celui-ci n'est pas d'emblée évident (cf. <ref-law>; <ref-ruling> consid. 1.2 p. 28 et les références), ce qu'il n'a fait en aucune manière.
3.
Vu ce qui précède, le recours est irrecevable. Au vu des circonstances, le présent arrêt est rendu exceptionnellement sans frais (art. 66 al. 1, 2 ème phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, à la Caisse nationale suisse d'assurance en cas d'accidents et à l'Office fédéral de la santé publique.
Lucerne, le 8 février 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin