Faits :
A.
Le 7 juin 2013, A._ a déposé un recours devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud contre une décision sur opposition de Mutuel Assurances SA (ci-après: l'assureur-accidents) du 6 mai 2013.
Le 15 septembre 2014, dans le délai imparti par l'autorité cantonale pour se déterminer sur l'éventualité d'une reformatio in pejus, A._ a déposé des observations et a requis la récusation de la Juge assesseure B._. A l'appui de sa demande, il a fait valoir notamment que la Juge est la mère de C._, lequel travaille au sein du Groupe Mutuel. En outre, il a allégué que lors d'une audience du 16 juin 2014, la Juge l'aurait invité à s'adresser directement à l'assureur responsabilité civile du tiers responsable de l'accident qu'il a subi, ce qui constitue selon lui un indice de prévention en faveur de l'assureur-accidents.
La Juge s'est opposée à sa récusation aux termes de ses observations des 29 septembre et 10 octobre 2014. Invité à se déterminer, l'assureur-accidents s'est également opposé à la récusation sollicitée par écriture du 9 octobre 2014.
B.
Statuant le 3 novembre 2014, la Cour administrative du Tribunal cantonal vaudois a rejeté la demande de récusation, motif pris que les éléments avancés par A._ ne suffisaient pas à fonder une apparence de prévention.
C.
A._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre le jugement du 3 novembre 2014, dont il demande l'annulation, en concluant principalement à la récusation de B._. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants, le tout sous suite de frais et dépens.
La juridiction cantonale se réfère à son jugement.

Considérant en droit :
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2).
Le recours est dirigé contre une décision rendue dans une cause de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). La décision attaquée est une décision incidente, prise et notifiée séparément du fond, portant sur une demande de récusation, laquelle peut faire l'objet d'un recours immédiat devant le Tribunal de céans (<ref-law>). Par ailleurs, on ne se trouve pas dans l'un des cas d'exceptions mentionnés à l'<ref-law>. La voie du recours en matière de droit public est donc ouverte. Pour le surplus, le recours a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
Partant, en raison de son caractère subsidiaire, le recours constitutionnel n'est pas recevable (<ref-law>).
2.
2.1. Par un premier grief d'ordre formel, le recourant se plaint de la violation de son droit d'être entendu consacré à l'art. 29 al. 2 Cst. Il reproche à la juridiction cantonale d'avoir statué sans lui avoir donné préalablement la possibilité de se déterminer sur les observations déposées par la Juge et l'assureur-accidents. En outre, il allègue avoir expressément demandé à l'autorité précédente de lui donner l'occasion de s'exprimer par courrier du 14 novembre 2014, lequel serait resté sans réponse.
2.2. Selon l'art. 29 al. 2 Cst., les parties ont le droit d'être entendues. Cela comprend notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Toute prise de position ou pièce nouvelle versée au dossier doit ainsi être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (<ref-ruling> consid. 3.2 p. 191 s.; <ref-ruling> consid. 2.3.1 p. 197 et les références).
Lorsque la partie est représentée par un avocat, la jurisprudence considère que le droit de répliquer n'impose pas à l'autorité judiciaire l'obligation de fixer un délai à la partie pour déposer d'éventuelles observations. On peut attendre de l'avocat, à qui une détermination ou une pièce est envoyée pour information, qu'il connaisse la pratique selon laquelle, s'il entend prendre position, il le fait directement ou demande à l'autorité de lui fixer un délai à cet effet; sinon, il est réputé avoir renoncé à se prononcer (cf. <ref-ruling> consid. 2.2 p. 486; <ref-ruling> consid. 4.8 p. 105 et les références). Pour que le droit à la réplique soit garanti, il faut toutefois que le tribunal laisse un laps de temps suffisant à l'avocat entre la remise des documents et le prononcé de sa décision, pour que le mandataire ait la possibilité de déposer des observations s'il l'estime nécessaire à la défense des intérêts de son client. Cette pratique peut certes engendrer une certaine incertitude, dans la mesure où la partie ignore de combien de temps elle dispose pour formuler une éventuelle prise de position. La Cour européenne des droits de l'homme a toutefois admis la conformité du procédé avec l'art. 6 par. 1 CEDH, dès lors qu'il suffit à la partie de demander à l'autorité de pouvoir prendre position et de requérir la fixation d'un délai (arrêt de la CourEDH Joos contre Suisse du 15 novembre 2012, §§ 27 ss, en particulier §§ 30-32). De manière générale, le Tribunal fédéral considère qu'un délai inférieur à dix jours ne suffit pas à garantir l'exercice du droit de répliquer (cf. ATF <ref-ruling> consid. 2.6; arrêt 1C_688/2013 du 17 avril 2014 consid. 3.1 et les arrêts cités; pour un résumé de jurisprudence 5D_112/2013 du 15 août 2013 consid. 2.2.3).
2.3. En l'occurrence, la lettre du 14 novembre 2014, par laquelle le recourant aurait demandé de pouvoir s'exprimer sur les déterminations de la Juge et de l'assureur-accidents, ne figure pas dans le dossier de la procédure cantonale. Le point de savoir si une telle requête a effectivement été déposée n'est toutefois pas déterminant, dans la mesure où la cour cantonale avait déjà statué (le 3 novembre 2014). Par ailleurs, l'autorité précédente a transmis les déterminations précitées au recourant le 14 octobre 2014, sous pli simple, de sorte que celui-ci les a reçues probablement le lendemain ou le surlendemain. Au demeurant, le recourant ne prétend pas qu'il les aurait reçues dans un délai excédant le temps d'acheminement usuel d'un courrier. Il a ainsi bénéficié de 18 voire 19 jours, pour se déterminer ou à tout le moins demander qu'on lui accorde un délai pour ce faire. Dans ces conditions, on ne peut reprocher à l'autorité précédente d'avoir empêché le recourant d'exercer son droit à la réplique, d'autant moins que les prises de position transmises étaient brèves et qu'une seule pièce avait été produite, à savoir une copie des vues du profil de C._ sur le réseau social D._. Le grief de violation du droit d'être entendu doit donc être rejeté.
3.
3.1. Le recourant reproche à la juridiction cantonale d'avoir nié l'existence d'un motif de récusation. Il se plaint d'une application arbitraire de l'art. 9 let. d et e de la loi cantonale vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RSV 173.36) et de la violation des art. 30 al. 1 Cst. et 6 par. 1 CEDH. A l'appui de son grief, il soutient que le lien de parenté entre la Juge et C._ constitue déjà à lui seul un motif de récusation et que les propos tenus par la magistrate lors de l'audience du 16 juin 2014 étaient susceptibles de léser ses intérêts. Par ailleurs, le recourant est d'avis que l'opposition ferme de l'assureur-accidents à la récusation de B._ laisse à penser qu'il "sait l'influence favorable que la composition actuelle du Tribunal est susceptible de lui procurer". En outre, selon lui, il est hautement probable que C._ ait pu prendre connaissance de son dossier ou en ait discuté avec l'un de ses collègues.
3.2. L'art. 9 LPA-VD prévoit que toute personne appelée à rendre ou à préparer une décision ou un jugement doit se récuser, notamment si elle est parente ou alliée en ligne directe ou, jusqu'au troisième degré inclus, en ligne collatérale avec une partie, son mandataire ou une personne qui a agi dans la même cause comme membre de l'autorité précédente (let. d), ou si elle pourrait apparaître comme prévenue de toute autre manière, notamment en raison d'une amitié étroite ou d'une inimitié personnelle avec une partie ou son mandataire (let. e).
Par ailleurs, la garantie d'un tribunal indépendant et impartial découlant de l'art. 30 al. 1 Cst. et 6 par. 1 CEDH permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Cependant, seuls les éléments objectivement constatés doivent être pris en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 4.1 p. 221 s. et les références).
3.3. En l'occurrence, on ne peut tirer du seul lien de parenté entre la Juge et C._ un motif de récusation. En effet, celui-ci n'est pas partie à la procédure. Il est un employé de l'assureur-accidents et rien ne permet d'admettre qu'il ait pris connaissance du dossier du recourant ou discuté de l'affaire avec des collègues. On notera que le Tribunal fédéral a nié l'existence d'un motif de récusation, dans une affaire où l'une des parties était représentée par l'avocat associé d'une étude dans laquelle travaillait le fils du juge appelé à statuer (arrêt 1P.754/2006 du 13 février 2007 consid. 2.4; cf. aussi arrêt 1C_428/2007 du 19 juin 2008 consid. 2.1). Dans cette affaire, il a considéré que rien ne permettait de retenir une quelconque participation du fils dans la procédure ou d'établir l'existence de liens particuliers entre le juge et la partie représentée.
3.4. Quant aux autres arguments avancés par le recourant, ils ne sont pas aptes à mettre en doute l'impartialité de la magistrate. En effet, selon les constatations de la juridiction cantonale - qui lient le Tribunal fédéral (cf. <ref-law>) -, lors de l'audience du 16 juin 2014, la Juge a posé une question au recourant "quant à l'éventuelle démarche de réclamer les divers frais refusés sur la base de la LAA directement auprès de l'assureur responsabilité civile du tiers responsable". Ce faisant, elle ne lui a pas suggéré d'abandonner ses prétentions contre l'assureur-accidents. L'affirmation du recourant, selon laquelle les propos de la Juge étaient susceptibles de léser ses intérêts, relève de considérations purement subjectives. En outre, le fait que l'assureur-accidents s'est opposé à la demande de récusation n'est pas en soi de nature à créer une apparence de prévention. En effet, il pouvait avoir un intérêt au rejet d'une telle requête, dès lors que l'affaire était en phase d'être jugée. Le grief portant sur la récusation de B._ apparaît ainsi mal fondé.
4. Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours en matière de droit public se révèle mal fondé.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, à Mutuel Assurances SA et à l'Office fédéral de la santé publique.
Lucerne, le 23 mars 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Ursprung
La Greffière : Castella