Faits :
A.
A._ travaillait en qualité de comptable et acheteur au sein de la société B._ à C._. A ce titre, il était assuré obligatoirement contre les accidents professionnels et non professionnels auprès de la Vaudoise Générale Compagnie d'Assurance SA (ci-après: la Vaudoise).
Par déclaration d'accident du 12 mars 2007, l'employeur a annoncé à la Vaudoise que le 3 mars précédent, A._ avait tapé son ski gauche dans une "gonfle", suivi d'un vol plané sur le dos et qu'il avait atterri sur la tête. Dans un rapport médical du 27 avril 2007, la doctoresse D._, spécialiste FMH en rhumatologie et médecine interne a posé le diagnostic de cervicalgies aiguës post-traumatiques. Elle a en outre attesté une incapacité de travail de 100 %. La Vaudoise a pris en charge le cas.
Par décision du 8 novembre 2007, confirmée sur opposition le 19 février 2008, la Vaudoise a mis un terme à ses prestations au 31 octobre 2007.
A la suite d'un rapport médical du Centre E._ consécutif à une IRM fonctionnelle de la jonction cranio-cervicale effectuée le 20 mars 2008, la Vaudoise a informé l'assuré qu'elle annulait sa décision du 8 novembre 2007 (recte: 19 février 2008) pour reprendre des investigations complémentaires.
Le 9 septembre 2008, la Vaudoise a mandaté la Clinique F._ pour procéder à un examen pluridisciplinaire de l'assuré. Les experts G._ (psychiatrie et psychothérapie), H._ (chirurgie orthopédique), I._ (neurologie) et J._ (otoneurologie) ont rendu leur rapport le 13 janvier 2009. Par décision du 20 janvier 2009, confirmée sur opposition le 23 avril 2009, la Vaudoise a mis fin à ses prestations le 31 janvier 2009.
B.
A._ a recouru contre cette dernière décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud en concluant à l'octroi d'indemnités journalières au-delà du 31 janvier 2009.
Par arrêt du 9 décembre 2014, le Tribunal cantonal a rejeté le recours et confirmé la décision sur opposition du 23 avril 2009.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à l'intimée pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.
La Vaudoise conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit :
1.
Le litige porte sur le droit du recourant à des indemnités journalières de l'assurance-accidents au-delà du 31 janvier 2009.
2.
2.1. Les premiers juges se sont fondés sur l'expertise de la Clinique F._, à laquelle ils ont attribué pleine force probante. Ils ont retenu, comme diagnostics ayant des incidences sur la capacité de gain, un status après traumatisme crânien mineur et une distorsion cervicale lors de la chute à ski du 3 mars 2007, ainsi que des cervico-dorsalgies chroniques associées à des troubles dégénératifs. L'accident avait provoqué une décompensation douloureuse de l'état arthrosique antérieur et le statu quo sine avait été atteint au plus tard douze à dix-huit mois après l'accident. Quant à la persistance des plaintes, elle suggérait une chronicisation des douleurs. Sur le plan psychique, il existait un trouble mixte de la personnalité de type paranoïaque anankastique et narcissique depuis l'âge adulte et une majoration des symptômes physiques pour des raisons psychologiques depuis juillet 2007. Ces troubles n'influaient toutefois pas sur la capacité de travail. En conséquence, c'était à juste titre, selon les premiers juges, que l'intimée avait mis fin à ses prestations au 31 janvier 2009, soit d'ailleurs après une période nettement plus longue que celle préconisée par les experts.
Les premiers juges ont en outre considéré que, même en admettant que le recourant fût atteint, comme il le soutenait, d'un whisplash syndrome (ou "coup du lapin"), le lien de causalité adéquate entre l'accident et les troubles invoqués devait être nié à l'aune des critères tirés de la jurisprudence applicable aux accidents de type "coup du lapin" à la colonne cervicale, de traumatisme analogue à la colonne cervicale ou encore de traumatisme cranio-cérébral, sans preuve d'un déficit organique objectivable (ATF 134 V 109). Il en irait de même, selon les premiers juges toujours, si l'on devait appliquer les critères (analogues) en matière de causalité adéquate entre des troubles psychiques additionnels à une atteinte à la santé physique et un accident assuré (voir ATF 115 V 403).
2.2. Le recourant critique de manière toute générale les conclusions de l'expertise en faisant valoir que des investigations complémentaires eussent été souhaitables. Il soutient que, contrairement à ce qu'ont retenu les premiers juges, il a présenté tous les items et caractéristiques d'un "coup du lapin". Ses plaintes avaient en outre un substrat organique sous la forme d'une fracture cervicale (arrachement d'os et lésions ligamentaires). Selon le recourant, les séquelles invalidantes se sont résorbées à fin 2011 seulement.
2.3.
2.3.1. Il n'y a pas de raison de remettre en cause les diagnostics et conclusions des experts de la Clinique F._. Sur ce point, la cour cantonale a procédé à une appréciation des preuves qui n'apparaît pas critiquable, notamment parce que cette appréciation prend en compte, en les discutant, les autres pièces médicales au dossier, notamment celles produites et invoquées par le recourant lui-même.
2.3.2. Pour le reste, il y a lieu de constater que la décision attaquée repose sur une double motivation. A titre principal, l'autorité précédente a considéré que le statu quo sine avait été atteint avant même le prononcé de la décision sur opposition. Subsidiairement, on l'a vu, elle a retenu que même si les troubles invoqués étaient la conséquence d'un whiplash syndrom ou d'un traumatisme cranio-cérébral (sans preuve d'un déficit organique objectivable) la causalité adéquate devait être niée. Dans un tel cas, lorsque la décision attaquée comporte plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, la partie recourante doit, sous peine d'irrecevabilité (art. 42 al. 2 LTF), démontrer que chacune d'elles est contraire au droit (ATF 138 I 97 consid. 4.1.4 p. 100; 136 III 534 consid. 2 p. 535; 133 IV 119 consid. 6.3 p. 120 s.). En l'espèce, le recourant ne développe aucune critique sur la motivation de la décision attaquée relative à la causalité adéquate. Dans la mesure où il soutient avoir été victime d'un "coup du lapin", son grief est donc irrecevable.
3.
Il résulte de ce qui précède que le recours doit être rejeté. Comme le recours paraissait d'emblée dépourvu de chances de succès, le recourant ne saurait bénéficier de l'assistance judiciaire (art. 64 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 15 décembre 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin