Faits : A. A.a. A._, associé-gérant de la société "B._ Sàrl", a été en incapacité de travail à des taux variables de façon presque continue depuis le 11 octobre 2004, alors qu'il exerçait une activité de restaurateur-traiteur. Dans un rapport du 10 janvier 2006, le docteur C._, spécialiste en rhumatologie, médecine interne et médecine du sport, a diagnostiqué des lombalgies chroniques, une hernie discale L5-S1 médiane paramédiane gauche, une obésité, une hypercholestérolémie et des gonalgies droites. Il a retenu une incapacité de travail de 80 % dans l'activité de restaurateur-traiteur indépendant. Le 24 avril 2006, A._ a déposé une demande de prestations de l'assurance-invalidité en vue d'une orientation professionnelle et d'une rééducation dans la même profession. Le docteur D._, médecin généraliste et médecin traitant, a diagnostiqué, avec répercussion sur la capacité de travail, une hernie discale L5-S1 médiane avec lipomatose péridurale lombaire entrainant un certain rétrécissement de L3-S1 et deux foyers de chondropathie fémoro-patellaire grade 2 à 3 avec tuméfaction oedémateuse du ligament croisé antérieur (LCA), ainsi que, sans répercussion sur la capacité de travail, une obésité, une hypercholestérolémie, un status post hernie inguinale gauche incarcérée avec iléus mécanique en 1992 et une oesophagite de reflux. Pour le médecin traitant, la capacité de travail dans une activité de cuisine était de 50 % alors qu'elle était entière et sans diminution de rendement pour un travail administratif de planification, d'organisation, de gestion des commandes et de contrôle (rapport du 21 juin 2006). Le docteur E._, spécialiste en médecine interne et maladies rhumatismales, a diagnostiqué des lombalgies mécaniques, une discopathie L5-S1 avec hernie discale médiane-paramédiane gauche légèrement luxée vers le haut, une lipomatose péridurale modérée, des gonalgies droites, un status après méniscectomie interne partielle, une chondropathie rotulienne avec épaississement du LCA d'origine indéterminée, une obésité, une hypercholestérolémie, un antécédent de tabagisme jusqu'en 2003 et un status après opération de hernie inguinale suivie d'iléus (rapport du 27 juin 2006). Le docteur F._, spécialiste en médecine interne et rhumatologie, a examiné l'assuré à la demande du SMR le 19 décembre 2006. Dans son rapport du 24 janvier 2007, il a diagnostiqué, avec répercussion sur la capacité de travail, des lombocruralgies et des cervico-brachialgies bilatérales dans le cadre de troubles statiques et dégénératifs du rachis avec hernie discale L5-S1, une lipomatose péridurale lombaire modérée entraînant un rétrécissement modéré du fourreau dural avec périarthrite scapulo-humérale bilatérale sous forme d'un conflit sous-acromial et des gonalgies bilatérales dans le cadre d'une chondropathie fémoro-patellaire droite, d'un petit kyste poplité interne et d'une tuméfaction oedémateuse diffuse du LCA droit, ainsi que, sans répercussion sur la capacité de travail, une suspicion de syndrome du tunnel carpien bilatéral et une obésité. Ce médecin a retenu une capacité de travail entière dans une activité adaptée aux limitations fonctionnelles suivantes : possibilité d'alterner la position debout-assis deux fois par heure, pas de port régulier de charges de plus de 12 kg, pas de soulèvement régulier de poids de plus de 5 kg, pas de travail en porte-à-faux statique prolongé du tronc, pas d'élévation ou d'abduction des membres supérieurs à plus de 80°, pas de travaux nécessitant des génuflexions répétées ou le franchissement régulier d'escabeaux, d'échelles ou escaliers. Par projet de décision du 15 mai 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a pris note que l'assuré avait renoncé à des mesures de reclassement professionnel pour reprendre le restaurant de l'Hôtel G._ à H._ dès le 1er octobre 2007 et, partant, a fixé le taux d'invalidité théorique sur la base des rapports médicaux en sa possession à 26,5 %, soit un taux ne donnant pas droit à une rente. A.b. Le 16 août 2008, A._ roulait au volant de son véhicule automobile lorsqu'une voiture venant en sens inverse s'est déportée sur la gauche et est venue emboutir l'angle avant gauche de son véhicule. Il s'en est suivi une violente collision au cours de laquelle A._ a été gravement blessé. Le docteur I._, chirurgien orthopédiste aux Etablissements hospitaliers J._, à K._, a diagnostiqué une fracture du pilon tibial gauche type AOC I traitée par ostéosynthèse, une contusion du genou gauche, une entorse du ligament collatéral externe de la cheville droite, une fracture costale basale gauche, une lésion en deux temps de la rate traitée par splénectomie et une exacerbation des lombosciatalgies (rapport du 24 décembre 2008). Le cas a été pris en charge par SWICA Assurances SA (ci-après: SWICA) en qualité d'assureur-accidents. Suite à son accident, A._ a été en incapacité totale de travail jusqu'au 19 novembre 2008, date à partir de laquelle le docteur I._ a admis une capacité de travail de 10 % dans une activité administrative liée à la restauration (rapport du 24 décembre 2008). Mandaté par Swica, le docteur L._, chirurgien orthopédiste, n'a pas été en mesure de se prononcer sur l'état de la cheville gauche en raison de la discrépance entre l'état radiologique et clinique, tel que décrit par le docteur I._, et l'état décrit par l'assuré. Concernant le genou gauche, ce médecin n'a pas exclu une compression du genou lors de l'accident. Toutefois, l'IRM n'ayant pas mis en évidence de lésion traumatique mais uniquement des lésions dégénératives préexistantes, il en a conclu que les troubles n'étaient pas en lien avec l'accident et que le statu quo sine avait été atteint entre 10 et 15 jours après l'atteinte. S'agissant des douleurs lombaires, d'origine dégénérative, leur symptomatologie douloureuse avait pu être aggravée par la violence du choc mais seulement de façon passagère (rapport du 23 avril 2009). Une expertise a été confiée au docteur M._, chirurgien orthopédiste, lequel, dans son rapport du 31 août 2009, a diagnostiqué un status après fracture comminutive du pilon tibial gauche, traitée par réduction sanglante et ostéosynthèse le 25 août 2008, un status après splénectomie le 29 août 2008 pour rupture en deux temps, un status après contusion du genou gauche, un status après entorse du ligament collatéral externe de la cheville droite, une fracture costale basale gauche, des dorso-lombalgies et sciatalgies sur troubles statiques et dégénératifs, une hernie discale L5-S1 non déficitaire, une arthrose cervicale, une gonarthrose bilatérale et une surcharge pondérale. L'expert a estimé que les dorso-lombalgies, sciatalgies et gonalgies avaient pu être aggravées par l'accident mais que cette aggravation était limitée dans le temps. Il a ainsi admis que ces affections avaient atteint leur statu quo sine vel ante après un an et que, passé ce délai, il n'y avait plus de lien de causalité avec l'accident. Concernant l'atteinte aux deux chevilles, qui était en relation directe avec l'accident, il a considéré qu'elle permettait un taux d'occupation à 100 % dans une activité adaptée, qu'une activité de cafetier était également possible à 100 % mais que, comme cuisinier, la capacité de travail était limitée entre 50 et 75 %. Comme gérant d'un restaurant-traiteur, il a admis que la capacité de travail de l'assuré était entière. Concernant les limitations fonctionnelles permettant une activité à 100 % sans diminution de rendement, il les a fixées comme suit: pas de position debout prolongée, pas de soulèvement ou port de charges et un travail privilégiant la position assise. Suite à un séjour du 19 octobre au 6 novembre 2009 dans l'Unité de rééducation du Département de l'appareil locomoteur de l'Hôpital N._, la doctoresse O._, médecin associé, a diagnostiqué des dorsalgies sur protrusion discale D8/D9 et dans une moindre mesure D9/D10 et D10/D11, des lombalgies chroniques sur lésions dégénératives étagées et hernie discale L5/S1, des gonalgies gauches sur gonarthrose tibio-fémorale interne, un status post-fracture du pilon tibial gauche traitée par ostéosynthèse en août 2008 - arthrose post-traumatique, un status post-entorse de la cheville droite (accident du 2 [recte 16] août 2008), une atteinte tronculaire du nerf péronier droit post-traumatique (accident du 2 [recte 16] août 2008) et un status post-fracture en deux temps de la rate post-accident (accident du 2 [recte 16] août 2008) - splénectomie. Ce médecin a considéré que la contusion du genou gauche, causée par l'accident du 16 août 2008, avait décompensé une gonarthrose préexistante et que les dorso-lombalgies avaient eu une évolution défavorable depuis l'accident avec augmentation des douleurs et des limitations fonctionnelles. De plus, un examen électroneuromyographique a confirmé une atteinte axonale compatible avec une atteinte tronculaire du nerf péronier droit, certainement secondaire à l'accident (rapport du 23 novembre 2009). Interpellé sur les conclusions du rapport de la doctoresse O._, l'expert M._ a confirmé son rapport et contesté l'existence d'une relation de causalité naturelle entre l'accident et la parésie des péroniers ainsi que l'extenseur des orteils droits. Ces atteintes étaient des séquelles possibles de l'accident sans influence sur la capacité de travail (rapport du 21 décembre 2009). Dans un rapport du 25 février 2010, le docteur I._ a pour sa part admis l'existence de ce lien de causalité naturelle. Par décision du 4 mars 2010, SWICA a admis que les plaintes en rapport avec les deux chevilles étaient en relation de causalité avec l'accident. Par contre, elle a nié celle-ci pour les dorso-lombalgies et les gonalgies bilatérales, estimant que l'aggravation de ces atteintes provoquées par l'accident était limitée dans le temps et qu'après un an l'état quo sine vel ante avait été atteint. Concernant la parésie des péroniers et l'extenseur des orteils droits, elle a retenu que la relation de causalité naturelle était possible mais non probable. Elle a donc décidé de supprimer le droit aux traitements médicaux en rapport avec les dorso-lombalgies et les gonalgies à partir du 25 août 2009. Elle a admis la continuation de la prise en charge du traitement des chevilles, y compris l'ablation du matériel d'ostéosynthèse (AMO), à l'exclusion des parésies des péroniers et de l'extenseur des orteils. Elle a octroyé des indemnités journalières jusqu'au 31 mars 2010 et a fixé l'indemnité pour atteinte à l'intégrité à 10 % pour la splénectomie. Elle a reporté l'évaluation de cette indemnité concernant les chevilles. Par décision du 16 avril 2010, elle a rejeté l'opposition et a maintenu sa décision du 4 mars 2010. B. B.a. A._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à l'octroi des indemnités journalières au-delà du 1er avril 2010, à la prise en charge intégrale des frais médicaux à partir du 25 août 2009, à l'octroi d'une indemnité pour atteinte à l'intégrité à fixer suite à une expertise médicale à ordonner et à l'octroi d'une rente d'invalidité dont le taux devait être fixé suite à cette expertise, après la cessation du droit aux indemnités journalières. B.b. A._ a été victime d'un nouvel accident de la route le 28 novembre 2011. Le véhicule dont il était passager a été embouti par l'arrière à une vitesse de 17 à 20 km/h à l'approche d'un giratoire. Il a ressenti une douleur irradiante vers la nuque, ce qui a occasionné un arrêt complet de travail jusqu'à fin décembre 2011. Aucun document en rapport avec cet accident n'a été produit et la suite donnée par SWICA est inconnue. La juridiction cantonale a mandaté le Bureau romand d'expertises médicales (BREM) pour examiner l'assuré. L'expertise a été confiée à la doctoresse P._, spécialiste en rhumatologie et en médecine interne, à la doctoresse Q._, psychiatre et psychothérapeute, au docteur R._, neurologue, et au docteur S._, chirurgien orthopédiste. Dans leur rapport du 25 mai 2012, les experts ont diagnostiqué une anxiété généralisée (F 41.1), un syndrome douloureux somatoforme persistant (F. 45.4), un syndrome de dépendance aux benzodiazépines, utilisation continue (F 13.25), un status après fracture comminutive du tibia distal gauche ostéosynthésée, status après AMO, arthrose secondaire (M 19.1), un status après probable contusion du nerf sciatique poplité externe droit sans séquelle significative (G 57.3), un syndrome cervical modéré et un syndrome lombo-vertébral variable sur spondylodiscarthrose avec lipomatose péridurale lombaire, sans myélopathie ni radiculopathie, sans instabilité (M 47.8), un status après entorse de la cheville droite (M 19.1), un status après splénectomie pour rupture traumatique de la rate (S 36.0), un status après contusions multiples et fracture de la côte basale gauche (T 00.9), une gonarthrose à prédominance fémoro-patellaire, status après méniscectomie droite dans sa jeunesse (M 17.9), un syndrome du canal carpien bilatéral (G 56.0), un excès pondéral (R 63.2), une hypertension artérielle I 10 avec dyslipidémie (E 78.0), un status après carcinome papillaire de la vessie de haut grade, stade (G3 T1) traité (C 67.9) et un syndrome d'apnée du sommeil de degré léger (R 06.8). Pour les experts, le status après fracture comminutive du tibia distal gauche ostéosyntésée, status après AMO, arthrose secondaire, le status après entorse de la cheville droite, le status après splénectomie pour rupture traumatique de la rate, le status après contusions multiples et fracture de la côte basale à gauche résultaient de façon certaine de l'accident du 16 août 2008. La contusion du nerf sciatique poplité externe n'était qu'en relation de causalité possible avec l'accident de 2008. De plus, il y avait eu une bonne récupération au niveau de cette atteinte, si bien qu'il ne subsistait aucune séquelle neurologique significative sur le plan clinique. Ainsi, la "faiblesse" et la boiterie ne s'expliquaient pas par une atteinte neurologique ou par une atteinte du nerf sciatique poplité externe mais par une parésie fonctionnelle. Concernant le syndrome cervical modéré, les experts l'ont mis en lien de causalité vraisemblable avec l'accident du 28 novembre 2011. Le syndrome du canal carpien était pour sa part sans lien avec l'accident. S'agissant du syndrome lombo-vertébral, les experts ont retenu un état préexistant pour lequel l'accident avait provoqué une décompensation passagère au niveau lombaire dont la causalité avec l'accident était largement éteinte. Quant à la gonarthrose bilatérale, ils ont admis un état antérieur pour lequel l'accident de 2008 ne déployait plus d'effet. Concernant l'anxiété généralisée et le syndrome douloureux somatoforme persistant, les experts ont retenu qu'ils étaient dus de façon probable à l'accident de 2008. Dans l'historique des troubles psychiques, ils ont estimé qu'après ce premier accident, l'assuré avait souffert d'un trouble anxieux d'intensité moyenne et qu'après l'accident de 2011, le syndrome douloureux somatoforme persistant s'était développé. Dans leurs conclusions, les experts ont considéré que, sur le plan somatique, le statu vel ante était atteint pour les affections existantes au moment de l'expertise du docteur M._. Les problèmes somatiques antérieurs à l'accident de 2008 entraînaient déjà une incapacité totale de travail dans une activité de cuisinier-traiteur comprenant un travail en cuisine, le service, la livraison de produits et les achats. Les seules séquelles somatiques de l'accident de 2008 entraînaient une incapacité de travail partielle dans l'activité de patron d'un restaurant-traiteur, liée aux limitations dans toutes les tâches exigeant la station debout ou la marche prolongée. Le taux de cette incapacité pouvait varier selon le poste occupé dans l'établissement. Par contre, il n'existait aucune incapacité de travail pour une activité de nature purement administrative. Sur le plan psychiatrique, l'aggravation du trouble anxieux sous forme d'anxiété généralisée et d'un syndrome douloureux somatoforme persistant entraînait une incapacité de travail de 40 % dans toute activité, un traitement correct devant pouvoir réduire cette incapacité à 20 %. Par jugement du 8 juillet 2014, la juridiction cantonale a rejeté le recours et confirmé la décision sur opposition de SWICA du 16 avril 2010. C. A._ interjette un recours en matière de droit public contre ce jugement. Il conclut, sous suite de frais et dépens, à ce qu'il soit mis au bénéfice d'une rente d'invalidité complémentaire LAA de 64 % dès le 1er juillet 2013, que l'assurance-accidents soit tenue de prendre en charge ses frais de traitement psychique consécutifs aux accidents des 16 août 2008 et 28 novembre 2011 tant pour le passé que pour le futur et qu'un droit à une indemnité pour atteinte à l'intégrité lui soit reconnu tant pour les atteintes aux deux chevilles que pour les troubles psychiques, le taux de cette indemnité devant être fixé par SWICA. A titre subsidiaire, il demande l'annulation du jugement cantonal et le renvoi du dossier à celui-ci pour nouveau jugement au sens des considérants. L'intimée a conclu au rejet du recours tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.