Faits :
A.
A.a. A._, associé-gérant de la société "B._ Sàrl", a été en incapacité de travail à des taux variables de façon presque continue depuis le 11 octobre 2004, alors qu'il exerçait une activité de restaurateur-traiteur. Dans un rapport du 10 janvier 2006, le docteur C._, spécialiste en rhumatologie, médecine interne et médecine du sport, a diagnostiqué des lombalgies chroniques, une hernie discale L5-S1 médiane paramédiane gauche, une obésité, une hypercholestérolémie et des gonalgies droites. Il a retenu une incapacité de travail de 80 % dans l'activité de restaurateur-traiteur indépendant.
Le 24 avril 2006, A._ a déposé une demande de prestations de l'assurance-invalidité en vue d'une orientation professionnelle et d'une rééducation dans la même profession. Le docteur D._, médecin généraliste et médecin traitant, a diagnostiqué, avec répercussion sur la capacité de travail, une hernie discale L5-S1 médiane avec lipomatose péridurale lombaire entrainant un certain rétrécissement de L3-S1 et deux foyers de chondropathie fémoro-patellaire grade 2 à 3 avec tuméfaction oedémateuse du ligament croisé antérieur (LCA), ainsi que, sans répercussion sur la capacité de travail, une obésité, une hypercholestérolémie, un status post hernie inguinale gauche incarcérée avec iléus mécanique en 1992 et une oesophagite de reflux. Pour le médecin traitant, la capacité de travail dans une activité de cuisine était de 50 % alors qu'elle était entière et sans diminution de rendement pour un travail administratif de planification, d'organisation, de gestion des commandes et de contrôle (rapport du 21 juin 2006). Le docteur E._, spécialiste en médecine interne et maladies rhumatismales, a diagnostiqué des lombalgies mécaniques, une discopathie L5-S1 avec hernie discale médiane-paramédiane gauche légèrement luxée vers le haut, une lipomatose péridurale modérée, des gonalgies droites, un status après méniscectomie interne partielle, une chondropathie rotulienne avec épaississement du LCA d'origine indéterminée, une obésité, une hypercholestérolémie, un antécédent de tabagisme jusqu'en 2003 et un status après opération de hernie inguinale suivie d'iléus (rapport du 27 juin 2006). Le docteur F._, spécialiste en médecine interne et rhumatologie, a examiné l'assuré à la demande du SMR le 19 décembre 2006. Dans son rapport du 24 janvier 2007, il a diagnostiqué, avec répercussion sur la capacité de travail, des lombocruralgies et des cervico-brachialgies bilatérales dans le cadre de troubles statiques et dégénératifs du rachis avec hernie discale L5-S1, une lipomatose péridurale lombaire modérée entraînant un rétrécissement modéré du fourreau dural avec périarthrite scapulo-humérale bilatérale sous forme d'un conflit sous-acromial et des gonalgies bilatérales dans le cadre d'une chondropathie fémoro-patellaire droite, d'un petit kyste poplité interne et d'une tuméfaction oedémateuse diffuse du LCA droit, ainsi que, sans répercussion sur la capacité de travail, une suspicion de syndrome du tunnel carpien bilatéral et une obésité. Ce médecin a retenu une capacité de travail entière dans une activité adaptée aux limitations fonctionnelles suivantes : possibilité d'alterner la position debout-assis deux fois par heure, pas de port régulier de charges de plus de 12 kg, pas de soulèvement régulier de poids de plus de 5 kg, pas de travail en porte-à-faux statique prolongé du tronc, pas d'élévation ou d'abduction des membres supérieurs à plus de 80°, pas de travaux nécessitant des génuflexions répétées ou le franchissement régulier d'escabeaux, d'échelles ou escaliers.
Par projet de décision du 15 mai 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a pris note que l'assuré avait renoncé à des mesures de reclassement professionnel pour reprendre le restaurant de l'Hôtel G._ à H._ dès le 1er octobre 2007 et, partant, a fixé le taux d'invalidité théorique sur la base des rapports médicaux en sa possession à 26,5 %, soit un taux ne donnant pas droit à une rente.
A.b. Le 16 août 2008, A._ roulait au volant de son véhicule automobile lorsqu'une voiture venant en sens inverse s'est déportée sur la gauche et est venue emboutir l'angle avant gauche de son véhicule. Il s'en est suivi une violente collision au cours de laquelle A._ a été gravement blessé. Le docteur I._, chirurgien orthopédiste aux Etablissements hospitaliers J._, à K._, a diagnostiqué une fracture du pilon tibial gauche type AOC I traitée par ostéosynthèse, une contusion du genou gauche, une entorse du ligament collatéral externe de la cheville droite, une fracture costale basale gauche, une lésion en deux temps de la rate traitée par splénectomie et une exacerbation des lombosciatalgies (rapport du 24 décembre 2008). Le cas a été pris en charge par SWICA Assurances SA (ci-après: SWICA) en qualité d'assureur-accidents.
Suite à son accident, A._ a été en incapacité totale de travail jusqu'au 19 novembre 2008, date à partir de laquelle le docteur I._ a admis une capacité de travail de 10 % dans une activité administrative liée à la restauration (rapport du 24 décembre 2008).
Mandaté par Swica, le docteur L._, chirurgien orthopédiste, n'a pas été en mesure de se prononcer sur l'état de la cheville gauche en raison de la discrépance entre l'état radiologique et clinique, tel que décrit par le docteur I._, et l'état décrit par l'assuré. Concernant le genou gauche, ce médecin n'a pas exclu une compression du genou lors de l'accident. Toutefois, l'IRM n'ayant pas mis en évidence de lésion traumatique mais uniquement des lésions dégénératives préexistantes, il en a conclu que les troubles n'étaient pas en lien avec l'accident et que le statu quo sine avait été atteint entre 10 et 15 jours après l'atteinte. S'agissant des douleurs lombaires, d'origine dégénérative, leur symptomatologie douloureuse avait pu être aggravée par la violence du choc mais seulement de façon passagère (rapport du 23 avril 2009).
Une expertise a été confiée au docteur M._, chirurgien orthopédiste, lequel, dans son rapport du 31 août 2009, a diagnostiqué un status après fracture comminutive du pilon tibial gauche, traitée par réduction sanglante et ostéosynthèse le 25 août 2008, un status après splénectomie le 29 août 2008 pour rupture en deux temps, un status après contusion du genou gauche, un status après entorse du ligament collatéral externe de la cheville droite, une fracture costale basale gauche, des dorso-lombalgies et sciatalgies sur troubles statiques et dégénératifs, une hernie discale L5-S1 non déficitaire, une arthrose cervicale, une gonarthrose bilatérale et une surcharge pondérale. L'expert a estimé que les dorso-lombalgies, sciatalgies et gonalgies avaient pu être aggravées par l'accident mais que cette aggravation était limitée dans le temps. Il a ainsi admis que ces affections avaient atteint leur statu quo sine vel ante après un an et que, passé ce délai, il n'y avait plus de lien de causalité avec l'accident. Concernant l'atteinte aux deux chevilles, qui était en relation directe avec l'accident, il a considéré qu'elle permettait un taux d'occupation à 100 % dans une activité adaptée, qu'une activité de cafetier était également possible à 100 % mais que, comme cuisinier, la capacité de travail était limitée entre 50 et 75 %. Comme gérant d'un restaurant-traiteur, il a admis que la capacité de travail de l'assuré était entière. Concernant les limitations fonctionnelles permettant une activité à 100 % sans diminution de rendement, il les a fixées comme suit: pas de position debout prolongée, pas de soulèvement ou port de charges et un travail privilégiant la position assise.
Suite à un séjour du 19 octobre au 6 novembre 2009 dans l'Unité de rééducation du Département de l'appareil locomoteur de l'Hôpital N._, la doctoresse O._, médecin associé, a diagnostiqué des dorsalgies sur protrusion discale D8/D9 et dans une moindre mesure D9/D10 et D10/D11, des lombalgies chroniques sur lésions dégénératives étagées et hernie discale L5/S1, des gonalgies gauches sur gonarthrose tibio-fémorale interne, un status post-fracture du pilon tibial gauche traitée par ostéosynthèse en août 2008 - arthrose post-traumatique, un status post-entorse de la cheville droite (accident du 2 [recte 16] août 2008), une atteinte tronculaire du nerf péronier droit post-traumatique (accident du 2 [recte 16] août 2008) et un status post-fracture en deux temps de la rate post-accident (accident du 2 [recte 16] août 2008) - splénectomie. Ce médecin a considéré que la contusion du genou gauche, causée par l'accident du 16 août 2008, avait décompensé une gonarthrose préexistante et que les dorso-lombalgies avaient eu une évolution défavorable depuis l'accident avec augmentation des douleurs et des limitations fonctionnelles. De plus, un examen électroneuromyographique a confirmé une atteinte axonale compatible avec une atteinte tronculaire du nerf péronier droit, certainement secondaire à l'accident (rapport du 23 novembre 2009).
Interpellé sur les conclusions du rapport de la doctoresse O._, l'expert M._ a confirmé son rapport et contesté l'existence d'une relation de causalité naturelle entre l'accident et la parésie des péroniers ainsi que l'extenseur des orteils droits. Ces atteintes étaient des séquelles possibles de l'accident sans influence sur la capacité de travail (rapport du 21 décembre 2009). Dans un rapport du 25 février 2010, le docteur I._ a pour sa part admis l'existence de ce lien de causalité naturelle.
Par décision du 4 mars 2010, SWICA a admis que les plaintes en rapport avec les deux chevilles étaient en relation de causalité avec l'accident. Par contre, elle a nié celle-ci pour les dorso-lombalgies et les gonalgies bilatérales, estimant que l'aggravation de ces atteintes provoquées par l'accident était limitée dans le temps et qu'après un an l'état quo sine vel ante avait été atteint. Concernant la parésie des péroniers et l'extenseur des orteils droits, elle a retenu que la relation de causalité naturelle était possible mais non probable. Elle a donc décidé de supprimer le droit aux traitements médicaux en rapport avec les dorso-lombalgies et les gonalgies à partir du 25 août 2009. Elle a admis la continuation de la prise en charge du traitement des chevilles, y compris l'ablation du matériel d'ostéosynthèse (AMO), à l'exclusion des parésies des péroniers et de l'extenseur des orteils. Elle a octroyé des indemnités journalières jusqu'au 31 mars 2010 et a fixé l'indemnité pour atteinte à l'intégrité à 10 % pour la splénectomie. Elle a reporté l'évaluation de cette indemnité concernant les chevilles.
Par décision du 16 avril 2010, elle a rejeté l'opposition et a maintenu sa décision du 4 mars 2010.
B.
B.a. A._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à l'octroi des indemnités journalières au-delà du 1er avril 2010, à la prise en charge intégrale des frais médicaux à partir du 25 août 2009, à l'octroi d'une indemnité pour atteinte à l'intégrité à fixer suite à une expertise médicale à ordonner et à l'octroi d'une rente d'invalidité dont le taux devait être fixé suite à cette expertise, après la cessation du droit aux indemnités journalières.
B.b. A._ a été victime d'un nouvel accident de la route le 28 novembre 2011. Le véhicule dont il était passager a été embouti par l'arrière à une vitesse de 17 à 20 km/h à l'approche d'un giratoire. Il a ressenti une douleur irradiante vers la nuque, ce qui a occasionné un arrêt complet de travail jusqu'à fin décembre 2011. Aucun document en rapport avec cet accident n'a été produit et la suite donnée par SWICA est inconnue.
La juridiction cantonale a mandaté le Bureau romand d'expertises médicales (BREM) pour examiner l'assuré. L'expertise a été confiée à la doctoresse P._, spécialiste en rhumatologie et en médecine interne, à la doctoresse Q._, psychiatre et psychothérapeute, au docteur R._, neurologue, et au docteur S._, chirurgien orthopédiste. Dans leur rapport du 25 mai 2012, les experts ont diagnostiqué une anxiété généralisée (F 41.1), un syndrome douloureux somatoforme persistant (F. 45.4), un syndrome de dépendance aux benzodiazépines, utilisation continue (F 13.25), un status après fracture comminutive du tibia distal gauche ostéosynthésée, status après AMO, arthrose secondaire (M 19.1), un status après probable contusion du nerf sciatique poplité externe droit sans séquelle significative (G 57.3), un syndrome cervical modéré et un syndrome lombo-vertébral variable sur spondylodiscarthrose avec lipomatose péridurale lombaire, sans myélopathie ni radiculopathie, sans instabilité (M 47.8), un status après entorse de la cheville droite (M 19.1), un status après splénectomie pour rupture traumatique de la rate (S 36.0), un status après contusions multiples et fracture de la côte basale gauche (T 00.9), une gonarthrose à prédominance fémoro-patellaire, status après méniscectomie droite dans sa jeunesse (M 17.9), un syndrome du canal carpien bilatéral (G 56.0), un excès pondéral (R 63.2), une hypertension artérielle I 10 avec dyslipidémie (E 78.0), un status après carcinome papillaire de la vessie de haut grade, stade (G3 T1) traité (C 67.9) et un syndrome d'apnée du sommeil de degré léger (R 06.8). Pour les experts, le status après fracture comminutive du tibia distal gauche ostéosyntésée, status après AMO, arthrose secondaire, le status après entorse de la cheville droite, le status après splénectomie pour rupture traumatique de la rate, le status après contusions multiples et fracture de la côte basale à gauche résultaient de façon certaine de l'accident du 16 août 2008. La contusion du nerf sciatique poplité externe n'était qu'en relation de causalité possible avec l'accident de 2008. De plus, il y avait eu une bonne récupération au niveau de cette atteinte, si bien qu'il ne subsistait aucune séquelle neurologique significative sur le plan clinique. Ainsi, la "faiblesse" et la boiterie ne s'expliquaient pas par une atteinte neurologique ou par une atteinte du nerf sciatique poplité externe mais par une parésie fonctionnelle. Concernant le syndrome cervical modéré, les experts l'ont mis en lien de causalité vraisemblable avec l'accident du 28 novembre 2011. Le syndrome du canal carpien était pour sa part sans lien avec l'accident. S'agissant du syndrome lombo-vertébral, les experts ont retenu un état préexistant pour lequel l'accident avait provoqué une décompensation passagère au niveau lombaire dont la causalité avec l'accident était largement éteinte. Quant à la gonarthrose bilatérale, ils ont admis un état antérieur pour lequel l'accident de 2008 ne déployait plus d'effet. Concernant l'anxiété généralisée et le syndrome douloureux somatoforme persistant, les experts ont retenu qu'ils étaient dus de façon probable à l'accident de 2008. Dans l'historique des troubles psychiques, ils ont estimé qu'après ce premier accident, l'assuré avait souffert d'un trouble anxieux d'intensité moyenne et qu'après l'accident de 2011, le syndrome douloureux somatoforme persistant s'était développé.
Dans leurs conclusions, les experts ont considéré que, sur le plan somatique, le statu vel ante était atteint pour les affections existantes au moment de l'expertise du docteur M._. Les problèmes somatiques antérieurs à l'accident de 2008 entraînaient déjà une incapacité totale de travail dans une activité de cuisinier-traiteur comprenant un travail en cuisine, le service, la livraison de produits et les achats. Les seules séquelles somatiques de l'accident de 2008 entraînaient une incapacité de travail partielle dans l'activité de patron d'un restaurant-traiteur, liée aux limitations dans toutes les tâches exigeant la station debout ou la marche prolongée. Le taux de cette incapacité pouvait varier selon le poste occupé dans l'établissement. Par contre, il n'existait aucune incapacité de travail pour une activité de nature purement administrative. Sur le plan psychiatrique, l'aggravation du trouble anxieux sous forme d'anxiété généralisée et d'un syndrome douloureux somatoforme persistant entraînait une incapacité de travail de 40 % dans toute activité, un traitement correct devant pouvoir réduire cette incapacité à 20 %.
Par jugement du 8 juillet 2014, la juridiction cantonale a rejeté le recours et confirmé la décision sur opposition de SWICA du 16 avril 2010.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Il conclut, sous suite de frais et dépens, à ce qu'il soit mis au bénéfice d'une rente d'invalidité complémentaire LAA de 64 % dès le 1er juillet 2013, que l'assurance-accidents soit tenue de prendre en charge ses frais de traitement psychique consécutifs aux accidents des 16 août 2008 et 28 novembre 2011 tant pour le passé que pour le futur et qu'un droit à une indemnité pour atteinte à l'intégrité lui soit reconnu tant pour les atteintes aux deux chevilles que pour les troubles psychiques, le taux de cette indemnité devant être fixé par SWICA. A titre subsidiaire, il demande l'annulation du jugement cantonal et le renvoi du dossier à celui-ci pour nouveau jugement au sens des considérants.
L'intimée a conclu au rejet du recours tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
Le recourant conclut à ce que les conséquences des deux accidents dont il a été victime en date des 16 août 2008 et 28 novembre 2011 soient examinées dans la présente procédure. Comme l'a relevé à juste titre la juridiction cantonale, la décision attaquée ne porte que sur l'accident du 16 août 2008, l'autre accident étant même postérieur à celle-ci. Il apparaît donc clairement que l'accident du 28 novembre 2011 et ses conséquences éventuelles ne font pas partie de l'objet du litige. Le Tribunal fédéral n'entre donc pas en matière sur cette question.
2.
Le litige porte dès lors uniquement sur le droit du recourant aux prestations de l'assurance-accidents suite à l'accident survenu le 16 août 2008. Le Tribunal fédéral n'est donc pas lié par l'état de fait constaté par la juridiction inférieure (art. 97 al. 2 et 105 al. 3 LTF).
3.
La juridiction cantonale a retenu que, sur le plan somatique, le lien de causalité avec l'accident de 2008 n'était établi que pour le status après fracture comminutive du tibia distal gauche ostéosynthésée, status après AMO et arthrose secondaire, le status après entorse de la cheville droite, le status après splénectomie pour rupture traumatique de la rate, le status après contusions multiples et la fracture de la côte basale gauche. Elle a donc admis que l'intimée pouvait mettre fin à la prise en charge des frais de traitement concernant les gonalgies bilatérales et les dorso-lombalgies depuis le 25 août 2009. De plus, l'intimée n'avait pas à prendre en charge les frais de traitement de la parésie des péroniers et de l'extenseur des orteils. Sur le plan psychique, elle a nié l'existence d'un lien de causalité adéquate entre l'accident de 2008 et l'anxiété généralisée ainsi que le syndrome douloureux somatoforme persistant, les conditions fixées par la jurisprudence n'étant pas données.
Accordant pleine valeur probante à l'expertise du BREM, la juridiction cantonale a admis que l'assuré avait récupéré, à partir du mois d'août 2009, une capacité de travail entière dans une activité adaptée aux limitations fonctionnelles connues avant l'accident. Compte tenu de celles-ci, elle a considéré que l'atteinte supplémentaire aux chevilles n'avait pas augmenté l'incapacité de travail globale, le recourant ayant à nouveau une capacité de travail identique à celle qui était la sienne avant l'accident. Elle a donc admis que c'était à juste titre que l'intimée avait cessé le versement des indemnités journalières dès le 1er avril 2010. Elle a également nié le droit à une rente.
Concernant l'indemnité pour atteinte à l'intégrité, elle a constaté que l'intimée avait uniquement statué sur l'indemnité due en raison de la splénectomie. Se basant sur l'avis des experts, elle a confirmé le taux retenu par l'intimée. Celle-ci ayant reporté sa décision sur l'indemnité en rapport avec l'atteinte aux chevilles, la juridiction cantonale a estimé qu'elle ne pouvait pas trancher cette question qui n'avait pas fait l'objet de la décision querellée. Enfin, elle a considéré que le dossier était complet et qu'elle pouvait statuer par appréciation anticipée des preuves sans ordonner d'autres mesures d'instruction.
4.
Le recourant conteste l'appréciation de la juridiction cantonale et estime avoir droit à une rente d'invalidité dès le 1er juillet 2013 en relation avec les séquelles physiques et psychiques résultant des deux accidents (2008 et 2011), à la prise en charge des frais du traitement médical des troubles psychiques et à une indemnité pour atteinte à l'intégrité liée à ces troubles psychiques.
5.
5.1. Sur le plan somatique, le recourant ne prétend pas que la liste des atteintes retenues par la juridiction cantonale comme étant en rapport de causalité naturelle avec l'accident de 2008 serait incomplète. Il fait uniquement valoir que ces atteintes ont provoqué des limitations fonctionnelles plus invalidantes que celles qui existaient avant l'accident, en particulier celles liées aux lésions des chevilles.
5.2. Les experts du BREM ont retenu, sur le plan somatique, des limitations fonctionnelles liées:
- au rachis: nécessité de pouvoir alterner la position assise et la position debout, ce qui permettait également de varier la position de la tête; pas de soulèvement régulier de charges d'un poids excédant 5 kg; pas de port régulier de charges d'un poids excédant 12kg; pas de travail en porte-à-faux statique prolongé du tronc;
- aux membres supérieurs: pas de travail en élévation ou d'abduction des membres supérieurs à plus de 80°; pas de lever de charges excédant 8 kg avec les membres supérieurs;
- aux membres inférieurs: pas de travail nécessitant des génuflexions répétées ou l'utilisation d'escabeaux, d'échelles ou escaliers de manière fréquente.
Les experts ont considéré que seules les limitations fonctionnelles liées aux membres inférieurs étaient en rapport de causalité avec l'accident de 2008 et que l'atteinte après probable contusion du nerf sciatique poplité externe droit avait bien récupéré et qu'il ne subsistait aucune séquelle neurologique significative sur le plan clinique. Pour les experts, l'arthrose tibio-tarsienne gauche et l'entorse de la cheville droite étaient en relation certaine avec l'accident de 2008, alors que la gonarthrose bilatérale constituait un état antérieur. Ces appréciations rejoignent celles du docteur M._ qui, dans son expertise du 31 août 2009, a estimé que les limitations fonctionnelles relevées par l'assuré étaient principalement en rapport avec les problèmes dorso-lombaires et les gonalgies. Ce médecin a aussi considéré que les plaintes au niveau des deux chevilles étaient en rapport de causalité direct avec l'accident de 2008 alors que ce n'était plus le cas pour les gonalgies bilatérales et les dorso-lombalgies en raison de l'écoulement d'une année depuis celui-ci. La doctoresse O._ a, pour sa part, constaté que l'existence de lésions dégénératives au niveau de la cheville gauche, visibles sur la radiographie, était certainement responsable des douleurs et d'une mobilisation tibio-astragalienne limitée. Concernant la cheville droite, elle a fait état d'une neuropathie péronière droite. Elle n'a pas fixé de limitations fonctionnelles (rapport du 23 novembre 2009). Le docteur I._ a, quant à lui, retenu une relation de causalité entre l'accident et une atteinte tronculaire du nerf péronier, sans préciser de limitations fonctionnelles (rapport du 25 février 2010). De plus, dans un rapport du 5 décembre 2012, ce médecin a précisé que le lien de causalité entre l'invalidité actuelle et l'accident de 2008 était certain. Le docteur T._, qui a examiné l'assuré en dernier lieu le 26 août 2010, a considéré que l'atteinte aux membres inférieurs était entièrement due aux séquelles de l'accident de 2008 et il a confirmé l'existence d'une lésion du nerf sciatique poplité externe à droite (rapport du 4 décembre 2012).
Au vu de l'ensemble de ces rapports médicaux, il apparaît que rien ne permet de douter des limitations fonctionnelles fixées par les experts du BREM, appréciation identique à celle du docteur M._. En effet, les autres médecins ne se sont pas prononcés sur les limitations fonctionnelles et ont retenu une atteinte neurologique au niveau du nerf sciatique poplité externe, qui n'existait plus lors de l'expertise du BREM.
Par ailleurs, les limitations fonctionnelles retenues par les experts du BREM sont aussi identiques à celles fixées par le docteur F._ dans son rapport du 24 janvier 2007 à l'intention de l'Office cantonal vaudois de l'assurance-invalidité. Ce rapport a été établi sur la base de l'état de santé de l'assuré le 19 décembre 2006, soit plus d'un an et demi avant l'accident. S'agissant de la capacité de travail résultant des atteintes existant avant l'accident de 2008, le docteur F._ a considéré qu'elle était entière dans une activité adaptée aux limitations fonctionnelles. Les experts du BREM sont arrivés à la même conclusion en tenant compte des atteintes somatiques en rapport de causalité avec cet accident.
Compte tenu de ces éléments, la juridiction cantonale pouvait retenir sur le plan somatique, sans violer le droit fédéral, que les limitations fonctionnelles telles que définies par les experts du BREM correspondaient à la réalité et qu'elles n'occasionnaient pas une incapacité de travail supérieure à celle existant avant l'accident.
6.
6.1. Sur le plan psychiatrique, le recourant considère que les troubles dont il souffre sont en rapport de causalité adéquate avec les accidents de 2008 et 2011.
6.2. Les experts du BREM ont retenu, sur le plan psychique, un trouble anxieux d'intensité moyenne après l'accident de 2008 qui s'était transformé en anxiété généralisée et en syndrome douloureux somatoforme persistant après l'accident de 2011. Ces affections psychiques étaient dues, de façon probable, à l'accident de 2008.
6.3. En vue de juger du caractère adéquat du lien de causalité entre un accident et une affection psychique additionnelle à une atteinte à la santé physique, il faut d'abord classer les accidents en trois catégories, en fonction de leur déroulement: les accidents insignifiants, ou de peu de gravité; les accidents de gravité moyenne et les accidents graves. Pour procéder à cette classification, il convient non pas de s'attacher à la manière dont l'assuré a ressenti et assumé le choc traumatique, mais bien plutôt de se fonder, d'un point de vue objectif, sur l'événement accidentel lui-même.
En présence d'un accident de gravité moyenne, il faut prendre en considération un certain nombre de critères, dont les plus importants sont les suivants (<ref-ruling> consid. 6c/aa p. 140; 403 consid. 5c/aa p. 409) :
les circonstances concomitantes particulièrement dramatiques ou le caractère particulièrement impressionnant de l'accident;
la gravité ou la nature particulière des lésions physiques, compte tenu notamment du fait qu'elles sont propres, selon l'expérience, à entraîner des troubles psychiques;
la durée anormalement longue du traitement médical;
les douleurs physiques persistantes;
les erreurs dans le traitement médical entraînant une aggravation notable des séquelles de l'accident;
les difficultés apparues au cours de la guérison et des complications importantes;
le degré et la durée de l'incapacité de travail due aux lésions physiques.
Il n'est pas nécessaire que soient réunis dans chaque cas tous ces critères. Suivant les circonstances, un seul d'entre eux peut être suffisant pour faire admettre l'existence d'une relation de causalité adéquate. Il en est ainsi lorsque l'accident considéré apparaît comme l'un des plus graves de la catégorie intermédiaire, à la limite de la catégorie des accidents graves, ou encore lorsque le critère pris en considération s'est manifesté de manière particulièrement importante (<ref-ruling> consid. 6 c/bb p. 140 ; 403 consid. 5 c/bb p. 409).
6.4.
6.4.1. En l'espèce, l'accident doit être rangé dans la catégorie des accidents de gravité moyenne et non pas dans la catégorie des accidents graves ou à la limite des cas graves au vu des précédents jurisprudentiels (en particulier 8C_767/2009 du 3 août 2010). En effet, le véhicule roulant en sens inverse s'est déporté sur sa gauche une première fois avant de revenir sur sa partie de route. Puis, arrivé à la hauteur du véhicule du recourant, il s'est à nouveau déporté sur sa gauche et a embouti l'angle avant gauche de la voiture du recourant avec son aile avant gauche. Le choc a été d'une violence certaine. Il n'a toutefois pas été frontal. De plus, le recourant a pu sortir par lui-même de son véhicule (témoignage U._).
6.4.2. Le recourant ne prétend pas que l'accident a eu un caractère particulièrement impressionnant mais il estime que la gravité des lésions provoquées par l'accident était suffisante pour admettre un lien de causalité adéquate entre l'accident et les troubles psychiques. Les lésions physiques étaient effectivement importantes puisqu'elles ont nécessité une splénectomie, l'ostéosynthèse d'une fracture comminutive du tibia distal gauche. De plus, l'accident a causé une entorse de la cheville droite et une fracture de la côte basale gauche. Dans son expertise, le docteur M._ a retenu un status post-splénectomie rassurant. Par la suite, aucun autre médecin n'a envisagé d'autres séquelles de cette opération. Il faut donc admettre une évolution favorable, tout comme cela est le cas pour la fracture de la côte basale gauche. S'agissant des atteintes aux chevilles, le docteur M._ a retenu une évolution post-traumatique favorable. Pour la cheville gauche, il a constaté une consolidation et une bonne réduction de la fracture ainsi qu'une bonne mobilité de l'articulation. Pour la cheville droite, la mobilité était normale sans aucune instabilité ligamentaire. La doctoresse O._ a pour sa part retenu des douleurs d'intensité supportable au niveau de la cheville gauche et une mobilité tibio-astragalienne limitée. Elle a estimé que les lésions dégénératives visibles à la radiographie étaient responsables de cette situation. Concernant la cheville droite, elle a relevé l'existence d'une atteinte axonale compatible avec une atteinte tronculaire du nerf péronier droit (rapport du 23 novembre 2009). A noter que cette dernière atteinte n'existait plus lors de l'expertise du BREM. Le docteur I._ a mentionné que la fracture du tibia gauche était consolidée, que la mobilité en flexion dorso-plantaire était satisfaisante et qu'il n'y avait ni épanchement intra-articulaire ni empâtement péri-articulaire (rapport du 13 janvier 2010). Ces constations ont été confirmées par les experts du BREM qui ont retenu une légère évolution dégénérative dont ils ont tenu compte. Au vu de ces éléments, il faut admettre une évolution favorable au niveau des membres inférieurs, qui avaient atteint le statu quo sine vel ante en août 2009 selon l'appréciation du docteur M._, confirmée par les experts du BREM. La durée du traitement médical n'a pas été anormalement longue compte tenu de l'état préexistant et des multiples atteintes dues à l'accident. Le critère des douleurs physiques persistantes n'est pas déterminant au cas présent, faute de pouvoir quantifier celles qui sont en rapport avec l'accident. En effet, les experts du BREM ont constaté que le recourant se disait principalement dérangé dans la vie quotidienne par des douleurs lombaires et cervicales, soit des douleurs sans rapport de causalité naturelle avec l'accident. Il n'y a eu ni erreurs dans le traitement médical, ni difficultés ou complications importantes au cours de la guérison. La durée de l'incapacité de travail due aux lésions physiques découlant de l'accident a été longue mais en rapport avec les lésions subies.
6.5. Dans ces conditions, il y a lieu de considérer qu'il n'existe pas de critères objectifs suffisants pour admettre l'existence d'un lien de causalité adéquate entre les atteintes psychiques diagnostiquées par les experts du BREM et l'accident du 16 août 2008.
En conséquence, force est de constater que l'accident n'a pas provoqué une incapacité de travail, respectivement de gain, supérieure à celle résultant des affections préexistantes.
Le recours doit donc être rejeté sur ce point.
7.
Le recourant n'a pas contesté le montant de l'indemnité pour atteinte à l'intégrité en rapport avec l'ablation de la rate et a admis que l'indemnité liée à l'atteinte aux chevilles fasse l'objet d'une décision ultérieure de l'intimée. De plus, aucune indemnité n'est due en relation avec les troubles psychiques, faute de rapport de causalité adéquate.
8.
Le recours est rejeté.
9.
Le recourant, qui succombe, doit supporter les frais de justice (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 31 août 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Ursprung
La Greffière : Fretz Perrin