Faits :
A.
A.a. X._ (ci-après: le lésé ou l'assuré), né le 13 septembre 1956, a exercé diverses activités professionnelles:
-entre 1986 et 2005, il a travaillé comme formateur à l'Ecole A._, à raison d'environ 240 périodes par année;
- dès 1993, il a exercé une activité comme responsable au sein du centre de formation professionnelle de l'Union B._. Il y a donné des cours jusqu'au mois de mars 2005;
-entre 1994 et 2003, il a exploité seul (à titre indépendant) l'entreprise individuelle C._ à....
A.b. Le 28 juillet 2003, l'assuré, arrêté à un feu rouge au volant de sa voiture, a été percuté par l'arrière par le véhicule de F._ - assurée en responsabilité civile auprès de Z._ SA (ci-après: la compagnie d'assurances ou l'assurance). L'alcoolémie de la conductrice fautive s'élevait à 2.81 o/oo (valeur moyenne) et elle était sous l'influence d'un médicament anxiolytique. Ayant pourtant convenu avec le lésé qu'elle s'arrêterait au bord de la route, elle a pris la fuite. L'irresponsabilité de l'auteur de l'accident a été soulignée par les psychiatres ayant examiné le lésé qui ont insisté sur les conséquences néfastes pour le lésé d'un tel comportement. Ce dernier, qui a rapidement ressenti des douleurs cervicales sur le côté droit, a recherché la conductrice en vain dans le quartier, puis il s'est finalement présenté seul au poste de police pour décrire le déroulement de l'accident.
La déclaration d'accident du 31 août 2003 mentionne diverses parties du corps atteintes et les blessures suivantes: cervicales, coup du lapin, entorse cervicale, vertiges et acouphènes.
Par jugement du 11 juillet 2006, le Tribunal de police de Lausanne a condamné F._ pour lésions corporelles simples par négligence.
Depuis octobre 2003, le lésé a été examiné par de nombreux spécialistes en neurologie et en psychiatrie/psychothérapie, ainsi que, pendant l'instruction, par des experts judiciaires (cf. infra let. B).
A.c. Il a été établi qu'il n'existait - hormis sur une période de deux à trois mois après l'accident - aucun lien de causalité naturelle entre l'événement dommageable du 28 juillet 2003 et les divers troubles physiques dont se plaignait le lésé.
En revanche, sur le plan psychiatrique, le lien de causalité naturelle entre l'accident et la souffrance psychique du lésé a été jugé comme hautement vraisemblable (arrêt entrepris p. 43). Le lésé a subi une modification durable de sa personnalité " après exposition à un stress prolongé ". Sa dépression est qualifiée de sévère.
A.d. Depuis l'accident, le lésé n'a pas pu reprendre son activité professionnelle et il a dû remettre son entreprise.
Le 18 mai 2005, il a été informé qu'il ne pouvait plus enseigner à l'Ecole A._ dès lors qu'il n'exerçait plus d'activité dans le domaine de l'électronique et que l'enseignement était conditionné à l'exercice d'une activité dans ce domaine. Il a été licencié avec effet au 31 décembre 2005.
Il a également dû abandonner son activité auprès de l'Union B._.
A.e. Depuis 2004, l'assuré perçoit une rente entière de l'AI, ainsi que des rentes pour ses deux enfants. La rente entière sera ensuite transformée en rente AVS complète.
B.
B.a. Le 6 février 2009, le lésé a intenté une action en paiement contre la compagnie d'assurances, concluant à ce que celle-ci soit condamnée à lui verser le montant de 1'545'137 fr. " avec intérêts à 5% ".
La défenderesse a conclu au rejet de la demande et, reconventionnellement, à ce que le demandeur lui verse le montant de 4'800 fr.
Le demandeur a ensuite réduit ses conclusions en ce sens que la défenderesse soit condamnée à lui verser le montant de 876'296 fr. " avec intérêts à 5% ".
En cours d'instruction, diverses expertises judiciaires ont été ordonnées: une expertise médicale pluridisciplinaire dans laquelle chaque expert (de la Policlinique E._ à...) s'est exprimé dans son domaine de compétence, à savoir la rhumatologie (Dr G._), la médecine interne (Dresse H._) et la psychiatrie/psychothérapie (Dr I._); une expertise financière (J._, expert comptable diplômé) ayant en particulier pour but de déterminer le revenu hypothétique du lésé; une expertise visant à établir les circonstances de l'accident (K._ du Centre V._).
B.b. Par jugement du 23 janvier 2015, la Cour civile du Tribunal cantonal vaudois a condamné la défenderesse à payer au demandeur les sommes de 30'829 fr.50, avec intérêts à 5% l'an dès le 1er janvier 2015 (perte de gain future), 10'082 fr., avec intérêts à 5% l'an dès le 6 février 2009 (frais d'avocat), 15'000 fr., avec intérêts à 5% l'an dès le 9 février 2009 (tort moral), les autres conclusions étant rejetées.
B.c. Par arrêt du 9 août 2016, la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel du 8 janvier 2016 du demandeur et réformé le premier jugement en ce sens que la défenderesse doit verser au demandeur les sommes de 30'829 fr.50, avec intérêts à 5% l'an dès le 1er janvier 2015 (poste " perte de gain future " non modifié par la cour cantonale), 1'789 fr.50, sans intérêts (perte portant sur la rente LPP), 10'983 fr.15, avec intérêts à 5% l'an dès le 6 février 2009 (frais d'avocat) et 25'000 fr., avec intérêts à 5% l'an dès le 6 février 2009 (tort moral).
C.
L'assuré exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 9 août 2016. Il conclut, principalement, à sa réforme en ce sens que la défenderesse soit condamnée à lui verser les sommes de 116'199 fr. avec intérêts à 5% l'an dès le 1er avril 2010 (perte de gain passée), de 160'694 fr. " dont 30'829 fr.50 avec intérêts à 5% l'an dès le 1er janvier 2015 " (perte de gain future), 15'547 fr. " dont 1'789 fr.50 avec intérêts à 5% l'an dès le 1er août 2016 " (perte portant sur la rente LPP), 21'966 fr. 30 avec intérêts à 5% l'an dès le 6 février 2003 (frais d'avocat) et 300'000 fr. avec intérêts à 5% l'an dès le 28 juillet 2003 (tort moral). Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente. Le recourant invoque une constatation arbitraire des faits (art. 9 Cst.), ainsi qu'une violation de l'art. 29 al. 1 Cst., de l'<ref-law> et des art. 42, 43, 44 et 47 CO.
L'intimée (défenderesse) conclut au rejet du recours.
Les parties ont encore chacune déposé des observations.

Considérant en droit :
1.
1.1. Interjeté en temps utile (<ref-law>) par le demandeur qui a succombé partiellement dans ses conclusions en paiement (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu sur recours par le tribunal supérieur du canton (<ref-law>) dans une contestation relevant de la responsabilité civile, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 72 al. 1 et 74 al. 1 let. b LTF), le recours en matière civile est recevable au regard de ces dispositions.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Le Tribunal fédéral se montre réservé en matière de constatations de fait et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9 et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18).
Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 261 s.).
2.
Dans un considérant consacré au rapport de causalité et au calcul de l'indemnité (<ref-law>), les magistrats cantonaux ont admis le lien de causalité naturelle et adéquate, tout en considérant que la réduction (50%) opérée par les premiers juges était fondée, tant sur le principe que sur la quotité, au motif qu'il " n'était pas dans l'ordre des choses qu'un accident tel que celui qui s'est produit puisse causer des troubles psychiatriques d'une telle ampleur alors qu'il n'existait aucune lésion physique objectivable ni objectivée (arrêt entrepris consid. 4.4 p. 44) ".
Le recourant est d'avis que la cour cantonale, en confirmant cette réduction, n'a pas tenu compte de la jurisprudence et qu'elle a donc violé les <ref-law>.
Pour la clarté du débat, il y a lieu de revenir brièvement sur les notions de causalité naturelle et de causalité adéquate (cf. infra consid. 2.1) et d'évoquer les circonstances susceptibles d'entraîner une réduction de l'indemnité du lésé (cf. infra consid. 2.2).
2.1. Pour dire s'il y a causalité naturelle, le juge doit apprécier les preuves fournies et s'interroger, de manière purement factuelle, sur l'enchaînement des événements et le caractère indispensable, pour provoquer le résultat, du comportement invoqué à l'appui de la demande. Il appartient donc au juge d'apprécier les diverses preuves et de constater l'existence - ou l'inexistence - du rapport de causalité naturelle (cf. <ref-ruling> consid. 2b p. 177; <ref-ruling> consid. 2d p. 184).
L'examen du lien de causalité adéquate est une question de droit. Le rapport de causalité est adéquat lorsque l'acte incriminé était propre, d'après le cours ordinaire des choses et l'expérience générale de la vie, à entraîner un résultat du genre de celui qui s'est produit (<ref-ruling> consid. 3a p. 112 s.; <ref-ruling> consid. 2c/bb p. 23 s.).
En droit de la responsabilité civile, il ne se justifie pas de tenir compte de la gravité (ou de la légèreté) de l'accident lors de l'examen du rapport de causalité (<ref-ruling> consid. 3 p. 111 ss; arrêt 4A_45/2009 du 25 mars 2009 consid. 3.3.1 et 3.3.2 publiés in SJ 2010 p. 73). La faible intensité de la cause du dommage (comparée au préjudice causé) peut toutefois, en combinaison avec d'autres facteurs, être prise en compte au moment de calculer l'indemnité (" circonstances " de l'<ref-law>; <ref-ruling> consid. 3c p. 115). Il est également possible de tenir compte, à ce stade, d'une affection préexistante (<ref-law>; <ref-ruling> consid. 3c p. 114 s.).
La question de savoir s'il y a lieu de revenir sur cette jurisprudence, au vu de celle publiée par les Cours de droit social du Tribunal fédéral en ce qui concerne l'influence de la légèreté de l'accident sur la causalité adéquate, peut ici, faute de recours de l'assurance, demeurer ouverte.
2.2. La seule question à examiner a trait au calcul (et à la fixation) de l'indemnité.
2.2.1. Au moment de calculer le dommage subi par le lésé, la cour cantonale a établi, en fait, que les troubles psychiques de l'assuré ne se seraient pas développés sans l'événement dommageable. Il est donc exclu d'écarter, en application de l'<ref-law>, une part du préjudice au motif qu'elle serait liée à un état préexistant.
Ensuite, la cour précédente a relevé, en fait, qu'aucune cause concurrente n'avait joué de rôle et qu'aucun élément antérieur (vulnérabilité, troubles de la personnalité, événement particulier de l'histoire personnelle du lésé, état anxieux inhabituel préexistant à l'accident) n'avait été constaté. L'indemnité due au lésé ne pouvait donc pas non plus être réduite pour ces motifs sous l'angle de l'<ref-law> (qui traite des facteurs compris dans la sphère de la victime).
2.2.2. S'agissant des facteurs relevant de la sphère de la personne responsable (<ref-law>), la cour cantonale a retenu, sur la base de l'expertise ayant établi les circonstances de l'accident, que la collision se situait " dans la zone d'innocuité ".
L'accident devait donc être qualifié de léger et une réduction de l'indemnité pouvait être opérée. La faute grave de l'auteur de l'accident (comme " autre facteur " déterminant lors de la fixation de l'indemnité) - qui n'a pas été explicitement prise en compte par la cour cantonale - ne permet pas d'exclure d'emblée, à elle seule, toute réduction de l'indemnité (cf. ATF 45 II 310 consid. 5 p. 315 s.). Cela étant, vu la faible intensité de l'accident en l'espèce, on ne saurait reprocher à la cour cantonale d'avoir abusé de son pouvoir d'appréciation (<ref-law>) lorsqu'elle a décidé de réduire de 50% l'indemnité due au lésé, étant ici précisé que le Tribunal fédéral ne revoit qu'avec retenue la décision que le juge prend à ce sujet.
Le moyen est infondé.
Quant à l'argument que le recourant tente de tirer d'un choc dont les conséquences auraient selon lui été aggravées par le fait qu'il penchait la tête sur le côté, il se révèle sans pertinence, dès lors qu'il vise l'étendue du dommage résultant de l'accident et non l'intensité de la cause (l'accident) en tant que telle.
2.3. La réduction de l'indemnité étant confirmée, il faut revenir sur le grief visant l'exercice d'un éventuel droit préférentiel, qui tend à prémunir le lésé contre les suites défavorables d'un dommage non couvert. Le recourant estime que la cour cantonale, en ne traitant pas cette question, a commis un déni de justice formel (art. 29 al. 1 Cst.) et violé les art. 42, 43 et 44 CO.
Force est toutefois de constater qu'en l'espèce la réparation due par le tiers responsable (la conductrice fautive), ou son assurance responsabilité civile, suffit à satisfaire entièrement les créances directes (du lésé) et subrogatoire de l'assureur social. L'une des conditions à l'exercice du droit préférentiel du lésé n'est donc pas remplie (arrêt 4A_77/2011 du 20 décembre 2011 consid. 3.3.1), ce que le recourant reconnaît d'ailleurs lui-même.
Il souligne par contre qu'il y aurait une incidence s'agissant des prétentions récursoires de l'assureur social (office AI), sans toutefois fournir la moindre motivation à cet égard, ni dans son acte de recours, ni dans le mémoire d'appel du 8 janvier 2016 auquel il renvoie. Il n'explique en particulier pas en quoi il aurait un intérêt à ce que cette question soit tranchée en l'espèce (cf. <ref-law>).
Cela étant, il n'y a pas lieu d'entrer en matière sur ce moyen.
3.
Le recourant considère que la cour cantonale n'a pas calculé correctement la perte de gain passée, la perte de gain future et la perte sur les rentes du deuxième pilier. Il lui reproche en particulier d'avoir arbitrairement calculé le revenu qu'il aurait réalisé sans l'accident (revenu hypothétique).
3.1. En vertu de l'<ref-law>, applicable par le renvoi de l'<ref-law>, la victime de lésions corporelles a droit au remboursement des frais et aux dommages-intérêts qui résultent de son incapacité de travail totale ou partielle, ainsi que de l'atteinte portée à son avenir économique.
Le préjudice s'entend au sens économique. Est donc déterminante la diminution de la capacité de gain. Le dommage consécutif à l'invalidité doit, autant que possible, être établi de manière concrète. Le juge partira du taux d'invalidité médicale (ou théorique) - question qui relève du fait - et recherchera ses effets sur la capacité de gain ou l'avenir économique du lésé; cette démarche l'amènera à estimer le revenu hypothétique du lésé, soit le gain qu'il aurait obtenu dans son activité professionnelle s'il n'avait pas subi l'accident (<ref-ruling> consid. 5.1 p. 363 et les arrêts cités; arrêt 4A_77/2011 du 20 décembre 2011 consid. 2.2.1 et les arrêts cités).
Si la situation salariale concrète de la personne concernée avant l'événement dommageable constitue ainsi la référence, le juge ne doit toutefois pas se limiter à constater le revenu réalisé jusqu'alors, car l'élément déterminant repose bien davantage sur ce que le lésé aurait gagné annuellement dans le futur. Mais, il incombe en particulier au demandeur de rendre vraisemblables les circonstances de fait - à l'instar des augmentations futures probables de son salaire durant la période considérée - dont le juge peut inférer les éléments pertinents pour établir le revenu que le premier aurait réalisé sans l'accident (<ref-ruling> consid. 5.1 p. 363; <ref-ruling> consid. 2.2 p. 141). Le juge n'admettra une augmentation du revenu due à une promotion ou un changement d'activité que s'il existe des circonstances rendant ces faits vraisemblables (cf. <ref-ruling> consid. 3a/aa p. 296 s.; arrêt 4A_79/2011 du 1er juin 2011 consid. 2.2 publié in JdT 2011 I 340).
3.2. Il s'agit d'examiner les critiques du lésé visant la perte de gain passée (période du 1er janvier 2005 au 31 décembre 2014).
Pour ce poste, l'autorité cantonale a pris en compte le revenu annuel net que le lésé aurait perçu sans l'accident (revenu hypothétique). Comme il aurait poursuivi ses démarches en vue de remettre son commerce (C._) à D._ SA et qu'il aurait occupé un poste à mi-temps dans cette société, son salaire annuel a été estimé, selon la situation concrète de l'entreprise, à 22'488 fr. net en 2005 et 23'442 fr. en 2014 (après indexation au coût de la vie). La cour cantonale a ajouté que le lésé aurait continué à enseigner, mais en ne gardant qu'un seul des deux postes d'enseignant qu'il occupait alors. Elle a estimé que, pour le poste qu'il aurait gardé, il aurait perçu une moyenne de 10'009 fr.50 en 2005 et de 10'434 fr. en 2014 (après indexation). Le revenu hypothétique annuel net moyen du demandeur entre 2005 et 2014 se serait ainsi élevé à 33'186 fr.75 ([22'488 fr. + 10'009 fr.50] + [23'442 fr. + 10'434 fr.] / 2), soit, pour la période concernée, la somme de 331'867 fr.50.
S'agissant du revenu réel, la cour cantonale a constaté que, pour la période précitée, l'AI a versé au lésé un montant de 323'556 fr. jusqu'au 30 juin 2014 et, pour le deuxième semestre 2014, un montant de 16'038 fr., soit au total une somme de 339'594 fr. Le revenu hypothétique aurait ainsi été inférieur à celui qu'il a perçu de l'AI.
3.2.1. Le lésé, qui invoque l'arbitraire dans la constatation des faits (art. 9 Cst.), relève que le salaire retenu par la cour cantonale auprès de D._ SA aurait été insuffisant pour subvenir à ses besoins et à celui de ses deux filles. Il met en évidence que, selon l'expert, il aurait soit travaillé à 50% auprès de la société D._ SA et réalisé un salaire net de 27'000 fr. en 2005, soit exercé une autre activité auprès d'une société tierce et réalisé un revenu similaire (selon les statistiques ESS). Il souligne que, selon l'expert, son salaire net aurait augmenté à 28'000 fr. dès le 1er janvier 2010 et à 29'101 fr. en 2014.
On ne saurait reprocher à la cour cantonale d'avoir sombré dans l'arbitraire en s'écartant légèrement des chiffres fournis par l'expert, proches de ceux donnés par le témoin L._ (de la société D._ SA) qui estimait qu'un salaire mensuel brut de 6'000 fr. (pour un plein temps) " aurait été envisageable " (arrêt entrepris p. 46). La cour cantonale a en effet expliqué son raisonnement en indiquant, d'une part, que le témoin avait déclaré que le taux précis de l'activité n'était pas encore défini et que le montant du salaire n'avait en outre pas été évoqué avec le lésé. D'autre part, l'employé qui a finalement été engagé par D._ SA a reçu un salaire de 4'000 fr. (pour un plein temps), soit un montant similaire au revenu (hypothétique) retenu par la cour cantonale.
Le recourant considère également que l'autorité précédente a arbitrairement conclu que, puisqu'il réalisait, avant son accident, des revenus faibles dans le cadre de son entreprise individuelle, il s'en serait contenté toute sa vie durant. En réalité, le demandeur ne tient pas compte de la totalité du raisonnement de la cour cantonale, qui a indiqué que les revenus nets résultant de l'entreprise individuelle étaient faibles dans le seul but de mettre en évidence que le demandeur vivait de ses heures d'enseignement (arrêt entrepris p. 47). La cour cantonale a d'ailleurs expliqué que le revenu au sein de la société D._ SA était " secondaire " pour le lésé et qu'il était avant tout destiné à lui permettre de conserver son activité d'enseignant (celle-ci présupposant une activité professionnelle).
La critique est donc sans consistance.
3.2.2. Le lésé conteste ensuite le constat de la cour cantonale selon lequel il aurait renoncé à l'un des postes d'enseignant. Il souligne que, pour les deux postes, son revenu aurait été de 20'015 fr. en 2006 et de 22'044 fr. en 2014. Il soutient que la motivation de la cour cantonale est contradictoire en ce sens qu'elle ne peut, d'un côté, retenir que l'activité d'enseignant était favorisée et, d'un autre côté, conclure que le lésé aurait renoncé à l'une de ses activités d'enseignement; soit il gardait ses deux postes d'enseignant et recherchait une activité à 50% qui pouvait s'adapter à ceux-ci, soit il renonçait à l'une des deux activités dans l'enseignement et augmentait son taux d'activité de conseiller à la clientèle.
Si l'on peut discuter de la motivation de la cour cantonale à ce sujet, on ne peut par contre pas lui reprocher d'avoir versé dans l'arbitraire. En effet, la cour cantonale, en se fondant sur l'expertise, a retenu que le lésé, avant son accident, avait pu effectuer un très grand nombre d'heures d'enseignement (certaines semaines jusqu'à 32 périodes d'enseignement en Valais pour une seule des deux activités) du fait que son activité " principale " (entreprise individuelle) était très modeste et que le maintien des deux activités d'enseignement avec une " véritable activité professionnelle " à mi-temps n'étaient pas réaliste (arrêt entrepris p. 48). Les magistrats cantonaux sont arrivés à cette conclusion en prenant en compte l'occupation réelle du lésé dans l'enseignement. Le recourant ne revient pas sur ce constat.
L'arrêt entrepris ne présente aucune ambiguïté à ce sujet et c'est donc en vain que le recourant, qui s'écarte des termes de l'expertise, prétend que l'expert ne se serait pas prononcé sur la possibilité de cumuler deux postes d'enseignement en fonction de son occupation réelle, mais exclusivement dans l'hypothèse théorique du projet, formé par le lésé, d'une augmentation substantielle des heures d'enseignement.
Les critiques visant l'établissement arbitraire des faits sont donc infondées.
3.3. Il y a donc lieu de se fonder sur les chiffres établis par la cour cantonale. Il en résulte que, pour la période qu'elle a prise en compte (du 1er janvier 2005 au 31 décembre 2014), le revenu hypothétique du lésé (331'867 fr. 50) aurait été inférieur à celui qu'il a perçu de l'AI (339'594 fr.), ce qui exclut toute perte de gain passée (arrêt entrepris p. 46).
Le recourant critique encore le calcul entrepris par la cour cantonale et y apporte des modifications. Il n'y a toutefois pas lieu d'en tenir compte puisqu'il se fonde sur un revenu hypothétique différent de celui établi (sans arbitraire) par la cour cantonale (cf. supra consid. 3.2), sur un revenu réel (AI) ne correspondant pas à celui retenu par l'autorité précédente, qu'il prend en compte une période (du 1er janvier 2005 au 30 juin 2014) différente de celle retenue par la cour cantonale (du 1er janvier 2005 au 31 décembre 2014), sans toutefois fournir une motivation qui correspondrait aux exigences strictes des art. 97 al. 1 et 106 al. 2 LTF.
En l'absence de dommage, il est inutile d'examiner la question des intérêts, évoquée par le recourant.
3.4. Le calcul entrepris par le recourant en lien avec la perte de gain future appelle les mêmes commentaires.
Le calcul de la cour cantonale portant sur ce poste doit être confirmé. Il y a donc lieu de tenir compte du montant (capitalisé) de 202'239 fr.70 et d'en déduire le montant versé par l'AI (140'580 fr.75). Il en résulte un dommage de 61'658 fr.50, qu'il y a lieu de réduire de 50% (cf. supra consid. 2).
Le recourant ne conteste pas le point de départ des intérêts (fixé par la cour cantonale au 1er janvier 2015) et il n'y a pas lieu de s'y attarder.
3.5. S'agissant de la perte sur les rentes du 2ème pilier, le recourant se borne à affirmer que l'expert a arrêté la rente annuelle à 1'268 fr. au minimum et à effectuer la capitalisation pour conclure que le dommage de rente vieillesse LPP se monte à 15'547 fr.
Il ne donne toutefois aucune explication qui permettrait de comprendre en quoi la cour cantonale, qui indique pourtant expressément avoir transposé les calculs de l'expert, se serait fondée sur des chiffres établis de manière arbitraire (art. 97 al. 1 et 106 al. 2 LTF) ou aurait violé le droit en procédant à son propre calcul (<ref-law>).
La critique est irrecevable.
Il convient donc de se fonder sur le chiffre retenu par la cour cantonale (3'579 fr.), et de la réduire de moitié (cf. supra consid. 2).
Dans le dispositif de sa décision, la cour cantonale indique encore qu'elle n'alloue aucun intérêt pour ce poste. Il résulte des considérants de l'arrêt attaqué qu'il " n'y [avait] pas lieu d'allouer des intérêts... au regard de la teneur des conclusions prises en appel " (arrêt entrepris p. 51), ce qui indique que les conclusions du demandeur ne permettaient alors pas au juge de statuer à cet égard, sauf à statuer ultra petita. C'est en vain que le recourant relève que la condamnation en paiement est inférieure à ses conclusions (de sorte que, en allouant des intérêts, les juges ne pourraient, selon lui, aller au-delà de ses conclusions) et que l'intérêt compensatoire est dû dès l'événement dommageable. Il demeure que, selon l'arrêt entrepris, les conclusions prises par le recourant n'étaient pas suffisantes pour permettre à la cour cantonale de rendre une décision à ce sujet. Le recourant ne conteste pas la décision attaquée sur cette motivation spécifique et il n'y a donc pas lieu de s'y arrêter (cf. <ref-law>).
4.
Le recourant estime que la cour cantonale a violé l'<ref-law> en lui attribuant un montant de 25'000 fr. (après la réduction de 50%) à titre de tort moral. Il soutient que, si on prend en compte l'ensemble des éléments déterminants (invalidité totale et durable, isolement social, anéantissement de toute sa personne sur les plans professionnel et social, absence totale de paiement de l'assurance), il s'impose de lui accorder un montant de 300'000 fr. et d'y ajouter un intérêt de 5% l'an dès le 28 juillet 2003.
4.1. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale.
Les circonstances particulières évoquées dans la norme consistent dans l'importance de l'atteinte à la personnalité du lésé, l'<ref-law> étant un cas d'application de l'<ref-law> (<ref-ruling> consid. 11.2 p. 98).
Les lésions corporelles, qui englobent tant les atteintes physiques que psychiques, doivent donc en principe impliquer une importante douleur physique ou morale ou avoir causé une atteinte durable à la santé. Parmi les circonstances qui peuvent, selon les cas, justifier l'application de l'<ref-law>, figurent avant tout le genre et la gravité de la lésion, l'intensité et la durée des répercussions sur la personnalité de la personne concernée, le degré de la faute de l'auteur ainsi que l'éventuelle faute concomitante de la victime (<ref-ruling> consid. 11.2 et les nombreux arrêts cités).
L'indemnité allouée doit être équitable (<ref-ruling> consid. 5.1 p. 704 s. et les arrêts cités). Le juge applique les règles du droit et de l'équité lorsque la loi le charge, comme l'<ref-law>, de prononcer en tenant compte des circonstances (cf. <ref-law>). Le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise en dernière instance cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle repose sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou, au contraire, lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; en outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 11.2 p. 98; <ref-ruling> consid. 2 p. 123).
4.2. A propos du quantum de l'indemnité, on peut rappeler que le Tribunal fédéral a jugé équitable une indemnité pour tort moral de 140'000 fr. en capital, dans le cas d'une motocycliste, âgée de 19 ans, grièvement blessée dans un accident de la circulation, qui a entraîné un traumatisme cérébral laissant des séquelles irréversibles (<ref-ruling> consid. 4 p. 99 s.).
De même, il a trouvé conforme au droit le versement d'une réparation morale du même montant - avant réduction pour faute de la victime - à un enfant qui, lors d'une descente à ski, a violemment heurté de la tête une barre de fer délimitant la piste et en est resté gravement handicapé (arrêt 4A_206/2014 du 18 septembre 2014 consid. 5).
Le Tribunal fédéral a confirmé le montant de l'indemnité satisfactoire de 80'000 fr. accordée à un demandeur victime d'un accident lui occasionnant de multiples fractures des membres inférieurs, des contusions graves du foie et de la rate, plus un violent choc à la tête, et entraînant une fracture de la pyramide nasale et de très nombreuses fractures dentaires. L'ampleur des blessures est attestée par la première intervention chirurgicale, qui a duré 27 heures. Six autres opérations ont suivi. Les soins hospitaliers et la rééducation se sont étalés sur près de neuf mois. La compagne d'alors du demandeur est restée quant à elle paraplégique. Le lésé, qui travaillait 50 à 60 heures par semaine en étant actif pour le compte de trois sociétés et qui gagnait annuellement plus de 220'000 fr. nets en 1991, a dû totalement arrêter les activités professionnelles qu'il menait alors avec succès. Depuis l'accident, il est atteint de troubles fonctionnels persistants qui provoquent notamment des déficits mnésiques et attentionnels. Sa capacité résiduelle de travail dans une activité adaptée est quant à elle limitée à 30 % (<ref-ruling> consid. 11.4 p. 99).
4.3. En l'espèce, la cour cantonale a tenu compte de la pathologie psychiatrique sévère dont souffre le lésé, de la modification durable de sa personnalité qui y est liée et de l'invalidité totale qui en résulte (arrêt entrepris ch. 10.4 p. 56). A cet égard, c'est donc à tort que le recourant affirme, de manière générale, que la cour cantonale n'a pas tenu compte des conséquences dramatiques pour lui de l'accident de 2003.
L'autorité précédente s'est également fondée sur la durée des troubles (une vie entière), en relevant toutefois que ceux-ci, leurs conséquences sur la vie sociale du lésé et son état de santé ne pouvaient pas être comparés à la situation d'une personne qui ne pourrait plus se déplacer, se vêtir ou se nourrir. Elle a également pris en compte la gravité de la faute de la conductrice responsable, qui a perdu la maîtrise de son véhicule en étant sous l'emprise de l'alcool (arrêt entrepris ch. 10.4 p. 56).
Le recourant relève que la cour cantonale n'a pas tenu compte des conséquences pénibles de son invalidité, notamment en tant qu'elle a entraîné un isolement social et une perte d'emploi, au motif que ces conséquences font " partie de sa pathologie " (arrêt entrepris ch. 10.4 p. 56). En d'autres termes, la cour cantonale a jugé, de manière plus ou moins implicite, qu'il s'agissait de conséquences habituelles en cas d'atteinte grave à l'intégrité et qu'elles n'avaient pas à être prises en compte en sus dans le cadre de l'évaluation concrète (cf. ALEXANDRE GUYAZ, L'indemnisation du tort moral en cas d'accident, SJ 2003 II p. 37).
A cet égard, le recourant se borne à soutenir que les atteintes psychiques impliquant une importante douleur physique ou morale justifient l'application de l'<ref-law> (ce qui n'est pas contesté), mais il n'allègue pas, ni a fortiori ne démontre, que les conséquences pénibles évoquées seraient inhabituelles dans le cas d'une atteinte grave à l'intégrité (psychique). Partant, il ne démontre pas que la cour cantonale aurait abusé de son (large) pouvoir d'appréciation.
Le recourant met encore en évidence d'autres circonstances qui auraient, selon lui, dû être prises en compte par la cour cantonale. Il se limite toutefois à présenter des extraits d'une expertise qui ne résultent pas de l'état de fait dressé par la cour cantonale et il n'y a donc pas lieu de s'y arrêter.
Quant à la destruction de la personnalité, qui impliquerait, selon les auteurs cités par le recourant, le versement d'une indemnité conséquente, elle résulte d'atteintes (paraplégie, tétraplégie) qui ne sont pas comparables avec celles dont souffre le lésé. En outre, l'arrêt cantonal retient une " modification durable de la personnalité " liée à la pathologie sévère du lésé (arrêt entrepris p. 56) et non une " destruction " ou un " anéantissement de la personnalité ".
Dans ces conditions, on ne voit pas que la cour cantonale, qui a tenu compte des circonstances déterminantes de l'espèce, ait abusé de son pouvoir d'appréciation.
On relèvera au surplus que le montant de 50'000 fr. qui est accordé au lésé en l'espèce n'apparaît ni choquant ni manifestement injuste, mais plutôt élevé, si on le compare à l'indemnité satisfactoire de 80'000 fr. octroyée en lien avec les souffrances physiques et morales endurées par un lésé ayant subi, après avoir percuté violemment un autre véhicule, de multiples fractures, une première intervention chirurgicale de 27 heures, puis encore six autres opérations, qui, alors qu'il travaillait entre 50 et 60 heures par semaine, a dû totalement arrêter ses activités professionnelles, était atteint de troubles fonctionnels persistants et dont la compagne est restée paraplégique.
Dans ce contexte, il convient de confirmer le montant de l'indemnité satisfactoire de 50'000 fr. accordée au demandeur par la cour cantonale.
Il y a lieu de réduire de moitié ce montant (cf. infra consid. 2).
4.4. Le recourant soutient qu'il convient d'ajouter au montant accordé au titre de tort moral un intérêt de 5% l'an dès le 28 juillet 2003, et non seulement depuis le 6 février 2009 (soit le jour du dépôt de la demande), comme l'ont décidé les premiers juges.
Il résulte toutefois de l'arrêt cantonal qu'en première instance, le demandeur a omis d'indiquer une date de point de départ de l'intérêt de 5%. Les magistrats cantonaux ont alors confirmé la date retenue par les premiers juges, à savoir la date à laquelle les conclusions avaient été prises, soit le 6 février 2009.
Le recourant n'explique pas en quoi le raisonnement de la cour précédente serait contraire au droit fédéral. Il n'y a donc pas lieu d'entrer en matière sur ce point (cf. <ref-law>).
5.
Enfin, le recourant ne conteste pas le calcul de la cour cantonale relatif au dommage résultant des frais d'avocat (21'966 fr.30). Il y a également lieu de réduire de moitié ce montant (cf. supra consid. 2).
Le point de départ des intérêts, fixé au 6 février 2009 (arrêt entrepris p. 54), n'est pas discuté par les parties.
6.
Il résulte des considérations qui précèdent que le recours doit être rejeté dans la mesure où il est recevable.
Les frais et dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 9'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 22 juin 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget