Faits :
A.
X._, né le 1 er novembre 1930, et Z._, née le 30 août 1941, se sont rencontrés dans la seconde moitié des années 1980. Ils ont vécu une relation de couple de 1988 à 2000.
X._ a pris sa retraite le 30 juin 1994.
Z._, qui travaillait pour le Comité U._, était indépendante financièrement. Depuis le début de l'année 1997, elle a souffert de problèmes médicaux, soit d'une hernie discale et d'épaules bloquées. Elle a pris une retraite anticipée le 1er février 1999, dans l'année de ses 58 ans. Elle a perçu depuis lors une rente mensuelle de 4'815 fr. au lieu du montant de 6'990 fr. qu'elle aurait perçu si elle avait poursuivi son activité professionnelle jusqu'à l'âge de 62 ans.
Le 15 janvier 1999, soit 15 jours avant qu'elle ne prenne sa retraite anticipée, Z._ a emménagé avec X._, à Rolle. Elle a quitté le domicile le 1 er novembre 2000, ne supportant plus le comportement de son ami.
B.
B.a. Le 2 septembre 1997, Z._ a acheté une villa à Mougins, pour le prix de 2'000'000 FF. Des travaux de rénovation ont été réalisés dans cette villa.
Il est établi que X._ lui a transféré les 25 juin et 25 août 1997, par l'intermédiaire du notaire, un montant de 2'222'000 FF pour procéder à cet achat. En revanche, s'il a été retenu que X._ a participé à des frais de rénovation de la villa, il a été constaté que le montant de 509'285 FF allégué par lui n'a pas été établi.
En 2002, Z._ a déclaré la villa de Mougins dans ses revenus et sa fortune, rétroactivement au jour de son acquisition.
Z._ a revendu la villa le 12 juin 2002, pour le prix de 403'989,90 euros.
B.b. Le 31 juillet 2003, ayant eu connaissance de la vente de la villa, X._ a réclamé à Z._ d'abord le montant de 412'500 fr. (correspondant à 1'650'000 FF), se réservant le droit de faire valoir l'entier de sa créance, puis, les 28 janvier et 26 juillet 2005, le montant de 2'650'000 FF.
Il a déposé une plainte pénale contre Z._, pour abus de confiance, escroquerie et faux dans les titres. Il en a déposé une seconde contre inconnu au sujet d'une montre, qui a été séquestrée. La procédure pénale s'est terminée par un non-lieu et la montre séquestrée lui a été restituée.
Il a également formé une réquisition de poursuite pour les montants de 49'494 fr. 10, 500'385 fr. 30 et 124'409 fr. 80 avec intérêts à 5% l'an dès le 16 septembre 2003, sous déduction du montant de 9'898 fr. 80. La débitrice a formé opposition au commandement de payer qui lui a été notifié.
B.c. Les parties divergent en définitive au sujet du versement des deux montants de 2'222'000 FF et de 509'285 FF et de la cause de leur versement.
C.
Le 23 janvier 2009, X._ a ouvert action contre son ex-amie, Z._, devant la Cour civile du Tribunal cantonal du canton de Vaud, concluant notamment à ce que celle-ci soit condamnée à lui rembourser le montant de 680'000 fr. avec intérêts à 5% l'an dès le 16 septembre 2003.
Z._ est décédée le 16 juin 2009 et sa fille A.Z._ lui a succédé dans la procédure.
Une convention manuscrite du 30 septembre 1997 a été remise à la Cour civile par un inconnu en 2012. La défenderesse a requis l'ouverture d'une instruction pénale, au motif qu'il s'agissait d'un faux; celle-ci s'est terminée par une ordonnance de classement, dès lors qu'il n'a pas pu être prouvé que le document était un faux et que son authenticité n'a pas non plus été démontrée.
Par jugement du 31 août 2015, la Cour civile du Tribunal cantonal vaudois a rejeté les conclusions prises par le demandeur à l'encontre de A.Z._. Elle a retenu en substance que l'obligation de restitution des fonds reçus pour l'acquisition de la villa de Mougins n'a pas été établie et que l'allégation de la remise du montant pour les travaux de rénovation n'a pas été prouvée.
X._ a interjeté appel contre ce jugement, concluant à sa réforme en ce sens que Z._ (sic!) soit condamnée à lui payer le montant de 664'391 fr., subsidiairement de 410'283.83 euros, avec intérêts à 5% l'an dès le 16 septembre 2003.
Statuant le 4 juillet 2016, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel du demandeur et confirmé le jugement attaqué, par une double motivation. Elle a tout d'abord " rejeté " l'appel pour un motif de procédure, l'appelant ayant pris des conclusions en condamnation contre une personne décédée. Puis, par surabondance, elle a rejeté l'appel sur le fond: elle a retenu en substance que s'il peut être admis que le demandeur a participé à des frais de rénovation de la villa, le montant de 509'285 FF ne peut pas être établi; au demeurant, le fait qu'il ait remis un montant à son amie n'est qu'un indice et non la preuve complète d'un prêt (i.e de l'obligation de restitution de ce montant). En ce qui concerne les fonds de 2'222'000 FF remis pour l'acquisition de la villa, la cour cantonale a considéré que le demandeur a échoué à établir l'existence d'une obligation de restituer à la charge de Z._: adoptant l'appréciation des premiers juges, elle a jugé que " l'appelant échoue à établir l'existence d'une obligation de restituer à la charge de l'intimée. Ni l'existence d'un prêt ni celle d'une donation ne sont établies ". Autrement dit, elle a retenu que le demandeur a échoué dans la preuve de l'obligation de restitution qui lui incombait et, partant, qu'il supporte l'échec de la preuve de ce fait et que ses conclusions en restitution doivent être rejetées.
D.
Contre cet arrêt, le demandeur a interjeté un recours en matière civile au Tribunal fédéral, concluant en substance à ce que A.Z._ soit condamnée à lui payer principalement le montant de 664'391 fr. avec intérêts à 5% l'an dès le 16 septembre 2003 et, subsidiairement, le montant de 410'283.83 euros avec les mêmes intérêts. Il invoque une appréciation arbitraire des preuves et l'application incorrecte du droit.
La cour cantonale se réfère aux considérants de son arrêt.
Le recourant a encore déposé de brèves observations.

Considérant en droit :
1.
Interjeté en temps utile (art. 100 al. 1 et 45 al. 1 LTF) par le demandeur qui a succombé dans ses conclusions (<ref-law>), contre une décision finale (<ref-law>), prise sur appel par le tribunal supérieur du canton de Genève (<ref-law>), dans une action en remboursement d'un prêt (<ref-law>), dont la valeur litigieuse est supérieure à 30'000 fr. (<ref-law>), le recours en matière civile est recevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références). Le Tribunal fédéral ne peut rectifier les constatations de l'autorité précédente que si elles sont manifestement inexactes, c'est-à-dire arbitraires (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5) ou ont été établies en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Le Tribunal fédéral se montre réservé en matière de constatations de fait et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9 et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Pour chaque constatation de fait incriminée, elle doit démontrer comment les preuves administrées auraient dû, selon elle, être correctement appréciées et en quoi leur appréciation par l'autorité cantonale est insoutenable (arrêt 5A_621/2013 du 20 novembre 2014 consid. 2.1, non publié aux <ref-ruling>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 261/262).
La partie qui souhaite obtenir un complètement de l'état de fait doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90).
Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18).
2.2. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'<ref-law>, il n'examine pas, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser, mais uniquement celles qui sont soulevées devant lui (<ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 5; <ref-ruling> consid. 1.3 p. 584), à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2 p. 116; arrêt 5A_621/2013 du 20 novembre 2014 consid. 2.2, non publié aux <ref-ruling>).
3.
La cour cantonale a " rejeté " l'appel parce que le recourant a pris des conclusions en paiement contre une personne décédée. Le recourant lui reproche d'être tombée dans le formalisme excessif. L'intimée soutient que l'appelant a dirigé ses conclusions contre son ex-amie décédée, que c'est un choix qu'il a fait et que celui-ci ne peut pas être rectifié par le juge.
3.1. A titre préalable, il s'impose de rappeler les notions de désignation inexacte d'une partie, susceptible d'être rectifiée, et de qualité pour défendre de la partie défenderesse, dont le défaut entraîne directement le rejet de la demande.
3.1.1. La désignation inexacte d'une partie - que ce soit de son nom, de son domicile ou de son siège - ne vise que l'inexactitude purement formelle qui affecte sa capacité d'être partie.
Elle peut être rectifiée lorsqu'il n'existe dans l'esprit du juge et des parties aucun doute raisonnable sur l'identité de la partie, notamment lorsque son identité résulte de l'objet du litige (en procédure civile, cf. arrêt 4A_116/2015 du 9 novembre 2015 consid. 3.5.1, non publié in <ref-ruling>9; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3; en matière de poursuite pour dettes, cf. <ref-ruling> consid. 1b; <ref-ruling> consid. 1a). Si le défaut ne peut être réparé, la demande doit être déclarée irrecevable.
La personne décédée n'a pas la capacité d'être partie et ni elle, ni personne en son nom, ne peut ouvrir une action ou y défendre, former un recours ou y résister (<ref-ruling> consid. 1.2). Si la capacité d'être partie fait défaut à l'une ou à l'autre des parties, le juge ne peut pas entrer en matière et statuer au fond, à moins que le défaut ne puisse être réparé (sur le défaut de capacité d'être partie dans la procédure de recours en matière civile au Tribunal fédéral, cf. arrêt 4A_43/2017 du 7 mars 2017 consid. 1.1).
3.1.2. Comme la qualité pour agir, la qualité pour défendre est une condition de fond du droit exercé (<ref-ruling> consid. 1a; <ref-ruling> consid. 3a). L'action doit être ouverte contre celui qui est l'obligé du droit appartenant au demandeur (ATF <ref-ruling> consid. 3a; <ref-ruling> consid. 1a). Il n'est pas possible de rectifier une erreur touchant à la qualité pour défendre (arrêt 4A_560/2015 du 20 mai 2016 consid. 4.1; pour la partie demanderesse, cf. <ref-ruling> consid. 3.1.3).
Lorsque, par erreur, le demandeur ouvre action non pas contre celui auquel il est ou était lié contractuellement, mais contre un tiers, l'action doit être rejetée. La date décisive pour trancher la question de la qualité pour défendre est celle du dépôt de la requête de conciliation lorsque la procédure au fond doit être précédée d'une tentative de conciliation, respectivement celle du dépôt de la demande lorsque la conciliation est exclue. Le fait que, au cours de la procédure, toute personne puisse comprendre que le demandeur entendait en réalité s'en prendre à son cocontractant n'est pas déterminant (arrêt 4A_560/2015 précité consid. 4.1 et 4.3).
Il en va de même en cas d'erreur dans l'indication de la qualité de partie intimée à l'appel ou au recours.
La personne décédée n'est plus titulaire de droits et d'obligations, puisqu'ils ont passé de plein droit à ses héritiers (<ref-law>). La question de la qualité pour agir ou pour défendre d'une personne décédée ne se pose pas.
3.2. Le formalisme excessif est un aspect particulier du déni de justice formel: il est réalisé lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi, complique de manière insoutenable la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux (<ref-ruling> consid. 5.4.1; <ref-ruling> consid. 2a; <ref-ruling> consid. 2a/bb; <ref-ruling> consid. 3a).
Il découle du principe de l'interdiction du formalisme excessif que le tribunal doit entrer en matière même sur des conclusions formellement insuffisantes lorsqu'il résulte clairement des motifs du mémoire d'appel en relation avec la décision attaquée quelles sont exactement les conclusions prises et donc les modifications du jugement demandées ou, en cas de créances portant sur des sommes d'argent, quel montant est réclamé. Les modifications demandées dans les conclusions stricto sensu du mémoire d'appel doivent être interprétées à la lumière des motifs de celui-ci (<ref-ruling> consid. 6.2; 4A_42/2014 du 17 octobre 2014 consid. 4.2).
3.3. La cour cantonale a retenu que les conclusions condamnatoires de l'appel, rédigées par un avocat, sont dirigées contre une personne décédée et qu'elles ne sauraient donc être allouées. En outre, il ne s'agirait pas d'une désignation inexacte d'une partie résultant d'une erreur rédactionnelle, constitutive d'un vice de forme réparable, mais d'un vice matériel irréparable, car il ne s'agit pas simplement d'un copier/coller des conclusions de première instance. La cour cantonale n'en a pas pour autant déclaré le recours irrecevable. Par surabondance, elle a examiné le fond et rejeté l'appel.
3.4. En l'espèce, comme l'expose la cour cantonale, le demandeur a ouvert action contre son ex-amie. Celle-ci est décédée au cours de la procédure de première instance; sa fille lui a donc succédé comme partie défenderesse et le jugement de première instance a rejeté les conclusions prises contre la fille.
Le mémoire d'appel déposé par le demandeur a bien indiqué comme partie intimée la fille de la défunte, soit la partie désormais défenderesse (complètement d'office selon l'<ref-law>), ce que retient le préambule ( rubrum) de l'arrêt attaqué. Ce n'est que dans ses conclusions, à l'examen desquelles la cour cantonale s'est à tort limitée, que l'appelant a réclamé la condamnation de la défunte à lui restituer la montre lui appartenant et à lui payer le montant litigieux.
On ne se trouve donc pas en présence d'un défaut de qualité pour défendre, respectivement pour être intimé à l'appel, lequel devrait entraîner le rejet de l'appel. Contrairement à ce que soutient le recourant, il n'y a pas non plus une désignation inexacte d'une partie, sujette à rectification, puisque la partie défenderesse, intimée à l'appel, a bien été désignée en la personne de la fille de la défunte. Il y a là une inadvertance dans la rédaction des conclusions. Sauf à tomber dans le formalisme excessif, cette inadvertance ne saurait être qualifiée de vice matériel irréparable, comme l'a retenu la cour cantonale: il est en effet manifeste qu'il y a une contradiction entre la partie désignée comme défenderesse et intimée dans le rubrumet la partie dont la condamnation est requise dans les conclusions, et que cette erreur doit être corrigée.
4.
Matériellement, le litige porte sur la restitution de deux montants: le premier de 2'222'000 FF que le demandeur a remis à son amie pour acheter une villa à Mougins et le second de 509'285 FF qu'il lui aurait remis pour participer à des frais de rénovation de cette villa.
En ce qui concerne le second de ces montants, soit celui prétendument versé pour les frais de rénovation de la villa de Mougins, la cour cantonale a jugé que s'il peut être retenu que le demandeur a participé à des frais de rénovation, le montant allégué par lui ne peut pas être établi; au demeurant, le fait que le demandeur ait remis un certain montant n'est qu'un indice et non la preuve complète d'un prêt (i.e de l'obligation de restitution de ce montant).
Ce faisant, la cour cantonale a rejeté la demande par appréciation des preuves, le montant ayant effectivement servi à payer des rénovations de la villa n'ayant pas été établi. Le recourant ne s'en prend pas à cette motivation, ni ne tente d'en démontrer l'arbitraire. C'est ainsi à raison que sa prétention a été rejetée.
5.
Il est établi que le demandeur a effectivement versé le montant de 2'222'000 FF à son amie pour qu'elle puisse acheter la villa de Mougins. Est litigieuse la cause de ce versement: devant le Tribunal fédéral, le demandeur fait uniquement valoir qu'il avait prêté ce montant à son amie, alors que celle-ci soutient qu'il le lui a remis en don, pour compenser la perte de prévoyance qu'elle allait subir du fait qu'elle allait prendre une retraite anticipée comme il l'avait souhaité.
5.1.
5.1.1. Le prêt de consommation est un contrat par lequel le prêteur s'oblige à transférer la propriété d'une somme d'argent ou d'autres choses fongibles à l'emprunteur, à charge par ce dernier de lui en rendre autant de même espèce et qualité (<ref-law>). La restitution du prêt est soumise à deux conditions: premièrement, la remise des fonds à l'emprunteur et, deuxièmement, l'obligation de restitution stipulée à charge de celui-ci.
L'obligation de restitution de l'emprunteur est un élément essentiel du contrat. Elle résulte non pas du paiement fait par le prêteur, mais de la promesse de restitution qu'implique le contrat de prêt. La remise de l'argent par le prêteur n'est qu'une condition de l'obligation de restituer (<ref-ruling> consid. 2 p. 210). En réalité, le juge doit déterminer, en appliquant les règles d'interprétation des contrats (cf. infra consid. 5.2), si les parties sont convenues d'une obligation de restitution; pour ce faire, il se base sur toutes les circonstances concrètes de l'espèce, qu'il incombe au prêteur d'établir (<ref-law>).
Dans certaines circonstances exceptionnelles, le seul fait de recevoir une somme d'argent peut constituer un élément suffisant pour admettre l'existence d'une obligation de restituer et, partant, d'un contrat de prêt (<ref-ruling> consid. 2 p. 210). Il doit toutefois en résulter clairement que la remise de la somme ne peut s'expliquer raisonnablement que par la conclusion d'un prêt (ATF 28 I 674 consid. 2 et 3 p. 686 cité in <ref-ruling>).
5.1.2. La donation est la disposition entre vifs par laquelle une personne cède tout ou partie de ses biens à une autre sans contre-prestation correspondante (<ref-law>). Il s'agit d'un contrat, qui suppose un accord des parties sur un transfert patrimonial à titre gratuit (<ref-law>) et donc une acceptation de la part du donataire. L'acceptation peut intervenir par actes concluants (<ref-law>) et, comme la donation ne présente que des avantages pour le donataire, elle peut être tacite (<ref-law>; <ref-ruling> consid. 3.3).
La gratuité est la caractéristique essentielle de la donation: l'attribution est faite dans le but immédiat d'enrichir le donataire, sans contre-partie, du moins sans contre-partie équivalente. Elle n'exclut cependant pas toute espèce de prestation ou de service promis en même temps par le donataire (TERCIER/BIERI/CARRON, op. cit., n. 1497).
5.2. Savoir si les parties sont convenues d'un contrat de prêt, comme le soutient le demandeur, ou d'une donation, comme le prétend la défenderesse, est affaire d'interprétation de leurs manifestations de volonté.
5.2.1. En droit suisse des contrats, la question de savoir si les parties ont conclu un accord est soumise au principe de la priorité de la volonté subjective sur la volonté objective (<ref-ruling> consid. 2b p. 39).
Lorsque les parties se sont exprimées de manière concordante (échange de manifestations de volonté concordantes; übereinstimmende Willenserklärungen), qu'elles se sont effectivement comprises et, partant, ont voulu se lier, il y a accord de fait ( tatsächlicher Konsens); si au contraire, alors qu'elles se sont comprises, elles ne sont pas parvenues à s'entendre, ce dont elles étaient d'emblée conscientes, il y a un désaccord patent ( offener Dissens) et le contrat n'est pas conclu.
Subsidiairement, si les parties se sont exprimées de manière concordante, mais que l'une ou les deux n'ont pas compris la volonté interne de l'autre, ce dont elles n'étaient pas conscientes dès le début, il y a désaccord latent ( versteckter Dissens) et le contrat est conclu dans le sens objectif que l'on peut donner à leurs déclarations de volonté selon le principe de la confiance; en pareil cas, l'accord est de droit (ou normatif) (cf. <ref-ruling> précité consid. 2b p. 39; GAUCH/SCHLUEP/SCHMID, Schweizerisches Obligationenrecht, Allgemeiner Teil, T. I, 2014, n. 308 ss).
5.2.2. En procédure, le juge doit donc rechercher, dans un premier temps, la réelle et commune intention des parties (interprétation subjective), le cas échéant empiriquement, sur la base d'indices (<ref-ruling> consid. 2.3.2, 626 consid. 3.1 p. 632; <ref-ruling> consid. 4.1). Constituent des indices en ce sens non seulement la teneur des déclarations de volonté - écrites ou orales -, mais encore le contexte général, soit toutes les circonstances permettant de découvrir la volonté réelle des parties, qu'il s'agisse de déclarations antérieures à la conclusion du contrat ou de faits postérieurs à celle-ci, en particulier le comportement ultérieur des parties établissant quelles étaient à l'époque les conceptions des contractants eux-mêmes.
L'appréciation de ces indices concrets par le juge, selon son expérience générale de la vie, relève du fait (arrêts 4A_508/2016 du 16 juin 2017 consid. 6.2 et les arrêts cités; 4A_98/2016 du 22 août 2016 consid. 5.1). Si le juge parvient à la conclusion que les parties se sont comprises ou, au contraire, qu'elles ne se sont pas comprises, il s'agit de constatations de fait qui lient le Tribunal fédéral (<ref-law>), à moins qu'elles ne soient manifestement inexactes (art. 97 al. 1 et 105 al. 2 LTF), c'est-à-dire arbitraires au sens de l'art. 9 Cst.
5.2.3. Si le juge ne parvient pas à déterminer la volonté réelle et commune des parties - parce que les preuves font défaut ou ne sont pas concluantes - ou s'il constate qu'une partie n'a pas compris la volonté exprimée par l'autre à l'époque de la conclusion du contrat - ce qui ne ressort pas déjà du simple fait qu'elle l'affirme en procédure, mais doit résulter de l'administration des preuves -, il doit recourir à l'interprétation normative (ou objective), à savoir rechercher leur volonté objective, en déterminant le sens que, d'après les règles de la bonne foi, chacune d'elles pouvait et devait raisonnablement prêter aux déclarations de volonté de l'autre. Il s'agit d'une interprétation selon le principe de la confiance (arrêts 4A_508/2016 déjà cité consid. 6.2 et les arrêts cités; 4A_98/2016 déjà cité consid. 5.1). D'après ce principe, la volonté interne de s'engager du déclarant n'est pas seule déterminante; une obligation à sa charge peut découler de son comportement, dont l'autre partie pouvait, de bonne foi, déduire une volonté de s'engager. Le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même si celui-ci ne correspond pas à sa volonté intime (<ref-ruling> consid. 3.2 p. 424 et les arrêts cités).
La détermination de la volonté objective des parties, selon le principe de la confiance, est une question de droit, que le Tribunal fédéral examine librement; pour la trancher, il faut cependant se fonder sur le contenu des manifestations de volonté et sur les circonstances, lesquelles relèvent du fait. Les circonstances déterminantes à cet égard sont uniquement celles qui ont précédé ou accompagné la manifestation de volonté, mais non pas les événements postérieurs (<ref-ruling> consid. 2.2.1 p. 67 et les arrêts cités).
5.3. En l'espèce, la cour cantonale a recherché uniquement la volonté réelle des parties.
5.3.1. Tout d'abord, la cour cantonale a retenu que le prêt n'était pas prouvé par la production en procédure de la convention manuscrite du 30 septembre 1997. Se fondant sur l'expertise administrée dans la procédure pénale, elle a estimé, avec les premiers juges, qu'il n'était pas exclu que cette convention ait été créée de toutes pièces pour les besoins de la procédure, de sorte qu'elle ne revêtait qu'une très faible valeur probante. En outre, le demandeur a varié dans ses déclarations: après avoir invoqué une convention écrite, prévoyant le remboursement de son investissement et le partage des bénéfices en cas de vente, il a ensuite évoqué que la villa avait été acquise par son ex-amie à titre fiduciaire, avant de soutenir enfin qu'il réclamait les fonds versés à titre de remboursement d'un prêt. Il n'avait pas non plus démontré avoir déclaré fiscalement un prêt à son amie.
Le recourant admet que les circonstances de l'apparition de cette convention en 2012 sont curieuses, mais il se limite à affirmer, de manière appellatoire, que cette pièce est bien probante, puisqu'il en a fait état dès le début en 2003, et ce même si la preuve de son caractère authentique n'a pas pu être apportée. Il se réfère à des discussions hors procédure au cours desquelles son ex-amie aurait admis un prêt, mais sans fournir aucune référence à des allégués et à des pièces du dossier. Il soutient qu'il disposait d'un " dossier de Mougins ", soit un classeur de documents en lien avec la maison de Mougins - ce qui démontrerait qu'il était impliqué dans l'acquisition de cette maison -, dossier que son ex-amie lui aurait emprunté et jamais restitué, en se référant à des pièces de sa plainte pénale et du dossier pénal, mais sans indiquer où il aurait allégué ces faits et par quels moyens ceux-ci seraient établis.
Ses critiques, appellatoires ou fondés sur des faits non constatés, ne démontrent pas en quoi l'appréciation de la cour cantonale serait insoutenable.
5.3.2. Ensuite, la cour cantonale n'a pas retenu de circonstances spéciales justifiant d'admettre que la seule remise du montant litigieux à l'amie serait la preuve d'un prêt: avec les premiers juges, elle a rejeté l'argument selon lequel la somme serait si considérable, eu égard à la fortune globale du demandeur, qu'il faudrait admettre un prêt, puisqu'aucune information sur la situation financière du demandeur n'a été alléguée ni prouvée.
Le recourant se limite à affirmer que le montant de 650'000 fr. serait considérable, qu'il est inconcevable qu'il ait purement et simplement donné ce montant alors qu'il était à la retraite depuis trois ans, que ses relations avec son amie ne justifiaient pas une telle générosité et que le montant de sa fortune ne serait pas déterminant. Il s'agit là d'une critique purement appellatoire, qui est irrecevable.
5.3.3. Enfin, la cour cantonale a conclu sa motivation en retenant que le demandeur " échoue à établir l'existence d'une obligation de restituer à charge de [la défenderesse] " et que " ni l'existence d'un prêt ni celle d'une donation ne sont établies ".
Lorsqu'il soutient que " la preuve de l' animus donandi incombe, en cas de litige, à la partie ayant reçu les fonds (<ref-law>) ", le recourant méconnaît que la question de savoir si l'amie avait une obligation de restitution est en premier lieu une affaire d'interprétation de la volonté des parties (subjective et, à défaut, objective; cf. infra consid. 5.4). Il en va de même des arrêts 4A_12/2013 du 27 juin 2013 consid. 2.1 et 4A_639/2015 du 28 juillet 2016, qui, en droit, semblent faire l'impasse sur la recherche d'un accord de droit, selon le principe de la confiance. Enfin, c'est à tort que la cour cantonale a retenu dans son exposé de droit que " celui qui reçoit une somme d'argent autrement qu'à titre de paiement en est en principe comptable ".
Force est donc de constater que la volonté subjective des parties quant à une obligation de restitution de la somme remise n'a pas pu être établie en procédure.
5.4. La cour cantonale ne pouvait toutefois pas s'arrêter là. En effet, conformément aux principes applicables à l'interprétation des contrats, elle devait encore rechercher s'il y a eu accord de droit, par interprétation objective de la volonté des parties, en ne perdant pas de vue que le principe de la confiance permet aussi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même si celui-ci ne correspond pas à sa volonté intime. S'agissant d'une question de droit, dont les parties ne pouvaient ignorer la pertinence juridique, la cour de céans est en mesure de statuer immédiatement, sans renvoi à la cour cantonale, sur la base des faits constatés dans l'arrêt attaqué.
5.4.1. Il ressort de l'arrêt attaqué que les 25 juin et 25 août 1997, le demandeur a transféré à son amie le montant de 2'000'000 FF pour acheter une villa à Mougins, que celle-ci l'a achetée en septembre 1997, que le 15 janvier 1999, elle a emménagé avec le demandeur à Rolle et qu'elle a pris sa retraite anticipée le 1 er février 1999, soit dans l'année de ses 58 ans, de sorte qu'elle n'a perçu qu'une rente mensuelle de 4'815 fr. au lieu des 6'990 fr. qu'elle aurait perçus si elle n'avait pas pris de retraite anticipée. Le demandeur n'a ni allégué ni prouvé l'état de sa fortune à l'époque de la remise du montant litigieux.
5.4.2. Contrairement à ce que croit le recourant, la question n'est pas de savoir si, lorsqu'il a remis les fonds à son amie pour acheter la villa de Mougins, il avait la volonté interne de lui faire un prêt, qu'elle devrait lui rembourser ultérieurement. Ce qui est décisif, c'est de déterminer si, dans les circonstances de l'espèce, l'amie pouvait penser de bonne foi que la somme de 2'222'000 FF lui était remise à titre gratuit (donation) pour compenser sa perte de prévoyance, comme elle l'avait déclaré aux personnes de sa connaissance entendues comme témoins.
Certes, le montant de 2'222'000 FF est en lui-même important. D'un autre côté, la perte de prévoyance que l'amie a subie est de plus de 2'000 fr. par mois, sa vie durant. Il peut et doit donc être admis que, de bonne foi, elle pouvait raisonnablement comprendre que le montant qui lui avait été remis pour acheter la villa lui avait été donné.
Dès lors que le demandeur n'a pas allégué ni prouvé le montant total de sa fortune, il n'est pas possible de déterminer si l'on se trouverait dans une situation exceptionnelle au sens de la jurisprudence, en ce sens qu'il ne pourrait s'agir que d'un prêt, au vu de la comparaison entre le montant remis et le montant de la fortune. Le seul fait que le demandeur ait pris sa retraite en 1994 ne donne aucune indication à cet égard. Il en va de même du fait que l'amie avait été d'accord de prendre une retraite anticipée, pour pouvoir voyager avec son compagnon et bénéficier de plus de temps libre, et que l'achat de la villa a été effectué près d'un an et demi avant sa prise de retraite.
6.
Il s'ensuit que le recours doit être rejeté, dans la mesure où il est recevable, et que les frais et dépens de la procédure doivent être mis à la charge du recourant (art. 66 al. 1 et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 9'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 10'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 22 janvier 2018
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget