Faits : A. X._, né le 1 er novembre 1930, et Z._, née le 30 août 1941, se sont rencontrés dans la seconde moitié des années 1980. Ils ont vécu une relation de couple de 1988 à 2000. X._ a pris sa retraite le 30 juin 1994. Z._, qui travaillait pour le Comité U._, était indépendante financièrement. Depuis le début de l'année 1997, elle a souffert de problèmes médicaux, soit d'une hernie discale et d'épaules bloquées. Elle a pris une retraite anticipée le 1er février 1999, dans l'année de ses 58 ans. Elle a perçu depuis lors une rente mensuelle de 4'815 fr. au lieu du montant de 6'990 fr. qu'elle aurait perçu si elle avait poursuivi son activité professionnelle jusqu'à l'âge de 62 ans. Le 15 janvier 1999, soit 15 jours avant qu'elle ne prenne sa retraite anticipée, Z._ a emménagé avec X._, à Rolle. Elle a quitté le domicile le 1 er novembre 2000, ne supportant plus le comportement de son ami. B. B.a. Le 2 septembre 1997, Z._ a acheté une villa à Mougins, pour le prix de 2'000'000 FF. Des travaux de rénovation ont été réalisés dans cette villa. Il est établi que X._ lui a transféré les 25 juin et 25 août 1997, par l'intermédiaire du notaire, un montant de 2'222'000 FF pour procéder à cet achat. En revanche, s'il a été retenu que X._ a participé à des frais de rénovation de la villa, il a été constaté que le montant de 509'285 FF allégué par lui n'a pas été établi. En 2002, Z._ a déclaré la villa de Mougins dans ses revenus et sa fortune, rétroactivement au jour de son acquisition. Z._ a revendu la villa le 12 juin 2002, pour le prix de 403'989,90 euros. B.b. Le 31 juillet 2003, ayant eu connaissance de la vente de la villa, X._ a réclamé à Z._ d'abord le montant de 412'500 fr. (correspondant à 1'650'000 FF), se réservant le droit de faire valoir l'entier de sa créance, puis, les 28 janvier et 26 juillet 2005, le montant de 2'650'000 FF. Il a déposé une plainte pénale contre Z._, pour abus de confiance, escroquerie et faux dans les titres. Il en a déposé une seconde contre inconnu au sujet d'une montre, qui a été séquestrée. La procédure pénale s'est terminée par un non-lieu et la montre séquestrée lui a été restituée. Il a également formé une réquisition de poursuite pour les montants de 49'494 fr. 10, 500'385 fr. 30 et 124'409 fr. 80 avec intérêts à 5% l'an dès le 16 septembre 2003, sous déduction du montant de 9'898 fr. 80. La débitrice a formé opposition au commandement de payer qui lui a été notifié. B.c. Les parties divergent en définitive au sujet du versement des deux montants de 2'222'000 FF et de 509'285 FF et de la cause de leur versement. C. Le 23 janvier 2009, X._ a ouvert action contre son ex-amie, Z._, devant la Cour civile du Tribunal cantonal du canton de Vaud, concluant notamment à ce que celle-ci soit condamnée à lui rembourser le montant de 680'000 fr. avec intérêts à 5% l'an dès le 16 septembre 2003. Z._ est décédée le 16 juin 2009 et sa fille A.Z._ lui a succédé dans la procédure. Une convention manuscrite du 30 septembre 1997 a été remise à la Cour civile par un inconnu en 2012. La défenderesse a requis l'ouverture d'une instruction pénale, au motif qu'il s'agissait d'un faux; celle-ci s'est terminée par une ordonnance de classement, dès lors qu'il n'a pas pu être prouvé que le document était un faux et que son authenticité n'a pas non plus été démontrée. Par jugement du 31 août 2015, la Cour civile du Tribunal cantonal vaudois a rejeté les conclusions prises par le demandeur à l'encontre de A.Z._. Elle a retenu en substance que l'obligation de restitution des fonds reçus pour l'acquisition de la villa de Mougins n'a pas été établie et que l'allégation de la remise du montant pour les travaux de rénovation n'a pas été prouvée. X._ a interjeté appel contre ce jugement, concluant à sa réforme en ce sens que Z._ (sic!) soit condamnée à lui payer le montant de 664'391 fr., subsidiairement de 410'283.83 euros, avec intérêts à 5% l'an dès le 16 septembre 2003. Statuant le 4 juillet 2016, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel du demandeur et confirmé le jugement attaqué, par une double motivation. Elle a tout d'abord " rejeté " l'appel pour un motif de procédure, l'appelant ayant pris des conclusions en condamnation contre une personne décédée. Puis, par surabondance, elle a rejeté l'appel sur le fond: elle a retenu en substance que s'il peut être admis que le demandeur a participé à des frais de rénovation de la villa, le montant de 509'285 FF ne peut pas être établi; au demeurant, le fait qu'il ait remis un montant à son amie n'est qu'un indice et non la preuve complète d'un prêt (i.e de l'obligation de restitution de ce montant). En ce qui concerne les fonds de 2'222'000 FF remis pour l'acquisition de la villa, la cour cantonale a considéré que le demandeur a échoué à établir l'existence d'une obligation de restituer à la charge de Z._: adoptant l'appréciation des premiers juges, elle a jugé que " l'appelant échoue à établir l'existence d'une obligation de restituer à la charge de l'intimée. Ni l'existence d'un prêt ni celle d'une donation ne sont établies ". Autrement dit, elle a retenu que le demandeur a échoué dans la preuve de l'obligation de restitution qui lui incombait et, partant, qu'il supporte l'échec de la preuve de ce fait et que ses conclusions en restitution doivent être rejetées. D. Contre cet arrêt, le demandeur a interjeté un recours en matière civile au Tribunal fédéral, concluant en substance à ce que A.Z._ soit condamnée à lui payer principalement le montant de 664'391 fr. avec intérêts à 5% l'an dès le 16 septembre 2003 et, subsidiairement, le montant de 410'283.83 euros avec les mêmes intérêts. Il invoque une appréciation arbitraire des preuves et l'application incorrecte du droit. La cour cantonale se réfère aux considérants de son arrêt. Le recourant a encore déposé de brèves observations.