Faits : A. A.a. H.Z._ est propriétaire de biens immobiliers et de laboratoires d'analyses médicales en France; il est l'ayant droit économique de diverses sociétés de droit français, notamment de la société A._. X._, qui est au bénéfice d'un forfait fiscal dans le canton du Jura, n'a pas le droit d'exercer une activité lucrative en Suisse. Il a utilisé les sociétés canadiennes B._ Inc. et C._ Inc. pour continuer à déployer ses activités de courtier de banque et facturer ses prestations à ses clients. A.b. En 2010, H.Z._ et sa femme ont été conseillés par X._ lors de leur établissement en Suisse et pour l'acquisition d'un bien immobilier à.... Puis, entre 2010 et 2011, X._ a conseillé H.Z._, sa femme et ses sociétés, et a reçu des commissions en relation avec quatre projets. Premièrement, le refinancement par une banque suisse des biens immobiliers français appartenant au couple a fait l'objet d'un paiement de 94'500 euros (contre-valeur de 114'345 fr.) en faveur de X._. Ce paiement n'est plus litigieux dans la procédure pendante devant le Tribunal fédéral. Deuxièmement, le refinancement par une banque suisse des laboratoires d'analyses médicales détenus par les époux Z._ a donné lieu au paiement d'un montant de 174'000 euros à X._. Celui-ci, par sa société B._ Inc., devait percevoir une commission à hauteur de 3% du financement obtenu d'une banque suisse, en l'occurrence la Banque V._. Un acompte de 58'000 euros a été versé, puis le solde de 116'000 euros facturé par C._ Inc. a été versé par H.Z._, qui a fait débiter le compte de la société A._ auprès de la Banque V._ en faveur du compte de X._. Il a été retenu que X._ a reconnu en procédure avoir reçu le total de 174'000 euros (contre-valeur de 210'540 fr.). La Banque V._ a finalement refusé de débloquer les fonds. La cour cantonale a considéré que le versement de la commission est intervenu en vertu d'une cause qui ne s'est pas réalisée. Troisièmement, le développement d'un laboratoire médical à Abou Dhabi (Emirats arabes unis) a donné lieu à un paiement d'honoraires de 246'000 euros (contre-valeur de 297'660 fr.) en faveur de X._. H.Z._ et X._ se sont rendus à Abou Dhabi. C._ Inc. a adressé à la société A._ une facture de 246'000 euros, sous déduction d'un acompte versé de 82'000 euros. Le 22 février 2012, H.Z._ a fait virer 164'000 euros du compte de la société A._ sur le compte de X._. La cour cantonale a considéré que C._ Inc. a reconnu avoir perçu 82'000 euros de la part de la société A._ et que cette reconnaissance lie X._. Quatrièmement, la réalisation d'une station de lavage automatique de voitures pour le fils de H.Z._ a donné lieu au paiement de 113'400 fr. en faveur de X._. Le 15 mars 2012, H.Z._ a fait virer 113'400 fr. à la compagne de X._, laquelle a confirmé en procédure avoir perçu ce montant pour le compte de X._. La cour cantonale a retenu que X._ a reconnu le 2 mai 2013 devoir ce montant à H.Z._, en réponse à un courrier de celui-ci du 29 avril 2013. B. Par requête de conciliation du 19 février 2013, H.Z._ (demandeur) a ouvert action en paiement contre X._ (défendeur) (art. 105 al. 2 LTF). La conciliation ayant échoué et une autorisation de procéder lui ayant été délivrée, H.Z._, alors domicilié à... (VD), a déposé sa demande devant la Chambre patrimoniale du canton de Vaud le 16 août 2013. Il a conclu au remboursement, au titre de l'enrichissement illégitime, des paiements effectués pour les quatre projets, respectivement de 94'500 euros (contre-valeur de 114'345 fr.) avec intérêts, de 174'000 euros (contre-valeur de 210'540 fr.) avec intérêts, de 246'000 euros (contre-valeur de 297'660 fr.) et de 113'400 fr avec intérêts. Il a également conclu à la mainlevée de l'opposition au commandement de payer notifié à X._ pour trois de ces montants. Le défendeur a conclu à l'irrecevabilité de la demande quant au montant de 174'000 euros et au rejet pour le solde, subsidiairement au rejet pour le tout. Il a contesté la compétence du tribunal saisi et sa propre légitimation passive, mais pas la légitimation active du demandeur (art. 105 al. 2 LTF). Par jugement du 10 septembre 2015, la Chambre patrimoniale a entièrement admis la demande et levé l'opposition au commandement de payer. X._ a interjeté appel contre ce jugement le 16 décembre 2015, invoquant pour la première fois le défaut de légitimation active du demandeur. Statuant par arrêt du 27 mai 2016, la Cour d'appel civile du Tribunal cantonal vaudois n'a admis l'appel du défendeur qu'en ce qui concerne le premier projet ayant fait l'objet du versement de 94'500 euros avec intérêts et l'a rejeté pour les trois autres, confirmant le jugement attaqué sur ces montants, et levant l'opposition au commandement de payer pour le montant de 323'940 fr. avec intérêts. La cour cantonale a considéré que tant le demandeur que le défendeur ont agi tantôt en leur nom propre, tantôt par sociétés interposées, et que, partant, le principe de la transparence (Durchgriff) s'applique à l'un comme à l'autre. Elle a donc rejeté le moyen du défendeur pris du défaut de légitimation active de sa partie adverse. C. Le défendeur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt attaqué, concluant en substance à sa réforme en ce sens que la demande est rejetée et à ce qu'il soit dit qu'il ne doit aucune somme au titre de la poursuite intentée contre lui; subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il invoque qu'il a soulevé en instance d'appel le défaut de légitimation active du demandeur. Il reproche en substance aux juges cantonaux d'avoir méconnu le principe de la transparence (Durchgriff), qui découle de l'art. 2 al. 2 CC et ne peut être appliqué que contre le débiteur qui se prévaut abusivement de la dualité juridique entre lui et sa société; ce principe ne peut pas en revanche être invoqué par le créancier pour fonder sa légitimation active comme titulaire des créances réclamées. Il ne s'en prend pas aux conditions de l'action en enrichissement illégitime admises par la cour cantonale. L'intimé conclut à la confirmation de l'arrêt attaqué. Il fait valoir qu'en première instance, le défendeur a contesté principalement la compétence du tribunal saisi et sa légitimation passive, mais n'a pas contesté la légitimation active du demandeur de sorte que la procédure n'a pas porté sur cette dernière question. Il soutient que le défendeur a fait valoir l'absence de légitimation active pour la première fois en appel, " sous prétexte de nova ", et que cette " exception " viole les art. 317 et 52 CPC. La cour cantonale s'est référée aux considérants de son arrêt. Les parties ont encore déposé chacune de brèves observations. L'effet suspensif a été attribué au recours par ordonnance présidentielle du 25 août 2016.