Faits : A. Par jugement du 16 décembre 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des accusations d'usure et de gestion déloyale qualifiée et l'a reconnu coupable d'escroquerie au préjudice de D.A._. Il l'a condamné à une peine privative de liberté de 15 mois et à une amende de 5000 fr., a suspendu l'exécution de la peine privative de liberté pour une durée de 3 ans et a arrêté la peine de substitution en cas de non-paiement fautif de l'amende à 50 jours. Le Tribunal correctionnel a également reconnu le principe du dommage de D.A._, mais l'a renvoyé à agir par la voie civile. Il a encore, notamment, arrêté le montant d'une créance compensatrice de l'État à l'encontre de X._ à 737'500 francs. B. Statuant sur appels de X._ et de D.A._, la Cour d'appel pénale du Tribunal cantonal vaudois les a tous deux rejetés par jugement du 17 mars 2016. Ce jugement retient l'état de faits suivant. B.a. X._ et D.A._, aujourd'hui décédé, se connaissaient depuis 1995. Ils étaient membres d'un club d'anciens étudiants HEC. Dans le courant de l'année 2002 ou 2003, D.A._ a consulté la Fiduciaire X._ SA, dirigée par X._, administrateur unique, au sujet de sa situation fiscale. D.A._ l'a également choisi ultérieurement pour siéger au conseil d'administration de la société E._, qu'il détenait avec sa mère, dont il avait également confié les intérêts à X._. Il l'a aussi chargé, par la suite, de vendre les actions de la société précitée et s'est trouvé, en 2008, après cette transaction et après avoir également hérité des biens de sa mère, dont X._ était l'exécuteur testamentaire, à la tête d'un patrimoine évalué à environ 7'000'000 francs. X._ lui a dès lors proposé de faire l'acquisition de divers immeubles, sans jamais obtenir son assentiment. B.b. Le 29 juin 2009, D.A._ a été hospitalisé à la clinique F._, à Lausanne, en raison de douleurs lombo-sciatiformes d'origine indéterminée. Le 14 juillet 2009, D.A._ a été transféré à l'hôpital G._, où il est demeuré jusqu'au 29 juillet 2009, puis à l'hôpital de H._, jusqu'au 11 août 2009. Durant son hospitalisation, de nombreux médicaments lui ont été prescrits, dont de puissants antalgiques susceptibles de provoquer, en tant qu'effets secondaires, des états de confusion. Les doses prescrites étaient suffisamment importantes pour causer des troubles de la conscience, qui ont été constatés par le corps médical en plusieurs occurrences au cours du mois de juillet 2009. B.c. Au début du mois de juillet 2009, X._ a fait savoir au promoteur immobilier I._ que D.A._ était intéressé par l'acquisition de parts de copropriété de l'immeuble " J._ " sis à K._, détenues par la société immobilière L._ SA, dont I._ était l'administrateur unique. X._ avait transmis à D.A._ un dossier évoquant une " valeur d'expertise de 18'000'000 fr. " et une " une valeur transactionnelle possible " de 16'500'000 francs. Dans le cadre des négociations, I._ a accepté de céder les parts de sa société sur l'immeuble de K._ à D.A._ pour la somme de 15'000'000 fr. en laissant le soin à X._ de fixer lui-même le prix qu'il indiquerait à l'acheteur, la différence entre les deux montants devant échoir à X._ à titre de commission. Les 17 et 22 juillet 2009, X._ s'est rendu à l'hôpital G._, où D.A._ était hospitalisé, et lui a fait signer divers documents, dont divers formulaires, contrats et autres procurations bancaires en lien avec l'octroi d'un crédit hypothécaire. Il lui a également fait signer une procuration générale datée du 22 juillet 2009 conférant à ses bénéficiaires, X._ et un tiers, le pouvoir d'agir collectivement entre eux ou individuellement si l'autre ne pouvait agir, aux fins de gérer et administrer tous ses biens et affaires, avec pouvoir de disposition. X._ a encore fait signer une procuration sp éciale, également datée du 22 juillet 2009, intitulée " procuration pour acquérir un immeuble ", qui conférait à X._ le pouvoir d'acquérir pour le compte de D.A._ des parts de la société immobilière L._ SA pour le prix de 16'500'000 francs. La signature de D.A._ figurant au bas de ces deux procurations a été légalisée par le notaire M._, à l'hôpital G._, à Lausanne. Le 23 juillet 2009, X._ a fait virer le montant de 4'500'000 fr. en faveur du notaire N._, à Sion, par le débit du compte postal de D.A._. Par contrat des 23 et 28 juillet 2009, signé par X._ au nom de D.A._, la Banque O._ a accordé à ce dernier un crédit hypothécaire de 12'000'000 francs. Par acte de vente du 24 juillet 2009, instrumenté par le notaire N._, D.A._, représenté par X._, a acquis pour le compte de ce dernier les parts de propriété correspondant à 60% de la parcelle n° xxx de la commune de K._ à la société L._ SA, représentée par son administrateur unique I._, pour le prix de 16'500'000 francs. L'acte de vente stipulait que ce montant se composait notamment de la somme de 4'500'000 fr. déjà versée sur le compte du notaire, à charge pour lui d'honorer la commission du courtier sur la base d'une facture reconnue par la venderesse. Le 29 juillet 2009, la société P._ SA, dont X._ est le président du conseil d'administration, a établi une facture de 1'500'000 fr., avec notamment la mention " commission de courtage " et " tous frais d'achat compris (...) ". Sur la base de cette facture, le notaire N._ a versé 1'250'000 fr. sur un compte bancaire au nom de P._ SA, si bien qu'en définitive, X._ a perçu, par l'intermédiaire de sa société, la somme de 1'250'000 fr., après dé duction des frais de mutation et de notaire qu'il avait pris à sa charge et d'une part du vendeur, soit la société immobilière L._ SA, à titre de commission sur cette transaction. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale du Tribunal cantonal vaudois du 17 mars 2016. Il conclut principalement à la réforme de l'arrêt attaqué en ce sens qu'il est en particulier libéré de l'accusation d'escroquerie, subsidiairement à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.