Faits :
A.
Par jugement du 17 septembre 2015, le Tribunal de police de l'arrondissement de Lausanne a reconnu X._ coupable d'escroquerie. Il lui a infligé une peine privative de liberté de sept mois, avec sursis et délai d'épreuve de deux ans, et a renoncé à révoquer le sursis qui lui avait été accordé par l'Untersuchungsrichteramt Freiburg le 23 septembre 2010. Il a renvoyé B.A._ et A.A._ à agir devant le juge civil et a mis les frais de la cause, par 2'575 fr., à la charge de X._.
B.
Statuant sur l'appel formé par X._, la Cour d'appel pénale du Tribunal cantonal vaudois l'a partiellement admis par jugement du 15 janvier 2016. Elle a libéré X._ de l'infraction d'escroquerie, a constaté qu'il s'était rendu coupable d'abus de confiance et l'a condamné à une peine pécuniaire de 180 jours-amende, le montant du jour-amende étant fixé à 10 fr., avec sursis et délai d'épreuve de deux ans.
Ce jugement repose sur les faits suivants.
B.a. Le 31 août 2009, X._ est devenu administrateur de la société C._ SA, laquelle avait notamment pour but l'exploitation d'une entreprise générale de construction de bâtiments, ainsi que toutes activités relatives à la restauration, à l'hôtellerie et au divertissement, l'achat et la rénovation d'exploitations, l'achat, la vente et la gérance de tous immeubles.
B.b. Au mois de juillet 2011, C._ SA a débuté un projet de construction de deux villas à la rue dddd à D._, dont une seule avait trouvé acheteur. Les deux maisons étant jumelées, il était impératif que la maçonnerie des maisons se fasse en parallèle. C._ SA a dès lors décidé de construire les deux maisons simultanément et de vendre la seconde " clé en main " une fois terminée. En cours de construction, faute de liquidités pour payer les maîtres d'état travaillant sur ce projet, C._ SA s'est vue contrainte de trouver des acheteurs prêts à acquérir la maison en l'état. X._ a ainsi mandaté un courtier pour trouver des acheteurs pour la seconde villa, lequel lui a présenté les époux A.A._ et B.A._.
B.c. C'est ainsi que le 6 juin 2012, C._ SA, représentée par X._, et les époux A._ ont signé devant notaire un contrat de vente ayant pour objet l'immeuble précité. Cette vente a eu lieu pour un prix global et forfaitaire de 325'000 fr., somme que les acquéreurs s'engageaient à verser dans les 20 jours suivant la signature de l'acte sur le compte du notaire ouvert auprès de la Banque E._. Selon le contrat, le prix de la vente comprenait l'ensemble des travaux réalisés au jour de la signature de l'acte de vente. La société C._ SA s'engageait donc à régler toutes factures ouvertes relatives aux travaux effectués au jour de la signature de l'acte de vente. X._ avait en outre attesté par courrier du 4 juin 2012 adressé à la Banque E._ que l'ensemble des entreprises à qui C._ SA avait adjugé les travaux déjà effectués seraient payées le jour de la vente de la villa.
Le 7 juin 2012, C._ SA, représentée par X._, a encore signé avec les époux A._ un contrat d'entreprise générale à prix forfaitaire pour les travaux de construction futurs de la villa, à hauteur de 400'000 fr., comprenant la somme de 325'000 fr. prévue dans le contrat de vente précité. Un décompte annexé au contrat d'entreprise générale faisait état des créances ouvertes relatives aux travaux déjà effectués que la société s'était engagée à régler lors de la signature du contrat de vente du 6 juin 2012, soit un montant de 90'308 fr.40.
Le 22 juin 2012, A.A._ et B.A._ ont versé le montant du prix de la vente, soit 325'000 fr., sur le compte du notaire. Avec ce montant, le notaire a, comme stipulé dans le contrat de vente, remboursé le crédit hypothécaire s'élevant à 200'000 fr., ainsi que divers frais, puis a versé le solde de 97'187 fr. 20 sur le compte de C._ SA en date du 9 juillet 2012.
B.d. Le 5 juillet 2012, X._ a démissionné de sa fonction d'administrateur de la société C._ SA. F._ est devenu administrateur unique de la société avec inscription au registre du commerce en date du 12 juillet 2012, l'ensemble du capital-actions de C._ SA ayant par ailleurs été acheté par la société G._ SA de F._ pour un montant de 10'000 francs.
Malgré les engagements pris, X._ n'a pas utilisé le montant de 97'187 fr. 20 reçu pour payer les dettes en suspens concernant la construction de la villa du couple ainsi qu'une partie des travaux futurs, ni n'a donné de directives dans ce sens à F._, avec qui il n'avait d'ailleurs parlé d'aucun dossier. L'argent versé par le couple est ainsi parti dans le fonds de roulement de la société, qui a été déclarée en faillite le 10 juillet 2014 avec effet au même jour.
Ainsi, A.A._ et B.A._ ont dû payer deux fois les factures en suspens pour un montant de 90'308 fr. 40 afin d'éviter l'inscription d'hypothèques légales, mais aussi les factures relatives aux travaux qui n'avaient pas encore été exécutés, correspondant à un montant de 6'878 fr. 80 (97'187 fr. 20 - 90'308 fr. 40). Ils ont déposé plainte pénale le 10 décembre 2012.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 15 janvier 2016. Il conclut, avec suite de frais et dépens, au prononcé de son acquittement et à l'allocation d'une indemnité à hauteur de 6'586 fr. 80 pour la procédure cantonale, aucun frais n'étant mis à sa charge pour le surplus. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.
D.
Par ordonnance du 8 juin 2016, la Cour de droit pénal du Tribunal fédéral a rejeté la requête d'assistance judiciaire formée par X._ dans le cadre de son recours en matière pénale, la condition d'indigence n'étant pas réalisée.
E.
Invités à se déterminer sur le recours, la cour cantonale et le ministère public y ont renoncé. A.A._ et B.A._ se sont limités à conclure à la confirmation du jugement attaqué, sans autre développement.

Considérant en droit :
1.
Le recourant soutient que la cour cantonale n'était pas autorisée à retenir l'infraction d'abus de confiance dans la mesure où il n'avait pas été prévenu d'une telle infraction, l'acte d'accusation et le jugement de première instance concluant uniquement à la commission d'une escroquerie. Ces griefs relèvent de l'examen de la maxime d'accusation (art. 9, 333 et 344 CPP) ainsi que de l'interdiction de la reformatio in pejus (art. 391 al. 2 CPP). Compte tenu de l'issue du recours sur le fond, point n'est besoin d'examiner le bien-fondé de ces griefs d'ordre formel.
2.
Le recourant conteste sa condamnation pour abus de confiance. Il fait valoir qu'il ne se serait pas vu confier les valeurs patrimoniales litigieuses.
2.1. Commet un abus de confiance au sens de l'art. 138 ch. 1 al. 2 CP, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers des valeurs patrimoniales qui lui avaient été confiées. Sur le plan objectif, l'infraction suppose qu'une valeur ait été confiée, autrement dit que l'auteur ait acquis la possibilité d'en disposer, mais que, conformément à un accord (exprès ou tacite) ou un autre rapport juridique, il ne puisse en faire qu'un usage déterminé, en d'autres termes, qu'il l'ait reçue à charge pour lui d'en disposer au gré d'un tiers, notamment de la conserver, de la gérer ou de la remettre (<ref-ruling> consid. 6.2 p. 27). Le comportement délictueux consiste à utiliser la valeur patrimoniale contrairement aux instructions reçues, en s'écartant de la destination fixée (<ref-ruling> consid. 2.2.1 p. 259). L'al. 2 de l'art. 138 ch. 1 CP ne protège pas la propriété, mais le droit de celui qui a confié la valeur patrimoniale à ce que celle-ci soit utilisée dans le but qu'il a assigné et conformément aux instructions qu'il a données; est ainsi caractéristique de l'abus de confiance au sens de cette disposition le comportement par lequel l'auteur démontre clairement sa volonté de ne pas respecter les droits de celui qui lui fait confiance (<ref-ruling> consid. 2.2.1 p. 259; <ref-ruling> consid. 1c p. 25).
Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime, lequel peut être réalisé par dol éventuel (<ref-ruling> consid. 2a p. 34).
2.2. La cour cantonale a retenu qu'au moment de la conclusion du contrat de vente et du contrat d'entreprise générale, il était clair pour toutes les parties que le recourant avait fait appel à des sous-traitants pour des travaux déjà effectués et pour la réalisation de travaux futurs. Par conséquent, afin de se prémunir contre le risque de devoir payer deux fois et afin d'éviter l'inscription d'hypothèques légales des artisans et entrepreneurs par ces derniers, les parties avaient expressément prévu que le recourant devait utiliser le solde du prix de vente pour désintéresser les sous-traitants. Ces clauses contractuelles représentaient ainsi indéniablement des instructions données au recourant concernant l'utilisation des fonds remis. En l'occurrence, le montant de 97'187 fr. 20 crédité sur le compte de C._ SA était destiné à payer immédiatement les factures en suspens pour un montant total de 90'308 fr. 40. Le solde des sommes créditées, soit 6'878 fr. 80 (97'187 fr. 20 - 90'308 fr. 40) était destiné à payer, selon le contrat d'entreprise générale, l'exécution des travaux futurs que le recourant avait choisi de confier à des tiers. Ainsi, le recourant agissait pour le montant total de 97'187 fr. 20 comme un auxiliaire de paiement des acquéreurs, afin de s'acquitter des travaux exécutés par des tiers, respectivement de conserver les sommes reçues jusqu'à leur utilisation dans ce but. L'argent était donc confié au recourant et celui-ci s'était engagé à en faire un emploi déterminé, dans l'intérêt des intimés.
La cour cantonale a par ailleurs considéré que la démission du recourant de ses fonctions d'administrateur de C._ SA quatre jours avant l'arrivée du solde du prix de vente sur le compte de C._ SA n'était pas déterminante, puisque rien n'empêchait le recourant de donner des instructions précises au nouvel administrateur pour qu'il utilise cet argent comme convenu, soit dans le but de payer les entreprises créancières. Or, le recourant avait admis qu'il n'avait donné aucune directive à F._ afin que celui-ci respecte l'engagement pris de payer lesdites factures et qu'il n'avait parlé d'aucun dossier avec ce dernier. Au vu de ces faits, c'était bel et bien au recourant, en sa qualité d'administrateur de fait de la société C._ SA, d'effectuer le paiement des factures des entreprises créancières ou de prendre les mesures nécessaires pour faire respecter les engagements pris avec les intimés.
Faute d'avoir utilisé la somme confiée aux fins convenues, mais en acceptant que celle-ci parte dans le fonds de roulement de la société qu'il savait obérée, le recourant avait réalisé les conditions de l'infraction d'abus de confiance.
2.3. A supposer qu'à l'instar de la cour cantonale, l'on puisse déduire des contrats de vente et d'entreprise générale précités que la somme de 97'187 fr. 20 a été confiée en vue d'une affectation convenue, c'est à C._ SA qu'incombait le devoir particulier dont la violation fondait la punissabilité pour abus de confiance. En effet, en sa qualité de partie aux contrats conclus avec les intimés et de titulaire du compte bancaire sur lequel les valeurs patrimoniales litigieuses ont été transférées, c'est bien C._ SA qui a reçu le pouvoir juridique et matériel de disposer desdites valeurs moyennant l'engagement exprès d'en faire un usage déterminé. Pour sa part, le recourant agissait comme représentant de la société dans le cadre des relations contractuelles avec les intimés (cf. jugement attaqué, consid. 2.2 et 2.3 p. 9-10).
Lorsque les valeurs sont confiées à une personne morale et que le devoir de les utiliser de la manière convenue incombe à cette dernière, l'art. 29 let. a CP permet de punir l'organe qui a utilisé les valeurs à d'autres fins (cf. arrêts 6B_162/2015 du 18 novembre 2015 consid. 3.1; 6B_528/2012 du 28 février 2013 consid. 4.3). Celui qui n'est ni un organe ou un membre d'un organe, ni un associé ou un collaborateur de la personne morale est également punissable lorsqu'il a la qualité de dirigeant effectif (art. 29 let. d CP). La question se pose dès lors de savoir si le recourant peut être qualifié d'organe, subsidiairement de dirigeant effectif de C._ SA au sens de cette disposition.
2.3.1. Conformément à l'état de fait cantonal, au moment où l'argent a été crédité sur le compte de C._ SA, le 9 juillet 2012, le recourant avait démissionné depuis quatre jours de ses fonctions d'administrateur de C._ SA. La radiation de l'inscription du recourant et l'inscription du nouvel administrateur ont été portées au registre du commerce le 12 juillet 2012. Compte tenu de l'effet seulement déclaratif de l'inscription d'administrateurs d'une société anonyme au registre du commerce (PETER/CAVADINI, Commentaire romand, CO II, 2008, n° 3 ad art. 720 CO), la démission du recourant de ses fonctions d'administrateur était effective immédiatement, soit le 5 juillet 2012 déjà. Etant par ailleurs rappelé que les intimés entendaient, par le versement du prix de vente, exécuter leurs obligations contractées envers la société C._ SA, et non envers le recourant à titre personnel, il est sans importance qu'ils n'aient pas été informés de la démission du recourant au moment du transfert des valeurs à C._ SA.
Il s'ensuit que le recourant n'était plus un organe de C._ SA lorsque cette dernière a reçu les valeurs patrimoniales et que celles-ci auraient été utilisées en violation de l'affectation convenue - à savoir lorsqu'elles sont parties dans le fonds de roulement de la société -. Le recourant n'est par conséquent pas punissable en vertu de l'art. 29 let. a CPP, faute d'avoir été un organe formel de la société au moment où les éléments constitutifs objectifs de l'infraction auraient été réalisés.
2.3.2. Il reste à examiner si, malgré sa démission, le recourant pourrait être qualifié de dirigeant effectif de C._ SA au sens de l'art. 29 let. d CP.
" Le dirigeant effectif (ou l'organe de fait) vise enfin la personne qui dirige en fait la société en utilisant comme hommes de paille des membres de l'administration statutaire, des directeurs ou des fondés de pouvoirs " (Message concernant la modification du code pénal suisse (dispositions générales, entrée en vigueur et application du code pénal) et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs, in FF 1999 1820 s. et la jurisprudence citée). La jurisprudence a précisé, en rapport avec la qualification d'administrateur de fait, qu'il fallait que cette personne ait eu la compétence durable de prendre des décisions excédant l'accomplissement des tâches quotidiennes, que son pouvoir de décision apparaisse propre et indépendant et qu'elle ait été ainsi en situation d'empêcher la survenance du dommage (<ref-ruling> consid. 2.4 p. 21; <ref-ruling> consid. 4.5 p. 528 s.).
2.3.3. La cour cantonale a qualifié le recourant d'administrateur de fait (consid. 2.2 supra). Elle n'a toutefois pas expliqué comme elle parvenait à ce résultat et l'état de fait du jugement entrepris ne contient aucun élément permettant de retenir que le recourant aurait effectivement exercé une influence sur la marche des affaires de C._ SA après avoir démissionné de ses fonctions d'administrateur. A l'inverse, l'autorité précédente a reproché au recourant de s'être totalement désintéressé de l'utilisation de l'argent versé par les intimés après avoir démissionné, n'ayant même pas discuté du dossier avec le nouvel administrateur. En tant qu'elle affirme que rien n'empêchait le recourant de donner des instructions au nouvel administrateur en dépit de sa démission, cette considération ne repose sur aucun fait constaté dans le jugement attaqué.
Le recourant ne saurait dès lors être qualifié d'administrateur de fait (art. 29 let. d CP) de C._ SA au moment où, à retenir le jugement cantonal, les valeurs auraient été confiées à la société et utilisées à d'autres fins que celles convenues. L'art. 29 CP n'est ainsi pas applicable en l'espèce.
2.3.4. La cour cantonale a encore retenu que le recourant ne saurait être exonéré de toute responsabilité du fait de sa démission de ses fonctions chez C._ SA, notamment au vu de la garantie personnelle qu'il a adressée à la Banque E._ le 4 juin 2012 et de sa connaissance de la situation obérée de la société. Ces éléments ne sauraient toutefois pallier le fait que les valeurs patrimoniales litigieuses n'ont pas été confiées au recourant personnellement. De plus, il était exclu de retenir que la lettre à l'attention de la Banque E._, rédigée sur papier à entête de C._ SA et signée par le recourant au nom de C._ SA, dont il était alors l'administrateur, constituait une garantie personnelle du recourant en ce sens que celui-ci se serait personnellement engagé auprès des intimés à veiller au paiement des entreprises sous-traitantes (dossier n° 5/2 et art. 105 al. 2 LTF). Cette approche de la cour cantonale n'a aucun fondement factuel, respectivement juridique.
2.4. En bref, il résulte de ce qui précède qu'à supposer que les valeurs litigieuses aient été confiées, elles n'ont pu l'être qu'à C._ SA. Le recourant n'était ni organe, ni dirigeant effectif de C._ SA lorsque, à teneur du jugement attaqué, les valeurs ont été confiées et utilisées sans droit. Il ne remplit donc pas les conditions de l'art. 29 CP permettant de le punir pour cette infraction, les autres éventualités prévues par cette disposition n'entrant pas en ligne de compte ici. Pour ce motif, le recours doit être admis et le jugement attaqué annulé. La cause est renvoyée à l'autorité précédente pour qu'elle prononce l'acquittement et statue sur les frais et indemnités. Compte tenu de ce qui précède, il n'y a pas lieu d'examiner les autres griefs soulevés par le recourant à l'encontre de sa condamnation.
3.
Le recourant, qui obtient gain de cause, peut prétendre à une indemnité de dépens. A.A._ et B.A._, qui agissent sans l'intermédiaire d'un avocat, se sont limités à conclure au rejet du recours et à la confirmation du jugement attaqué sans présenter de motivation. Compte tenu des circonstances du cas d'espèce, il y a lieu de mettre l'indemnité de dépens à la seule charge du canton de Vaud (art. 68 al. 1 et 2 LTF). Le présent arrêt est rendu sans frais (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant la somme de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 6 mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy