Faits :
A.
Par ordonnance du 7 avril 2016, le Ministère public de l'arrondissement de l'Est vaudois a, notamment, ordonné le classement de la procédure pénale dirigée contre A._ pour abus de confiance.
B.
Statuant par arrêt du 17 juin 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours déposé par X._.
En bref, il en ressort les faits suivants.
Au cours de l'année 2012, X._ a noué des relations contractuelles avec A._ portant sur des travaux à réaliser sur sa villa à B._. Ils ont en particulier conclu un contrat le 3 juillet 2012 d'un montant de 100'000 fr. ayant pour objet du matériel sanitaire à installer. Dans ce cadre, X._ reproche à A._ d'avoir utilisé une partie du montant qu'il aurait avancé en exécution de ce contrat, soit 50'180 euros, TVA comprise, à d'autres fins que celle convenue.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 17 juin 2016. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants et à ce que les mesures d'instruction sollicitées au chiffre IV de sa plainte, dans lequel il demande la production des extraits bancaires détaillés de A._, et dans le courrier du 17 mars 2016, sont ordonnées.

Considérant en droit :
1.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.1 p. 4 et les références citées).
En l'espèce, le recourant a participé à la procédure cantonale en tant que partie plaignante et a pris une conclusion civile tendant « à la restitution des montants détournés », soit un montant de 41'717 euros 15, avec intérêt à 5%. La décision peut dès lors avoir une incidence sur celle-ci, de sorte que le recours est recevable au regard de l'art. 81 al. 1 let. b ch. 5 LTF.
2.
Dénonçant une violation des 9, 29 al. 1 et 2 Cst., 139 et 318 CPP et 6 CEDH, on comprend du mémoire du recourant qu'il reproche au ministère public d'avoir arbitrairement refusé d'ordonner, respectivement renoncé à la production d'une preuve pertinente, et qu'il fait grief à la cour cantonale d'avoir violé son obligation de motiver et d'avoir fait preuve d'arbitraire en refusant de mettre en oeuvre les mesures d'instruction requises.
2.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 2a/aa p. 16). En procédure pénale, l'<ref-law> prévoit que le ministère public ne peut écarter une réquisition de preuves que si celle-ci exige l'administration de preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés en droit. Selon l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
Le droit d'être entendu de l'art. 29 al. 2 Cst. implique également pour le juge l'obligation de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.2.4 p. 41; <ref-ruling> consid. 2.2 p. 183). Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (ATF <ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 5.1 p. 237).
2.2. La cour cantonale a d'abord exposé la version des faits du recourant puis celle de A._. Le premier soutenait avoir avancé 90'000 fr. au second en exécution d'un contrat signé le 3 juillet 2012 portant sur du matériel sanitaire à installer dans sa villa à B._ en demandant oralement à A._ d'utiliser une partie de cette avance (à concurrence de 50'180 euros, TVA comprise) pour acheter du matériel sanitaire auprès de la société française C._, selon un devis du 6 avril 2012, auquel renvoyait expressément le contrat. Or, seuls 3'827 euros 60 avaient été utilisés conformément aux instructions données à A._. Le solde avait été détourné. La version des faits de ce dernier était toute autre. Il alléguait que, selon les indications orales données par le recourant, le devis C._ devait servir à définir la liste des articles sanitaires à acheter, qui pouvaient l'être au meilleur prix auprès des divers fournisseurs existants. Il avait ainsi acquis pour environ 25'000 euros de matériel, dont le 60% chez C._. Le solde de la somme reçue en vertu du contrat du 3 juillet 2012 (60'000 fr. à 63'000 fr., selon ses dires) aurait servi à payer le travail d'installation de ce matériel.
La cour cantonale a ensuite examiné si les éléments au dossier étayaient le récit du recourant et permettaient de retenir, comme il l'indiquait dans sa plainte, que A._ s'était rendu coupable d'abus de confiance. Elle a repris le contrat relatif aux installations sanitaires du 3 juillet 2012 prévoyant que le maître de l'ouvrage confiait des travaux à A._ sur sa villa pour 100'000 fr. (art. 2), avec un délai d'exécution fixé au 15 septembre 2012, et que la somme de 100'000 fr. comprenait « notamment » les prestations ensuite énumérées (pose du matériel sanitaire), sans prix, ni référence à un devis. L'art. 5 se référait au compte sur lequel les sommes dues au titre « du présent marché » devaient être versées à A._, sans plus ample précision sur leur affectation.
Quant à l'extrait du rapport d'expertise (preuve à futur) du 5 avril 2014, il précisait au chiffre 7.212 que le contrat ci-dessus « [...] correspond[ait] à une Proposition C._ du 6 avril 2012 [...] » pour la fourniture et la livraison d'appareils sanitaires à concurrence de 50'180 euros, TVA incluse. Il fournissait un indice sur le prix de la marchandise mais ne renseignait pas sur les instructions données à A._.
S'agissant des trois attestations bancaires relatives aux avances effectuées à concurrence de 65'000 fr. le 24 août 2012, 10'000 fr. le 7 septembre 2012 et 15'000 fr. le 31 janvier 2013, elles montraient qu'il y avait eu trois virements faisant référence à un contrat du 3 juillet 2012 et représentant un total de 90'000 fr., sans préciser la destination des montants. Au vu des dates des virements - qui avaient eu lieu peu avant l'échéance du contrat pour les deux premiers et trois mois plus tard pour le troisième -, il n'était en outre pas exclu qu'une partie de ces montants aient été versée en exécution du second contrat signé le 3 juillet 2012 pour l'installation d'un système d'alarme; A._ alléguait d'ailleurs avoir reçu moins de 90'000 fr. pour les installations sanitaires.
Il ressortait de ces éléments que les instructions données par le recourant à A._ sur l'utilisation des fonds versés en application du contrat relatif aux installations sanitaires du 3 juillet 2012 avaient été purement verbales, que l'instruction n'avait pas permis de les cerner, et qu'à ce sujet les déclarations des parties étaient irrémédiablement contradictoires, aucune mesure d'instruction ne paraissant à même d'éclairer la question.
Au vu de ces éléments, la cour cantonale est parvenue à la conclusion qu'il ne pouvait être soutenu qu'il y avait eu emploi illicite d'une valeur patrimoniale au sens de l'<ref-law>.
2.3. Le raisonnement suivi par la cour cantonale est suffisamment motivé et le recourant ne démontre pas en quoi l'autorité précédente aurait procédé de manière arbitraire à une appréciation anticipée des preuves. Il se contente en effet de prétendre que les extraits complets « détaillés » indiqueraient le motif de paiement - soit l'instruction donnée à A._ d'utiliser les fonds transférés conformément au contrat du 3 juillet 2012 - ce qui ne serait pas le cas des extraits simplifiés figurant au dossier. On ne distingue toutefois pas quels renseignements supplémentaires la production requise aurait pu apporter, dans la mesure où l'arrêt attaqué mentionne trois attestations bancaires relatives aux avances effectuées à concurrence de 65'000 fr., 10'000 fr. et 15'000 fr., lesquelles font expressément référence à un contrat du 3 juillet 2012. Au demeurant, ce seul renvoi ne donne pas suffisamment d'indications sur la nature des instructions orales données par le recourant à A._ quant à l'utilisation des fonds versés, ou en tous les cas n'est pas propre à départager les versions contradictoires des parties. On ne voit pas non plus en quoi la production du courriel adressé le 31 mars 2014 par A._ à l'expert aurait pu renseigner les autorités inférieures sur les instructions données par le recourant. Ce courriel est mentionné au chiffre 7.212 de l'expertise: « Confirmation par courriel du M.O. A._ du 31.03.2014 » après la précision que le contrat du 3 juillet 2012 « [...] correspond à une Proposition C._ du 6 avril 2012 [...] » pour la fourniture et la livraison d'appareils sanitaires à concurrence de 50'180 euros, TVA incluse. A cet égard, la cour cantonale a indiqué que le contrat fournissait un indice sur le prix de la marchandise mais ne renseignait pas sur les instructions données à A._. On ne voit dès lors pas en quoi le courriel du 31 mars 2014 du recourant confirmant ce point aurait pu éclairer davantage la cour cantonale sur le contenu des instructions données à A._.
2.4. Il apparaît en définitive que les faits ont été suffisamment élucidés par les autorités cantonales. Le recourant ne proposant aucun autre moyen de preuve susceptible d'asseoir ses accusations, une procédure pénale aurait nécessairement conduit à une libération de l'accusation d'abus de confiance. Au vu de ce résultat, il n'est pas nécessaire d'examiner plus avant les autres griefs du recourant relatifs à la motivation subsidiaire de la cour cantonale.
3.
Le recours doit en conséquence être rejeté, dans la mesure où il est recevable. Le recourant supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 15 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel