Faits :
A.
A.a. Le 31 mai 2017, A._, chirurgien esthétique, a déposé une plainte pénale pour vol et abus de confiance contre B._, son ancien compagnon qu'il avait engagé pour le compte de sa clinique. En substance, il lui reprochait d'avoir encaissé près de 300'000 euros d'acomptes qu'il lui avait versés (en 9 fois, sur différents comptes) en vue d'acquérir six tableaux afin d'entamer une collection d'art contemporain chinois, et de ne lui en avoir livré qu'un seul d'entre eux, utilisant le solde des fonds pour ses propres besoins.
Dans son complément de plainte du 11 janvier 2019, reconnaissant qu'il avait pu récupérer quatre oeuvres du peintre C._, A._ reprochait à B._ de ne pas lui avoir restitué les deux peintures restantes, d'autres artistes, achetées en son nom et de s'en être dessaisi. Il a ainsi complété sa plainte en lien avec la disparition des deux tableaux restants.
A.b. D'office et à la suite de cette plainte, le Ministère public de l'arrondissement de Lausanne a décidé de l'ouverture d'une instruction pénale contre B._ à raison des faits dénoncés.
B._ a en substance reconnu avoir acheté six tableaux en faveur de A._ et indiqué qu'il en conservait deux, qui auraient été refusés par ce dernier. Il a produit des certificats d'authenticité des six oeuvres.
Entendu en qualité de témoin le 25 septembre 2018, l'artiste C._ a déclaré avoir vendu deux tableaux à B._ pour un prix total équivalant à environ 90'000 euros, versés en partie en yuans chinois.
Le 28 mars 2019, A._ a produit un rapport de la maison D._ qui évaluait les six oeuvres pour un montant total oscillant entre 211'000 et 296'000 dollars de Hong-Kong, à savoir entre environ 27'000 et 37'700 francs.
Le 16 avril 2019, B._ a déclaré que A._ était entré en possession de la totalité des oeuvres, ce qui n'a pas été contesté.
B.
Par ordonnance du 11 novembre 2019, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre B._.
En substance, le procureur a constaté que les oeuvres d'art avaient été effectivement achetées par B._ et finalement livrées au plaignant. S'agissant de l'infraction d'escroquerie, la condition de l'astuce n'était pas réalisée, le marché des oeuvres d'art contemporain étant spéculatif et hasardeux et A._ n'ayant pas procédé à des contrôles des prix de vente, en dépit du fait qu'il s'agissait d'un investissement conséquent. Quant à l'abus de confiance, le procureur a retenu que la somme confiée avait été utilisée conformément à ce qui avait été convenu entre les parties.
C.
Par arrêt du 9 janvier 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de A._ contre cette ordonnance de classement.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 9 janvier 2020. Il conclut, avec suite de frais et dépens, à son annulation et à la reprise de l'instruction pénale, les mesures d'instruction requises étant ordonnées.

Considérant en droit :
1.
Le recourant conteste le classement de la procédure pour abus de confiance et escroquerie.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. En vertu de l'<ref-law>, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le ministère public qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.).
Si la partie plaignante se plaint d'infractions distinctes, elle doit mentionner, par rapport à chacune d'elles, en quoi consiste son dommage (arrêts 6B_1444/2019 du 4 mars 2020 consid. 2.1; 6B_88/2020 du 11 février 2020 consid. 3.1).
1.2. Le recourant fait état d'un montant de 70'000 euros qui aurait "disparu" et de 52'000 dollars américains (USD) que l'intimé aurait reconnu lui devoir. Tout au plus peut-on en déduire que le recourant reproche à l'intimé d'avoir gardé par devers lui une partie des acomptes versés, dommage qui résulterait de l'abus de confiance dénoncé. Il est douteux que la motivation du recours soit suffisante s'agissant de cette infraction, toutefois, la question peut demeurer ouverte, au vu du sort de son recours sur ce point.
Pour le surplus, le recourant n'articule aucune prétention civile chiffrée découlant de toute autre infraction, de sorte qu'il ne dispose pas de la qualité pour recourir sur le fond concernant d'autres infractions, en particulier, du chef d'escroquerie.
2.
Le recourant conteste le classement de la procédure en invoquant l'interdiction de l'arbitraire et la violation du principe in dubio pro duriore.
Sous couvert d'une violation de son droit d'être entendu, le recourant reproche à la cour cantonale d'avoir ignoré des pièces qu'il juge pertinentes pour l'issue du litige et de n'avoir pas suffisamment motivé sa décision de classement.
2.1.
2.1.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1 p. 103). Le droit d'être entendu, garanti par les art. 3 al. 2 let. c CPP, 29 al. 2 Cst. et 6 par. 1 CEDH, implique pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183). Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183).
2.1.2. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a) ou lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b). Cette disposition doit être appliquée conformément au principe " in dubio pro duriore ". Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et <ref-law> en relation avec les art. 319 al. 1 et 324 al. 1 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées).
2.1.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins qu'ils aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 155 s.). L'établissement de l'état de fait incombe principalement au juge matériellement compétent pour se prononcer sur la culpabilité du prévenu. Le ministère public et l'autorité de recours n'ont dès lors pas, dans le cadre d'une décision de classement d'une procédure pénale, respectivement à l'encontre d'un recours contre une telle décision, à établir l'état de fait comme le ferait le juge du fond. Des constatations de fait sont admises au stade du classement, dans le respect du principe " in dubio pro duriore ", soit dans la mesure où les faits sont clairs, respectivement indubitables, de sorte qu'en cas de mise en accusation ceux-ci soient très probablement constatés de la même manière par le juge du fond. Tel n'est pas le cas lorsqu'une appréciation différente par le juge du fond apparaît tout aussi vraisemblable. Le principe " in dubio pro duriore " interdit ainsi au ministère public, confronté à des preuves non claires, d'anticiper sur l'appréciation des preuves par le juge du fond. L'appréciation juridique des faits doit en effet être effectuée sur la base d'un état de fait établi en vertu du principe " in dubio pro duriore ", soit sur la base de faits clairs (<ref-ruling> consid. 2.3.2 p. 244 et les références citées). L'<ref-law> est également applicable aux recours en matière pénale contre les décisions de classement ou confirmant de telles décisions. Saisi d'un tel recours, le Tribunal fédéral examine sous l'angle de l'arbitraire l'appréciation des preuves opérée par l'autorité précédente en application du principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss), si l'autorité précédente a arbitrairement jugé la situation probatoire claire ou a admis arbitrairement que certains faits étaient clairement établis (<ref-ruling> consid. 2.3.2 p. 244 s.).
2.1.4. Commet un abus de confiance au sens de l'<ref-law>, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers des valeurs patrimoniales qui lui avaient été confiées.
Sur le plan objectif, cette disposition suppose que l'auteur ait utilisé, sans droit, à son profit ou au profit d'un tiers, les valeurs patrimoniales qui lui avaient été confiées. Il y a emploi illicite d'une valeur patrimoniale confiée lorsque l'auteur l'utilise contrairement aux instructions reçues, en s'écartant de la destination fixée. Est ainsi caractéristique de l'abus de confiance au sens de cette disposition le comportement par lequel l'auteur démontre clairement sa volonté de ne pas respecter les droits de celui qui lui fait confiance (<ref-ruling> consid. 2.2.1 p. 259; <ref-ruling> consid. 1c p. 25). Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime (<ref-ruling> consid. 6.1.2 p. 27).
2.2. La cour cantonale a retenu que les griefs du recourant étaient relativement flous et peu documentés. Le recourant n'exposait aucun indice concret de l'utilisation frauduleuse des montants versés par l'intimé ou de comportement astucieux. Il était au contraire établi et incontesté que les tableaux convenus avaient bien été achetés et livrés, quand bien même les prix étaient élevés par rapport aux valeurs estimées en 2019.
Concernant en particulier l'abus de confiance, le recourant n'apportait aucune démonstration que l'intimé eût gardé une partie des montants versés. Les atermoiements du recourant, ayant initialement prétendu qu'il n'avait pas reçu les tableaux alors qu'il avait d'abord accepté de ne prendre possession que d'un seul et refusé les cinq autres, pour consentir finalement à recevoir toutes les oeuvres, lui enlevaient toute crédibilité.
Selon la cour cantonale, il s'agissait d'un litige de nature exclusivement civile.
Dans ces conditions, la cour cantonale a estimé qu'un renvoi en jugement de l'intimé aurait assurément abouti à un acquittement, faute pour les éléments constitutifs d'une quelconque infraction d'être réunis (cf. <ref-law>).
2.3. Le recourant reproche à la cour cantonale de ne pas avoir suffisamment motivé sa décision au motif que le raisonnement topique tiendrait sur une seule page, voire sur " deux petits paragraphes ". Tel que formulé, son grief ne répond pas aux exigences minimales de motivation, de sorte qu'il est irrecevable (cf. <ref-law>). En tout état, la motivation cantonale permet amplement de saisir les motifs du classement et le recourant l'a bien comprise puisqu'il la critique à plusieurs égards.
2.3.1. En se contentant d'affirmer que son refus de prendre possession des oeuvres qui lui ont été livrées ne serait pas pertinent, le recourant ne développe aucune critique recevable relative à l'appréciation qu'a faite la cour cantonale de sa crédibilité. Au contraire, en admettant avoir finalement pris possession des six oeuvres litigieuses, il ne fait que confirmer que les éléments constitutifs de l'abus de confiance lié à la « disparition de deux tableaux et à l'incapacité de [l'intimé] de les restituer », tel que dénoncé dans le complément de plainte, ne sont pas réalisés.
2.3.2. En tant que le recourant reproche à l'intimé un abus de confiance portant sur un montant de 52'000 USD, voire de 70'000 euros, sans aucune pièce permettant d'établir l'existence d'un accord portant sur l'affectation précise et exclusive des 9 acomptes versés, force est de constater, avec la cour cantonale, que ses moyens sont peu documentés.
2.3.3. Sous couvert d'une violation de son droit d'être entendu et du principe in dubio pro duriore, le recourant reproche à la cour cantonale d'avoir ignoré, sans motif, certaines pièces qu'il avait produites, à savoir un extrait d'une conversation " WeChat " avec l'intimé ainsi qu'une " fausse quittance ".
L'extrait de conversation auquel se réfère le recourant est constitué de 12 pages sur 835, dont la numérotation n'est pas consécutive et dans lesquelles les messages (dont on ignore les expéditeurs) n'apparaissent pas dans un ordre chronologique, les dates indiquées avançant dans le temps, à l'inverse des heures (cf. pièces 15 et 55/5/1-12). S'il ressort notamment de cet extrait, parmi l'évocation de différentes transactions et des mots doux, qu'un montant de " 52k USD " pourrait être restitué à l'interlocuteur, tout en acquérant le tableau comme prévu, s'il entend construire une relation proche pour le futur (cf. pièce 15 et 55/5/2: " And also, d you wanted we build more close relationship and future? If your answer is yes as I did, then we have to accept the faith, I fix the mistake, give you the 52k USD, still get the painting as planed "), il n'y est fait aucune référence à une oeuvre ou à une convention précise. Aussi, la cour cantonale pouvait, sans arbitraire, considérer que cette pièce était floue et ne permettait en rien de démontrer que l'intimé eût utilisé l'argent versé à son profit en s'écartant des instructions du recourant, au contraire. Il ressort au demeurant de cette même conversation que le montant de 52'000 USD correspondrait à une commission convenue entre les parties (cf. pièce 55/5/1: " I can give you back 52K commission I suppose to have ").
Quant à la quittance rédigée en chinois, sur laquelle s'appuie le recourant, elle n'est ni datée, ni signée; elle porte sur trois montants totalisant environ 46'000 yuan chinois, correspondant à environ 6'300 francs (cf. pièce 55/6). La traduction du document produite par le recourant révèle que les montants avancés concernent des pantalons et des chemises achetées au nom de " A._ ". Cela étant, et compte tenu de la différence significative entre les montants litigieux et ceux qui ressortent de cette quittance, la cour cantonale pouvait, sans arbitraire, considérer que les moyens du recourant étaient relativement flous et peu documentés sur ce point également. En tout état, cette pièce ne révèle aucun emploi illicite de valeurs patrimoniales au profit de l'intimé.
Le recourant reproche en outre à la cour cantonale d'avoir ignoré le fait que l'intimé aurait versé 70'000 euros au peintre C._ près de 4 ans avant la " transaction officielle " concernant des oeuvres qu'il a acquises. Or le recourant n'expose d'aucune manière en quoi cet élément serait pertinent pour établir une utilisation illicite de l'argent confié, étant établi et incontesté qu'il est en possession des oeuvres de ce peintre. Insuffisamment motivé, son grief est irrecevable sur ce point.
En tout état, l'artiste C._, à l'origine de quatre des tableaux en cause, a confirmé en avoir vendu deux à l'intimé pour un prix total de 90'000 euros, précisant que deux autres ont été vendus par une galerie d'art. Sur la base de ces éléments, non contestés par le recourant, la cour cantonale pouvait, sans violer le principe in dubio pro duriore, considérer que les sommes confiées n'ont pas été utilisées au profit de l'intimé, de manière contraire à l'usage déterminé par les parties. Elle pouvait constater qu'il s'agissait d'un litige de nature purement civile et considérer que les chances de condamnation étaient notablement plus faibles que celles d'un acquittement.
2.3.4. Pour le surplus, le recourant ne saurait rien déduire en sa faveur d'un arrêt confirmant une condamnation pour abus de confiance, dont les faits étaient clairement établis, contrairement à la présente cause, notamment s'agissant de l'utilisation contraire aux instructions et à la destination convenues des sommes d'argent confiées (arrêt 6B_100/2013 du 17 juin 2013).
2.3.5. La simple conclusion du recourant tendant à un complément d'instruction " selon les réquisitions présentées ", sans indication des mesures requises ni développement sur ce point, est irrecevable.
3.
Au vu de ce qui précède, le recours doit être rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 mai 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke