Faits :
A.
A.a. Le 2 décembre 1997, A._ a acquis deux unités de PPE, soit un appartement et un garage, sis à B._. Ces lots étaient grevés d'une cédule hypothécaire au porteur d'une valeur de 500'000 francs. Il a indiqué avoir vécu dans l'appartement jusqu'à la fin de l'année 2012, date de son retour au Koweit, et y avoir conservé la cédule hypothécaire. Son père, feu C._, a résidé dans l'appartement entre 2011 et son décès le 5 février 2013.
En été 2016, A._ est retourné dans l'appartement en Suisse et s'est rendu compte que certaines affaires personnelles de son défunt père ainsi que la cédule hypothécaire avaient disparu. Le 29 novembre 2017, il a requis l'annulation de la cédule auprès du Tribunal d'arrondissement de l'Est vaudois.
Le 14 septembre 2018, la présidente du tribunal d'arrondissement a informé A._ que l'original de la cédule hypothécaire avait été produit par Me D._, représentant son frère, E._.
A.b. Le 26 novembre 2018, A._ a déposé plainte pénale pour vol au préjudice d'un proche, dirigée contre ses frères E._, F._ et G._, ainsi que contre sa soeur H._ et sa mère I._ (ci-après: les membres de la famille).
A.c. Le 1er mai 2019, les membres de la famille, qui avaient été invités à se déterminer sur la plainte déposée contre eux, ont notamment expliqué par le biais de leur conseil, que l'achat de l'appartement à B._ avait été financé par le défunt père du plaignant, C._, et mis au nom du plaignant pour des motifs de conformité à la Loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41), que l'appartement avait toujours été destiné à l'usage de l'ensemble des membres de la famille, que toutes les dépenses y relatives avaient été payées soit directement par feu C._, soit par la holding familiale J._ (ci-après: la holding familiale) et que peu avant son décès, C._ vivait dans cet appartement et avait donné à son fils E._ la cédule hypothécaire litigieuse afin qu'il la conserve et veille aux intérêts de la famille et de la holding familiale.
A.d. Par courrier du 15 juillet 2019, A._ s'est déterminé sur les explications des membres de sa famille, concluant à l'ouverture d'une enquête pénale à leur encontre.
B.
Par ordonnance du 20 novembre 2019, le Ministère public de l'arrondissement de l'Est vaudois a refusé d'entrer en matière sur la plainte (I) et a laissé les frais à la charge de l'Etat (II).
C.
Par arrêt du 13 janvier 2020, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._, a confirmé l'ordonnance du 20 novembre 2019 et a mis les frais de la procédure de recours à sa charge.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt cantonal. Il conclut, avec suite de frais et dépens, à l'admission de son recours et au renvoi de la cause au ministère public pour qu'il ouvre une instruction pour vol ou toute autre infraction contre le patrimoine à l'encontre de E._, I._, G._, F._ et H._.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4). En vertu de l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 et les références citées).
1.2. En l'espèce, le recourant a pris part à la procédure de dernière instance cantonale. Il expose s'être fait subtiliser, contre sa volonté, une cédule hypothécaire au porteur d'une valeur de 500'000 francs. Il reproche à son frère E._ ou à un autre membre de sa famille d'avoir commis une infraction contre le patrimoine (vol, subsidiairement appropriation illégitime) qui lui aurait causé un dommage de "plus de 500'000 fr." qu'il entend faire valoir dans le cadre de la procédure pénale. Ces éléments sont suffisants pour comprendre les prétentions civiles en jeu et permettent de lui reconnaître la qualité pour recourir.
2.
Dans une première section de son mémoire de recours intitulée "résumé des faits" (cf. recours, p. 4 à 7), le recourant présente sa propre version des événements, en introduisant divers éléments qui ne ressortent pas de l'état de fait de la cour cantonale ou qui entrent en contradiction avec celui-ci. Il ne cherche toutefois pas à démontrer, dans cette première partie, que les faits le concernant auraient été établis de manière arbitraire (cf. <ref-law>). Ce faisant, il ne présente aucun grief recevable.
3.
Le recourant reproche à l'autorité précédente d'avoir établi les faits de manière arbitraire. Il se plaint en outre d'une violation de l'<ref-law> en lien avec les art. 137 et 139 CP.
3.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. L'<ref-law> trouve également application lorsque le recours porte sur la question du classement de la procédure ou d'une non-entrée en matière. Lorsque les éléments de preuve au dossier sont peu clairs, le ministère public et l'autorité de recours ne sauraient anticiper l'appréciation des preuves qu'en ferait le tribunal du fond. Ainsi, lorsque le recours porte sur le classement de la procédure ou une non-entrée en matière, le Tribunal fédéral, dont le pouvoir de cognition est limité à l'arbitraire selon l'<ref-law>, n'examine pas si les constatations de fait de l'autorité précédente sont arbitraires, mais si celle-ci aurait pu arbitrairement s'écarter d'un moyen de preuve clair ou, à l'inverse, tenir arbitrairement un fait comme clairement établi (<ref-ruling> consid. 2.3.2 p. 244 s.; arrêts 6B_1064/2019 du 16 janvier 2020 consid. 2.2 et 6B_226/2019 du 29 mars 2019 consid. 3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
3.2. Conformément à l'<ref-law>, le ministère public rend immédiatement une ordonnance de non-entrée en matière s'il ressort de la dénonciation ou du rapport de police que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis. Cette disposition doit être appliquée conformément à l'adage "in dubio pro duriore". Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et <ref-law> en relation avec les art. 319 al. 1 et 324 al. 1 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées; arrêt 6B_1047/2019 du 15 janvier 2020 consid. 3.1).
Face à des versions contradictoires des parties, il peut être exceptionnellement renoncé à une mise en accusation lorsqu'il n'est pas possible d'apprécier l'une ou l'autre version comme étant plus ou moins plausible et qu'aucun résultat n'est à escompter d'autres moyens de preuve (cf. arrêts 6B_174/2019 du 21 février 2019 consid. 2.2; 6B_1239/2018 du 11 mars 2019 consid. 3.1).
3.3. Selon l'<ref-law>, celui qui, pour se procurer ou procurer à un tiers un enrichissement illégitime, se sera approprié une chose mobilière appartenant à autrui sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire, en tant que les conditions prévues aux art. 138 à 140 CP ne seront pas réalisées (ch.1). Si l'auteur a trouvé la chose ou si celle-ci est tombée en son pouvoir indépendamment de sa volonté, s'il a agi sans dessein d'enrichissement ou si l'acte a été commis au préjudice des proches ou des familiers, l'infraction ne sera poursuivie que sur plainte (ch. 2).
Cette disposition présuppose notamment l'appropriation d'une chose mobilière appartenant à autrui, ainsi qu'un dessein d'enrichissement illégitime de la part de l'auteur (arrêt 6B_1043/2015 du 9 décembre 2015 consid. 4.2.1 et les références citées).
L'acte d'appropriation signifie tout d'abord que l'auteur incorpore économiquement la chose ou la valeur de la chose à son propre patrimoine, pour la conserver, la consommer ou pour l'aliéner; il dispose alors d'une chose comme propriétaire, sans pour autant en avoir la qualité. L'auteur doit avoir la volonté, d'une part, de priver durablement le propriétaire de sa chose, et, d'autre part, de se l'approprier, pour une certaine durée au moins. Il ne suffit pas que l'auteur ait la volonté d'appropriation, celle-ci devant se manifester par un comportement extérieurement constatable (<ref-ruling> consid. 6.2.1 p. 227; <ref-ruling> consid. 1c p. 25; <ref-ruling> consid. 2a p. 151 s.; arrêts 6B_1056/2018 du 29 janvier 2019 consid. 2.3.1; 6B_70/2016 du 2 juin 2016 consid. 3.3.2 non publié in <ref-ruling>).
Sur le plan subjectif ensuite, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime (cf. arrêt 6B_395/2015 du 25 novembre 2015 consid. 2.2 et les références citées).
3.4. L'<ref-law> (vol) réprime le comportement de celui qui, pour se procurer ou procurer à un tiers un enrichissement illégitime, aura soustrait une chose mobilière appartenant à autrui dans le but de se l'approprier.
La notion de vol ne se distingue de celle de l'appropriation illégitime (<ref-law>) qu'au regard des modalités d'appropriation de la chose. Pour qu'il y ait vol, il faut que l'auteur soustraie la chose à autrui, c'est-à-dire qu'il brise la possession d'autrui pour constituer une nouvelle possession de la chose. En matière pénale, la possession ("Gewahrsam", "possesso") est définie comme un pouvoir de fait sur la chose, selon les règles de la vie sociale ou les circonstances concrètes du cas d'espèce et non selon les règles du droit civil (<ref-law>). Elle présuppose la disposition effective de la chose et la volonté de la posséder (<ref-ruling> consid. 2.1 p. 110; arrêts 6B_1056/2018 du 29 janvier 2019 consid. 2.3.2 et 6B_243/2014 du 15 juillet 2014 consid. 2.3).
3.5. En l'espèce, la cour cantonale a considéré que rien ne venait contredire la version des membres de la famille du recourant selon laquelle l'appartement aurait été acquis par feu C._ et mis au nom du recourant pour des raisons de conformité à la LFAIE. Elle a relevé que le recourant se contentait de répéter qu'il était propriétaire de l'immeuble sans expliquer comment il aurait financé cette acquisition, n'apportant aucun élément à ce sujet. Il affirmait en particulier qu'il aurait payé les charges de l'immeuble, mais ne produisait aucune pièce prouvant ses dires. Les membres de sa famille avaient, au contraire, produit de nombreux documents prouvant que les charges de l'immeuble et de la copropriété, ainsi que d'importants travaux, avaient été payés par feu C._ ou par la holding familiale. La cour cantonale a également relevé que le recourant donnait l'impression de vouloir faire pression sur les membres de sa famille dans le cadre d'un litige d'ordre civil. Elle a conclu qu'en recevant la cédule hypothécaire litigieuse, E._ ne savait pas et ne pouvait pas savoir que son père agissait de manière illégitime; aucune mesure d'instruction ne permettait d'établir cela pour aucun des prévenus visés par la plainte du recourant. Par conséquent, à défaut d'élément constitutif de toute infraction pénale, c'était à bon droit que le procureur avait rendu une ordonnance de non-entrée en matière.
3.6.
3.6.1. Le recourant reproche à l'instance précédente d'avoir retenu à tort certains faits et d'avoir omis d'autres faits qui seraient, selon lui, établis par des pièces. Dans la mesure où il ne démontre pas en quoi la correction des vices allégués aurait une influence sur le sort de la cause (<ref-law>), ses griefs sont irrecevables. Il en va ainsi lorsque le recourant soutient que la cour cantonale aurait retenu à tort qu'il avait déposé plainte pour vol alors qu'il n'avait pas précisé dans sa plainte qu'il s'agissait d'un vol. Il ressort d'ailleurs de l'arrêt attaqué que la cour cantonale a non seulement examiné si les éléments constitutifs de l'infraction de vol (<ref-law>) étaient réalisés mais également ceux d'appropriation illégitime (<ref-law>). Il en va également ainsi du fait que les membres de la famille ont indiqué que le recourant aurait une santé psychique fragile et qu'il serait de mauvaise foi, étant par ailleurs précisé que la cour cantonale s'est contentée de rapporter à cet égard les propos des membres de la famille dans leur courrier du 1er mai 2019. Enfin, il en va de même de certains faits que la cour cantonale aurait prétendument omis tels que le fait que les effets personnels de feu C._ auraient été emportés par les membres de la famille ou le fait que ces derniers ne cesseraient "d'engager des procédures contre le recourant sans aucun fondement" et l'auraient "écarté de la holding familiale sans aucune raison" (recours, p. 10). Il ressort au demeurant de l'arrêt attaqué que les membres de la famille du recourant ont indiqué, dans leurs déterminations, que le recourant était en mauvais terme avec l'ensemble de la famille depuis de nombreuses années.
3.6.2. Pour le reste, le recourant reproche essentiellement à la cour cantonale d'avoir arbitrairement retenu la version des membres de sa famille selon laquelle feu C._ avait acquis l'appartement, l'avait mis au nom du recourant pour des raisons de conformité à la LFAIE et avait remis volontairement la cédule hypothécaire à son fils E._. Il fait grief à la cour cantonale de ne pas avoir retenu qu'il était propriétaire et possesseur de l'immeuble et de la cédule hypothécaire et se réfère aux extraits du registre foncier qu'il a produits devant l'instance précédente. Invoquant une violation de l'<ref-law>, il fait valoir que la situation de fait ne serait pas claire dès lors que la version des membres de sa famille n'est pas la même que la sienne. Il soutient également que ce n'est pas parce qu'il n'a pas financé la majorité du bien immobilier qu'il ne peut pas en être propriétaire, y compris de la cédule hypothécaire y relative.
Le recourant se borne essentiellement à opposer sa propre appréciation des preuves à celle de l'autorité précédente sans démontrer en quoi celle-ci - fondée sur les déclarations des membres de la famille et corroborée par plusieurs pièces - serait arbitraire. Au demeurant, toute l'argumentation du recourant tend à démontrer qu'il n'est pas seulement le propriétaire formel mais également le propriétaire économique de l'appartement. Ce faisant, il méconnaît toutefois que la propriété du bien immobilier et celle de la cédule hypothécaire sont deux questions distinctes. En effet, en se bornant à affirmer qu'il est propriétaire de l'appartement, il ne rend pas vraisemblable qu'il est propriétaire de la cédule hypothécaire détenue par son frère, E._, étant rappelé à cet égard que, selon la jurisprudence, à moins que sa possession ne soit suspecte ou équivoque, le détenteur d'une cédule hypothécaire au porteur qui s'en prétend propriétaire est présumé en avoir acquis la propriété (cf. arrêts 5A_734/2018 du 4 décembre 2018 consid. 4.3.3 publié in BlSchK 2019 p. 44; 5C.11/2005 du 27 mai 2005 consid. 3.2 publié in RNRF 2008 p. 46 et les références citées).
Or, il ressort des faits constatés par la cour cantonale - non contestés par le recourant - que, bien que le recourant soit formellement propriétaire du bien immobilier, son père, feu C._, résidait dans l'appartement dont il avait financé l'acquisition et dans lequel était conservée la cédule hypothécaire. Le recourant, quant à lui, était parti au Koweit en 2012 sans ladite cédule alors que les charges de l'appartement - auquel avaient accès les membres de la famille - étaient payées par feu C._ et par la holding familiale.
C'est donc sans arbitraire que la cour cantonale a retenu, sur la base de ces éléments de faits constatés, que rien ne permettait de retenir que E._ ou un autre membre de la famille du recourant aurait soustrait la cédule hypothécaire ou se la serait appropriée de manière illégitime. Pour le surplus, c'est en vain que le recourant soutient que "de nombreuses mesures d'instruction pourraient permettre d'élucider l'état de fait", la cour cantonale ayant retenu qu'aucune mesure d'instruction ne permettrait d'établir que les faits dénoncés auraient été constitutifs d'une infraction. Il ne ressort d'ailleurs pas de l'arrêt attaqué - et le recourant ne le prétend pas - que les instances précédentes auraient rejeté des moyens de preuve requis par le recourant.
3.7. Au vu de ce qui précède, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en retenant que les éléments constitutifs des infractions de vol, subsidiairement d'appropriation illégitime, n'étaient pas réalisés en l'espèce. Partant, c'est sans violer le droit fédéral que l'instance précédente a confirmé le refus d'entrer en matière du ministère public.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 9 juillet 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann