Faits :
A.
Le Ministère public de l'arrondissement de l'Est vaudois (ci-après: Ministère public) a ouvert une instruction pénale pour abus de confiance et escroquerie à l'encontre de A._, à la suite de la plainte déposée le 9 août 2017 par la société B._ SA. A._ est soupçonné de ne pas avoir, à Lausanne, en février 2017, restitué des pierres précieuses d'une valeur totale de 170'000 USD à la société B._ SA, alors que celle-ci les lui avait confiées dans le but qu'il les présente et les vende à des clients.
Le 6 décembre 2017, la police a procédé à des perquisitions, notamment aux domiciles de A._ à Lausanne et de C._ à Pully, et a saisi des pierres précieuses et des documents. Entendu le 6 décembre 2017 par la procureure, A._ a déclaré que D._, représentant de la société B._ SA, lui avait remis le 9 février 2017 un lot de pierres précieuses d'une valeur de l'ordre de 150'000 à 200'000 fr. pour qu'il les vende, qu'il les avait restituées à D._ le lendemain car celui-ci voulait les montrer à un client, qu'il avait récupéré environ la moitié de ces pierres avant la foire de Bâle 2017 et que certaines pierres retrouvées chez lui appartenaient à E._, de la société F._ SA, et non à B._ SA (cf. procès-verbal d'audition de A._ du 6 décembre 2017, lignes 79-90, 96-97 et 170-173).
Dans son rapport du 1er mars 2018, la police a expliqué que A._ était venu dans ses locaux pour examiner les pierres précieuses saisies le 6 décembre 2017 et identifier leurs propriétaires, et que la quasi-totalité des pierres retrouvées à Pully correspondait à une partie des pierres recherchées et réclamées par B._ SA.
Le 7 mars 2018, la police a procédé à l'audition de D._. Celui-ci a expliqué que les pierres précieuses avaient été importées par F._ SA, que B._ SA les lui avaient payées, qu'il avait remis toutes les pierres inventoriées sur la quittance du 9 février 2017 à A._ le 9 février 2017, que celui-ci les lui avait restituées le 10 février 2017 et qu'il avait retransmis ces pierres à A._ entre mi-février et fin février 2017 sans justificatif (cf. procès-verbal d'audition du 7 mars 2017, R. 7 et R. 10 p. 3). E._ a, quant à lui, indiqué qu'il avait évalué la valeur des pierres précieuses avec D._, que le prix avait été fixé à 172'967 USD et que F._ SA avait facturé ce montant à B._ SA (cf. procès-verbal d'audition du 22 mars 2017, R. 8).
Dans son rapport d'investigation du 2 mai 2018, la police a relevé qu'il avait été impossible d'identifier la quantité exacte de pierres remises par B._ SA à A._ après le 10 février 2017 dans le but de les commercialiser.
B.
Par ordonnance du 6 septembre 2018, le Ministère public a ordonné le séquestre d'une série de pierres précieuses saisies lors des perquisitions effectuées le 6 décembre 2017 chez C._ en mains de A._ (liste A) et le 26 avril 2018 au domicile de A._ (liste B). Le Ministère public a considéré que ces pierres pourraient constituer le produit de l'infraction; elles pourraient être utilisées comme moyens de preuve et être restituées au lésé (cf. art. 263 al. 1 let. a et c CPP).
C.
Lors de l'audition de confrontation du 27 février 2019 devant la procureure, D._ a relevé qu'il avait remis des pierres précieuses en soumission à A._ sans qu'il lui verse d'argent, qu'il y avait eu plusieurs passations de pierres entre eux et qu'il lui avait donc remis le même lot d'une valeur d'environ 170'000 USD à plusieurs reprises. A._ a observé que B._ SA lui avait remis le même lot de pierres à plusieurs reprises pour qu'il les vende à des clients, mais qu'il ne s'agissait pas du même lot que celui qui lui avait été remis le 9 février 2017 (cf. procès-verbal d'audition de confrontation du 27 février 2018, lignes 123-133 et 196-205).
D.
Par ordonnance du 12 juin 2020, le Ministère public a ordonné le séquestre d'une boîte contenant 40 écrins munis d'une pierre taillée, saisie au domicile de A._, à Lausanne, lors d'une perquisition effectuée le 6 décembre 2017, d'un sachet renfermant 4 pierres (2 carrées et 2 en forme de goutte), saisi dans les locaux de G._ SA, à Lausanne, lors d'une perquisition effectuée le 6 décembre 2017 et d'un sachet n° 4 contenant des pierres roses " a/inscription Pcs Cts 9.14. cont. 157 pierres", saisi au domicile de H._, à La Tour-de-Peilz, lors d'une perquisition effectuée le 6 décembre 2017.
Par arrêt du 9 novembre 2020, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis le recours interjeté par A._ contre cette ordonnance, annulant l'ordonnance de séquestre du 12 juin 2020 au motif qu'elle était insuffisamment motivée.
E.
Par avis de prochaine clôture du 23 décembre 2020, le Ministère public a informé les parties qu'il prévoyait de rendre une ordonnance de classement en faveur de H._ et un acte d'accusation devant le tribunal à l'encontre de A._, pour ne pas avoir restitué des pierres précieuses d'une valeur de 170'000 USD à B._ SA, laquelle les lui avait confiées. La procureure a imparti un délai au 22 janvier 2021 aux parties pour formuler des éventuelles réquisitions de preuves.
Par ordonnance du 23 décembre 2020, le Ministère public a ordonné le séquestre des objets ayant fait l'objet de l'ordonnance annulée du 12 juin 2020 (cf. supra let. D). Il a retenu que la propriété des objets séquestrés avait été revendiquée par A._, qu'un avis de prochaine clôture avait été envoyé aux parties ce même jour, que la contre-valeur des pierres séquestrées pourrait être utilisée pour couvrir les frais et les indemnités, ainsi que les peines pécuniaires et les amendes, découlant de la présente procédure pénale en application de l'<ref-law>, que la partie plaignante avait revendiqué le versement d'une indemnité de près de 29'130 fr., que les débours de la procédure s'élevaient alors à 1'821 fr. 90, sans compter les émoluments de justice, et que A._ avait des poursuites pour plus de 14'500 fr.
F.
Le 19 janvier 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours intenté par A._ contre l'ordonnance de séquestre du 23 décembre 2020. Elle a considéré que les conditions du séquestre en couverture des frais au sens de l'<ref-law> étaient réalisées.
G.
Par acte du 26 mars 2021, A._ forme un recours en matière pénale contre cet arrêt, concluant à son annulation et à ce qu'il soit constaté que le séquestre ordonné le 23 décembre 2020 est illicite et que A._ peut librement disposer des biens séquestrés.
Invités à se déterminer, le Tribunal cantonal et le Ministère public renoncent à se prononcer et se réfèrent aux considérants de l'arrêt entrepris. L'intimée conclut au rejet du recours aux termes de ses déterminations.

Considérant en droit :
1.
L'arrêt attaqué, qui confirme le maintien du séquestre sur des valeurs patrimoniales en mains du recourant, est un prononcé rendu en matière pénale au sens de l'<ref-law>. Le recourant peut se prévaloir d'un intérêt juridique à obtenir l'annulation ou la modification de cette décision, de sorte qu'il dispose de la qualité pour recourir au sens de l'<ref-law> (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1a). Le séquestre pénal est une décision à caractère incident et le recours n'est donc recevable que si l'acte attaqué est susceptible de causer un préjudice irréparable (<ref-law>; <ref-ruling> consid. 2.3). Tel est le cas lorsque le détenteur - qui se prétend propriétaire d'une partie des objets séquestrés - se trouve privé temporairement de la libre disposition des biens ou valeurs saisis (<ref-ruling> consid. 1; cf. arrêt 1B_660/2020 du 25 mars 2021 consid. 1), ce qui est le cas en l'occurrence.
2.
Le recourant conteste en premier lieu l'existence de soupçons suffisants justifiant le séquestre.
2.1. Selon l'<ref-law>, des objets et des valeurs patrimoniales appartenant au prévenu ou à des tiers peuvent être mis sous séquestre notamment lorsqu'il est probable qu'ils seront utilisés pour garantir le paiement des frais de procédure, des peines pécuniaires, des amendes et des indemnités. L'<ref-law> précise que le patrimoine d'un prévenu peut être séquestré dans la mesure qui paraît nécessaire pour couvrir les frais de procédure et les indemnités à verser (let. a), ainsi que les peines pécuniaires et les amendes (let. b). L'alinéa 2 de cette disposition ajoute que lors du séquestre, l'autorité pénale tient compte du revenu et de la fortune du prévenu et de sa famille. Quant à l'alinéa 3, il dispose que les valeurs patrimoniales insaisissables selon les art. 92 à 94 de la loi fédérale du 11 avril 1889 sur la poursuite pour dettes et la faillite (LP; RS 281.1) sont exclues du séquestre.
Comme toute autre mesure de séquestre, celui en couverture des frais est fondé sur la vraisemblance. Tant que l'instruction n'est pas achevée, une simple probabilité suffit car la saisie se rapporte à des prétentions encore incertaines. L'autorité pénale doit pouvoir décider rapidement du séquestre provisoire (cf. <ref-law>), ce qui exclut qu'elle résolve des questions juridiques complexes ou qu'elle attende d'être renseignée de manière exacte et complète sur les faits avant d'agir (<ref-ruling> consid. 3a; arrêt 1B_136/2014 du 14 mai 2014 consid. 2.1).
Le séquestre en couverture des frais peut porter sur tous les biens et valeurs du prévenu, même ceux qui n'ont pas de lien de connexité avec l'infraction. Pour ce type de saisie, comme pour toutes les mesures de contrainte, le principe de la proportionnalité doit être respecté (<ref-ruling> consid. 3.1; arrêts 1B_136/2014 du 14 mai 2014 consid. 2.1 et 1B_274/2012 du 11 juillet 2012 consid. 3.1).
Le principe de proportionnalité doit d'abord être pris en considération lorsqu'il s'agit de décider de l'opportunité du séquestre en couverture de frais. L'autorité pénale doit disposer d'indices lui permettant de douter du futur recouvrement des frais auxquels le prévenu sera condamné. Cela peut être le cas si le prévenu procède à des transferts de biens aux fins d'empêcher une soustraction ultérieure ou si le prévenu tente de se soustraire à la procédure par la fuite, sans avoir fourni aucune garantie (Message du Conseil fédéral relatif à l'unification du droit de procédure pénale du 21 décembre 2005 [ci-après: le Message] FF 2005 1229; cf. également arrêts 1B_136/2014 du 14 mai 2014 consid. 2.1; 1B_379/2013 du 6 décembre 2013 consid. 2.3.2; 1B_274/2012 du 11 juillet 2012 consid. 3.1). Le principe de proportionnalité entre aussi en ligne de compte lorsqu'il s'agit de déterminer la valeur des biens à mettre sous séquestre (cf. le Message, p. 1229); sous cet angle, il se justifie de respecter le minimum vital de la personne touchée (cf. <ref-ruling> consid. 3.1; arrêts 1B_136/2014 du 14 mai 2014 consid. 2.1; 1P.21/2007 du 2 mai 2007; <ref-ruling>). Quant au montant définitif des frais judiciaires, il ne sera connu qu'à l'issue de la procédure et le principe de proportionnalité n'est violé que si le montant saisi en garantie des coûts de procédure est manifestement disproportionné par rapport aux coûts estimés (arrêts 1B_136/2014 du 14 mai 2014 consid. 2.1; 1B_379/2013 du 6 décembre 2013 consid. 2.3.3; 1B_274/2012 du 11 juillet 2012 consid. 3.1).
2.2. En l'espèce, la cour cantonale a confirmé le bien-fondé de l'ordonnance de séquestre du 23 décembre 2020. Elle a tout d'abord constaté que le Ministère public avait rendu une première ordonnance de séquestre le 6 septembre 2018 portant sur une série de pierres précieuses saisies en mains du prévenu le 6 décembre 2017 (liste A) et dans son office le 26 avril 2018 (liste B) et que l'ordonnance de séquestre litigieuse du 23 décembre 2020 portait sur d'autres pierres précieuses dont le recourant revendiquait la restitution et dont la propriété, ou à tout le moins la possession, n'était pas litigieuse. Elle a ensuite retenu qu'il existait des soupçons suffisants laissant présumer la commission d'un abus de confiance ou d'une escroquerie par le recourant au préjudice de la société plaignante, de sorte que, selon toute vraisemblance, le recourant devrait supporter le paiement de frais de procédure (<ref-law>). L'instance précédente a ensuite constaté que le recourant avait des poursuites pour 14'568 fr. 50 et qu'il était donc à craindre qu'il ne paierait pas les frais de procédure et les indemnités - estimés à ce jour à plus de 30'000 fr. - qui pourraient être mis à sa charge, ainsi que les éventuelles peines pécuniaires et amendes auxquelles il pourrait être condamné. Elle a estimé que, cela étant, le séquestre était proportionné. En effet, le recourant ne prétendait pas que cette mesure aurait atteint son minimum vital et que ses conditions minimales d'existence ne seraient pas assurées; rien ne laissait d'ailleurs penser que le recourant aurait prévu de vendre des pierres et d'affecter le produit de leur vente au paiement de ses frais courants pour maintenir son minimum vital.
2.3. Le recourant conteste l'existence de charges suffisantes à son encontre justifiant ledit séquestre. Il soutient que les nombreuses déclarations contradictoires entre la partie plaignante et lui-même (notamment sur la propriété des pierres, sur la date des remises desdites pierres, sur la différence entre les objets listés par la plaignante et ceux séquestrés, ainsi que sur l'initiative de la prise de contact) démontrent l'absence de soupçons suffisants, ajoutant que l'on ne saurait donner la préférence aux déclaration de la plaignante. Le recourant se plaint encore de l'imprécision des charges portées à son encontre; il reproche au Ministère public ainsi qu'à l'instance précédente d'avoir retenu que les pierres précieuses valaient environ 170'000 USD, sans procéder à un examen sérieux de leur valeur réelle. Il se prévaut également du fait que des pierres ont été saisies au domicile de H._ alors que le Ministère public envisage de rendre une ordonnance de classement en faveur de ce dernier.
La critique du recourant est vaine. L'instance précédente a, à juste titre, retenu l'existence de charges suffisantes. Le recourant a en effet admis que la société B._ SA lui avait confié des pierres précieuses pour qu'il les commercialise et qu'il y avait eu plusieurs passations de pierres entre D._ et lui après le 10 février 2017. Si la quantité de pierres précieuses effectivement remises au recourant après le 10 février 2017 est à ce stade encore incertaine, comme le relève l'instance précédente, le recourant a cependant confirmé qu'une partie des pierres séquestrées (objet de l'ordonnance de séquestre du 6 septembre 2018) ne lui appartenaient pas, qu'il était d'accord de les restituer à E._, et non à la société plaignante, et que les pierres qui ne lui appartenaient pas étaient identifiables (cf. procès-verbal d'audition du recourant du 6 décembre 2017, lignes 170-173). Le recourant a précisé avoir gardé les pierres parce qu'il voulait connaître le lien entre D._, E._ et I._ notamment (cf. procès-verbal précité, lignes 98-101 et 164-167). Dans son mémoire de recours, le recourant confirme qu'il n'est pas le " propriétaire des pierres précieuses estimées sans preuves concrètes à USD 170'000.- " et que " tout laisse penser que le véritable propriétaire de celles-ci était E._ " (cf. mémoire de recours pt. 2.5 p. 6). Le recourant conteste ainsi en vain l'existence de soupçons suffisants laissant présumer la commission d'un abus de confiance ou d'une escroquerie au préjudice de la société plaignante. Quoi qu'en pense le recourant, il n'est pas nécessaire pour examiner le bien-fondé de l'arrêt entrepris de connaître la valeur exacte du lot de pierres confiées au recourant le 9 février 2017; sur ce point, il sied néanmoins de relever que, lors de son audition du 6 décembre 2017, le recourant a estimé la valeur de ce lot entre 150'000 et 200'000 francs suisses (cf. procès-verbal d'audition du recourant précité, lignes 80), étant à nouveau précisé que la quantité de pierres précieuses effectivement remises au recourant après le 10 février 2017 était au jour de l'arrêt entrepris encore incertaine. Compte tenu des charges pesant sur le recourant, l'instance précédente pouvait considérer que le recourant devrait vraisemblablement supporter le paiement de frais de procédure. Enfin, le recourant n'expose pas en quoi la situation du prévenu H._ ressemblerait à la sienne au point d'imposer un traitement identique; il ne saurait dès lors se prévaloir du fait que le Ministère public envisage de rendre une ordonnance de classement en faveur de cette personne.
La première critique du recourant doit ainsi être rejetée.
3.
Invoquant ensuite une violation de l'<ref-law>, le recourant soutient qu'il n'existerait pas d'indice permettant de penser que le recouvrement des frais pénaux serait mis en péril en cas de condamnation. Il relève également que l'<ref-law> dispose que " lors du séquestre, l'autorité pénale tient compte du revenu et de la fortune du prévenu et de sa famille " et reproche sur ce point à l'instance précédente d'avoir violé son obligation de motivation en renonçant à examiner même de manière synthétique ses revenus et ses charges et en se fondant sur les déclarations faites lors de son audition en décembre 2017.
3.1. Le droit d'être entendu (art. 29 al. 2 Cst.) implique également pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige. Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 et les arrêts cités).
3.2. Tout d'abord, contrairement à ce que soutient le recourant, l'instance précédente pouvait à juste titre considérer que l'existence de poursuites à son encontre constituait un indice permettant de douter du futur recouvrement des frais auxquels il pourrait être condamné à l'issue de la procédure.
Ensuite, dans la décision attaquée, l'instance précédente retient en substance que le minimum vital du recourant n'était pas atteint et que les conditions minimales d'existence de ce dernier étaient assurées; selon l'instance précédente, aucun élément ne permettait de penser que le recourant aurait prévu de vendre des pierres et d'affecter le produit de leur vente au paiement de frais courants pour maintenir son minimum vital. Cette motivation concernant la situation financière du recourant, bien que succincte, était suffisante et permettait à ce dernier de contester cette argumentation à bon escient.
Selon la jurisprudence, l'art. 268 al. 2 et 3 CPP vise à garantir le respect du minimum vital de la personne touchée par la mesure (cf. ci-dessus consid. 2.1). En l'occurrence, le recourant n'a jamais fait valoir durant les procédures de recours cantonale et fédérale que la mesure de séquestres ordonnées le 23 décembre 2020 porterait atteinte à son minimum vital, ni qu'elle le placerait dans une situation de détresse financière. Force est de constater que le recourant ne se prévaut pas, sous cet angle, du fait que la mesure de séquestre litigieuse serait disproportionnée. Il s'est limité pour l'essentiel à se plaindre d'une violation du devoir de motivation de l'instance précédente, grief examiné ci-dessus. Enfin, le recourant ne prétend pas non plus que la valeur des pierres séquestrées serait en disproportion manifeste (cf. arrêts 1B_136/2014 du 14 mai 2014 consid. 2.1; 1B_379/2013 du 6 décembre 2013 consid. 2.3.3) avec les frais de procédure et les indemnités - estimés au jour de l'arrêt entrepris à plus de 30'000 fr. selon les constatations non contestées de l'instance précédente -, ainsi que les éventuelles peines pécuniaires et amendes auxquelles le recourant pourrait être condamné à l'issue de la procédure.
Le grief de violation de l'<ref-law> doit donc être rejeté.
4.
Enfin, dans une ultime critique, le recourant fait grief à la cour cantonale d'avoir procédé à une " fishing expedition ". Il se plaint de l'absence de correspondance entre le s objets mentionnés dans la plainte pénale et la quittance du 9 février 2017 et les objets concernés par l'ordonnance de séquestre du 23 décembre 2020. La critique du recourant tombe à faux. Il méconnaît en effet que ce sont les pierres faisant l'objet de l'ordonnance de séquestre du 6 septembre 2018 qui pourraient constituer le produit de l'infraction reprochée au recourant, alors que les pierres séquestrées le 23 décembre 2020 doivent uniquement garantir le paiement des frais de procédure, des indemnités à verser, des peines pécuniaires ainsi que des amendes (séquestre en couverture des frais, <ref-law>). L'absence de correspondance évoquée ci-dessus par le recourant n'est donc pas critiquable.
5.
Sur le vu de ce qui précède, le recours doit être rejeté, aux frais du recourant qui succombe (art. 65 et 66 al. 1 LTF). Celui-ci versera en outre une indemnité de dépens à l'intimé qui obtient gain de cause avec l'assistance d'un avocat, (<ref-law>). Celui-ci versera en outre des dépens à l'intimée qui obtient gain de cause avec l'assistance d'un avocat (<ref-law>); cette indemnité tiendra compte de l'ampleur réduite de l'écriture déposée (art. 3 al. 1 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée la somme de 1'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Ministère public central du canton de Vaud et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 13 octobre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Arn