Faits :
A.
Par jugement du 20 novembre 2019, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré D._ des chefs d'accusation d'usure par métier, subsidiairement de vol par métier et d'escroquerie par métier, et a rejeté les conclusions civiles prises par E.A._.
B.
Par annonce du 29 novembre 2019 et déclaration motivée du 24 décembre 2019, E.A._ a formé appel contre le jugement précité en concluant principalement à sa réforme en ce sens que D._ est reconnue coupable des chefs d'accusation d'usure par métier, subsidiairement de vol par métier et d'escroquerie par métier, que ses conclusions civiles sont admises et par conséquent, que D._ lui doit immédiat paiement de la somme de 530'767 fr. 55 avec intérêts à 5% l'an dès le 18 décembre 2012 et qu'une indemnité pour ses frais de défense pour la procédure de première instance lui est allouée par 35'472 fr. 50. E.A._ a également conclu à l'allocation d'une somme à préciser en cours d'instance à titre d'indemnité pour ses frais de défense de deuxième instance. Le ministère public et D._ ont chacun formé un appel joint.
En 2020, E.A._ est décédée. Le 18 mai 2020, pour feu E.A._, ses héritiers, A.A._, C._ et B._, ont transmis leurs déterminations à la Cour d'appel pénale du Tribunal cantonal vaudois et ont conclu au rejet de la requête de D._ tendant à ce que l'appel principal soit déclaré irrecevable.
C.
Par jugement du 8 juillet 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a considéré que l'appel de feu E.A._ était recevable dans la mesure où ses prétentions civiles étaient passées à ses héritiers, A.A._, C._ et B._. Elle l'a toutefois rejeté sur le fond, de même que l'appel joint du ministère public, confirmant ainsi l'acquittement de D._. Elle a retenu en substance qu'il subsistait un doute sur la question de savoir si D._, dame de compagnie de feu E.A._, se serait approprié indûment une partie de la fortune de celle-ci, en particulier les montants importants que feu E.A._ avait retiré de ses comptes bancaires. La Cour d'appel pénale a par ailleurs admis l'appel joint de D._ sur le point de la quotité de son indemnité de procédure au sens de l'<ref-law>.
D.
A.A._, B._ et C._ forment un recours en matière pénale au Tribunal fédéral. Ils concluent, avec suite de frais et dépens, à l'admission du recours, à l'annulation du jugement du 8 juillet 2020 rendu par la Cour d'appel pénale du Tribunal cantonal vaudois et au renvoi de la cause à cette autorité pour nouveau jugement dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
2.
Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 317; <ref-ruling> consid. 1.3 p. 383; <ref-ruling> consid. 3.1 p. 489 s.; arrêts 6B_113/2021 du 8 juillet 2021 consid. 1; 6B_832/2020 du 22 février 2021 consid. 1).
En l'occurrence, les recourants demandent l'annulation du jugement du 8 juillet 2020 et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Ce faisant, ils ne précisent pas quelles sont les modifications du jugement attaqué qu'ils entendent concrètement solliciter sur le fond. Les motifs du recours permettent toutefois de comprendre qu'ils concluent, d'une part, à la recevabilité de leur recours et, d'autre part, à l'exploitabilité du procès-verbal d'audition de l'intimée du 25 mars 2013 ainsi qu'à une nouvelle décision " en tenant compte de l'ensemble des preuves ". La question de savoir si cela est suffisant pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF peut être laissée ouverte, au regard de ce qui suit.
3.
Il se pose la question de la qualité pour recourir des héritiers de E.A._, qui s'était constituée demanderesse au pénal et au civil et qui est décédée après avoir formé un appel contre le rejet de ses conclusions civiles découlant de l'acquittement de l'intimée.
3.1. Conformément à l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 3.1).
Selon l'<ref-law>, on entend par partie plaignante le lésé qui déclare expressément vouloir participer à la procédure pénale comme demandeur au pénal ou au civil. La notion de lésé est définie à l'<ref-law>. Il s'agit de toute personne dont les droits ont été touchés directement par une infraction.
En règle générale, seul peut se prévaloir d'une atteinte directe le titulaire du bien juridique protégé par la disposition pénale qui a été enfreinte (<ref-ruling> consid. 3.1 p. 5 et les références citées). Les successeurs d'une personne physique ou morale lésée doivent être considérés comme des lésés indirects, qui en principe (sous réserve des exceptions de l'art. 121 al. 1 et 2 CPP) ne peuvent se constituer partie plaignante dans la procédure pénale (<ref-ruling> consid. 2.2.1 p. 80; <ref-ruling> consid. 4.4 p. 166 et les références citées; arrêt 6B_671/2014 du 22 décembre 2017 consid. 1.3).
L'<ref-law> règle la transmission des droits des parties plaignantes. Ainsi, si le lésé décède sans avoir renoncé à ses droits de procédure, ceux-ci passent à ses proches au sens de l'<ref-law>, dans l'ordre de succession (al. 1). Quant à l'al. 2, il prévoit que la personne qui est subrogée de par la loi aux droits du lésé n'est habilitée qu'à introduire une action civile et ne peut se prévaloir que des droits de procédure qui se rapportent directement aux conclusions civiles.
Les proches d'une personne sont son conjoint, son partenaire enregistré, ses parents en ligne directe, ses frères et soeurs germains, consanguins ou utérins ainsi que ses parents, frères et soeurs et enfants adoptifs (<ref-law>). La liste est exhaustive et doit faire l'objet d'une interprétation restrictive (arrêt 6B_549/2013 du 24 février 2014 consid. 3.2.1 et les références citées).
Il convient ainsi de faire la distinction entre la notion de succession matérielle de droit privé et celle de qualité de partie dans la procédure civile ou pénale (cf. ATF <ref-ruling> consid. 4.4 p. 165 s.; Jeandin/Matz, in: Commentaire romand, Code de procédure pénale suisse, 2011, no 2 ad <ref-law>; Viktor Lieber, in: Kommentar zur Schweizerischen Strafprozessordnung [StPO], 3e éd. 2020, no 1 ad <ref-law>; Mazzuchelli/Postizzi, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd. 2014, no 2 ad <ref-law>). La transmission des droits procéduraux selon l'<ref-law> et la titularité matérielle des droits dans la succession ne se recoupent donc pas nécessairement (arrêt 6B_27/2014 du 10 avril 2014 consid. 1.2; Mazzucchelli/ Postizzi, op. cit., no 12 ad <ref-law>).
3.2. En l'espèce, il n'est pas contesté que les recourants, nièces et neveu de E.A._, en sont les héritiers légaux (cf. <ref-law>). En vertu de l'<ref-law>, ils ont acquis de plein droit l'universalité de la succession de E.A._ à son décès. Matériellement, ils sont donc titulaires des créances de celle-ci. Cependant, comme vu ci-dessus, la question de savoir s'ils sont habilités à exercer les droits procéduraux ayant appartenu à la défunte est réglée, en procédure pénale, par l'<ref-law>. A cet égard, les recourants reconnaissent qu'ils ne sont pas des proches au sens des <ref-law> cum 110 al. 1 CP. Ils ne répondent donc pas à la condition posée par cette disposition légale pour faire valoir les droits ayant appartenu à la lésée.
3.3. La cour cantonale a cependant admis la qualité de partie des recourants à la procédure cantonale. Elle a considéré que la seule possibilité pour les recourants de faire valoir leurs prétentions civiles était de poursuivre la procédure d'appel entamée par feu E.A._. Selon cette autorité, lorsque le décès de la partie plaignante survient après le dépôt de son appel, comme en l'espèce, on ne saurait appliquer les art. 121 al. 1 et 382 al. 3 CPP (disposition qui se réfère également à l'<ref-law>) qui n'accordent pas aux recourants (non proches) la qualité de partie à la procédure et entraîneraient ainsi un résultat matériellement injuste, privant les titulaires des droits de la garantie fondamentale de la double instance. Il existait, dans ce cas, une lacune de la loi qu'il s'agissait de combler. L'autorité précédente a considéré qu'il convenait de dissocier la qualité de demandeur au pénal, qui appartenait aux proches au sens de l'<ref-law>, de leur qualité de demandeur au civil, les héritiers étant titulaires des prétentions civiles faisant partie de la masse successorale. Ceux-ci étaient dès lors habilités à faire valoir ces prétentions dans le cadre de la procédure conformément au principe de substitution de partie prévu à l'<ref-law> (jugement attaqué, consid. 1.2 p. 12 ss).
3.4. Dans le cadre de la motivation de leur qualité pour recourir devant le Tribunal fédéral, les recourants soulignent que, dans la mesure où la partie plaignante a fait valoir des conclusions civiles déduites de l'infraction par adhésion à la procédure pénale (art. 122 et ss CPP), ils n'ont plus la possibilité de faire valoir les prétentions civiles dont ils ont hérités devant le juge civil. Leur dénier la qualité pour recourir devant le Tribunal fédéral au motif qu'ils ne sont pas des proches au sens de l'<ref-law> et 121 al. 1 CPP reviendrait à limiter les effets de l'<ref-law> simplement parce que la prétention civile est exercée par adhésion à l'action pénale. En outre, il serait contraire au principe d'égalité de traitement que les tiers subrogés au sens de l'<ref-law> puissent exercer l'action civile par adhésion à la procédure pénale mais que les héritiers à qui les prétentions civiles du défunt ont été dévolues au sens de l'<ref-law> ne le pourraient pas en vertu de l'<ref-law>. Un déni de la qualité pour recourir devant le Tribunal fédéral entraînerait l'entrée en force de la décision de deuxième instance en violation de l'art. 191 al. 1 Cst. en relation avec l'<ref-law>. Il serait par ailleurs contraire à la cohérence systématique de la loi que, d'une part, l'<ref-law> conditionne le recours en matière pénale de la partie plaignante à l'existence de prétentions civiles et que, d'autre part, par application de l'<ref-law>, les titulaires de ces prétentions ne soient pas habilités à les porter devant le Tribunal fédéral. Évoquant une lacune de la loi qu'il sied de combler, les recourants concluent à la reconnaissance de leur intérêt juridique à recourir contre le rejet des conclusions civiles prises par la défunte.
3.5. Dans un arrêt relatif à l'applicabilité de l'<ref-law> aux personnes morales, le Tribunal fédéral a relevé que la systématique interne du 3e chapitre du CPP (" Lésé, victime et partie plaignante ") sous le titre 3 (" Parties et autres participants à la procédure ") parle en faveur d'une réglementation exhaustive et restrictive de la notion de partie plaignante. En particulier, la partie plaignante par succession est définie dans la même 3e section à l'art. 121 al. 1 et 2 CP (" transmission des droits ") de façon systématique et exhaustive (ATF <ref-ruling> consid. 4.7.2 p. 168). Et le Tribunal fédéral de préciser qu'il n'y a, dans les travaux préparatoires, aucune indication permettant de penser que les règles définissant la qualité de partie dans la procédure civile (art. 83 al. 1 et 4 CPC) devraient s'appliquer également à la procédure pénale. Au contraire, dans le Message relatif au CPP, il est dit clairement que les particuliers participant à la procédure pénale " ne sauraient être comparés avec les parties à un procès civil puisqu'ils n'ont pas la qualité de parties " (Message du 21 décembre 2005 relatif à l'unification du droit de procédure pénale, FF 2006 1057, 1141 ch. 2.3.1.1). Pour les infractions contre le patrimoine non plus, le législateur n'a pas proposé de réglementation s'écartant de ce principe (ATF <ref-ruling> consid. 4.8.1 p. 168; cf. Message CPP, FF 2006 1149 s. ch. 2.3.3.1). Ainsi, d'après la réglementation claire de l'<ref-law>, les héritiers du lésé de rang inférieur sont exclus de la qualité de partie plaignante par succession (ATF <ref-ruling> consid. 4.9.1 p. 169; cf. Jeandin/Matz, op. cit., no 6 ad <ref-law>). Le Tribunal fédéral en a déduit que, eu égard à la réglementation détaillée et exhaustive de la qualité de partie plaignante par succession, il n'y avait pas de lacune (proprement dite) de la loi (ATF <ref-ruling> consid. 4.9.6 p. 172).
3.6. En doctrine, il a été relevé la problématique du " hiatus entre légitimation procédurale et légitimation matérielle " que crée l'<ref-law> en lien avec l'action civile adhésive (Andrew M. Garbarski, Le lésé et la partie plaignante dans la jurisprudence récente du Tribunal fédéral, in SJ 2017 II 125, p. 136). Les auteurs observent que les héritiers forment, pour l'action civile adhésive et comme pour toute action qui touche les droits de la communauté héréditaire, une consorité nécessaire et doivent dès lors agir conjointement (cf. <ref-ruling> consid. 3.3 p. 86 s.). À rigueur du texte de l'<ref-law>, une telle action suppose toutefois que tous les membres de la communauté héréditaire soient des proches au sens de l'<ref-law>. Une interprétation stricte de la loi pourrait conduire à exclure l'action adhésive déposée par une hoirie dont certains membres ne seraient pas des proches au sens de l'<ref-law> et à la renvoyer à agir devant les tribunaux civils. De l'avis des auteurs, cette solution, que semble a priori appeler le texte légal, ne paraît répondre à aucun intérêt et va en particulier à l'encontre du but d'économie de procédure de l'action civile adhésive (Perrier Depeursinge/Garbarski/Muskens, Action civile adhésive au procès pénal no man's land procédural?, in SJ 2021 II 185, p. 192; Camille Perrier Depeursinge, Lésé, victime et action civile au pénal: questions choisies, in: Bohnet/Dupont/Kuhn (édit.), Dix ans de Code de procédure pénale, CEMAJ, Bâle 2020, p. 97 ss, 124 ss; Andrew M. Garbarski, Le lésé et la partie plaignante en procédure pénale: état des lieux de la jurisprudence récente, SJ 2013 II 123, p. 133; également dans ce sens: Viktor Lieber, op. cit., art. 121 n° 5; Mazzucchelli/Postizzi, op. cit., art. 121 n° 12). Aussi, il a été proposé, lorsque l'hoirie est constituée en partie d'héritiers qui sont des proches au sens de l'<ref-law> et en partie d'héritiers qui ne satisfont pas à ce critère, de faire une exception à l'exigence de la qualité de proche afin de permettre à l'hoirie de former une consorité nécessaire dans le but d'exercer des prétentions communes (Viktor Lieber, op. cit., no 5 ad <ref-law>; Mazzucchelli/Postizzi, op. cit., no 12 ad <ref-law>). Pour d'autres auteurs, les héritiers doivent en toute hypothèse être renvoyés à agir devant le juge civil (Jeandin/Matz, op. cit., no 3 ad <ref-law>).
3.7. Au regard de la jurisprudence récente exposée ci-dessus (cf. consid. 3.5), il n'y a pas de place pour s'écarter du texte clair de l'<ref-law>. Le Tribunal fédéral a constaté que la réglementation de la qualité de partie plaignante par succession était exhaustive et qu'il n'y avait pas de lacune (proprement dite) de la loi. Il ne se justifie pas, en particulier, d'appliquer l'<ref-law> par analogie à l'action civile adhésive (cf. ATF <ref-ruling> consid. 4.8.1 p. 168). Les recourants, qui ne discutent nullement l'arrêt publié précité, ne démontrent pas, par le biais d'une motivation conforme aux exigences de l'<ref-law>, que les conditions d'un revirement de jurisprudence seraient remplies (cf. <ref-ruling> consid. 1.4 p. 279 s.; <ref-ruling> consid. 4.1.2 p. 308; <ref-ruling> consid. 4 p. 232; voir aussi l'arrêt 1B_537/2021 du 13 janvier 2022 consid. 2.4; ce dernier arrêt confirme pour le surplus la jurisprudence de l'ATF <ref-ruling> en rapport avec l'<ref-law>). En particulier, les recourants, et la doctrine qu'ils citent, ne font état d'aucune circonstance qui aurait évolué ou que le Tribunal fédéral aurait à tort ignorée depuis l'arrêt publié aux ATF <ref-ruling>. Au demeurant, même la proposition d'une partie de la doctrine d'admettre l'action adhésive d'héritiers qui ne sont pas des proches n'est d'aucun secours aux recourants, puisqu'elle se limite à envisager l'hypothèse d'une hoirie composée au moins de certains héritiers revêtant la qualité de proches au sens de l'<ref-law>, ce qui n'est pas le cas en l'espèce.
Les recourants ne peuvent donc fonder leur qualité de partie sur une interprétation extensive de l'<ref-law>, ou encore en invoquant une lacune de la loi. Cela signifie également que la cour cantonale a admis à tort la qualité de partie des recourants en procédure cantonale. Le recours cantonal aurait ainsi dû être déclaré irrecevable.
Pour le surplus, les recourants ne démontrent pas, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF, la violation de droits constitutionnels ou du droit fédéral (en l'occurrence: la LTF) en tant qu'ils se prévalent de la garantie d'accès au Tribunal fédéral (art. 191 al. 1 Cst. cum 78 al. 1 let. a LTF), étant au demeurant précisé que les dispositions invoquées sont sans préjudice de l'application des conditions de recevabilité d'un recours en matière pénale définies par la LTF, en particulier l'<ref-law>.
3.8. Enfin, la question de savoir si la succession pour cause de mort pourrait être considérée comme un cas de subrogation légale au sens de l'<ref-law> peut demeurer ouverte. En effet, même en cas de réponse positive, les recourants ne pourraient alors se prévaloir que des droits de procédure qui se rapportent directement aux conclusions civiles (cf. consid. 3.1 supra); or, à teneur de leur écriture de recours, leur critique est dirigée contre la décision de la cour cantonale d'écarter le procès-verbal d'audition de l'intimée du 25 mars 2013 au motif de son inexploitabilité. Dans cette mesure, ils entendent remettre en cause l'acquittement de l'intimée, ce qu'ils ne seraient pas autorisés à faire dans l'hypothèse de l'application de l'<ref-law>.
Pour le surplus, il découle également de ce qui précède que l'argument des recourants tiré d'une inégalité de traitement entre les héritiers qui ne sont pas des proches et les tiers subrogés en vertu de l'<ref-law> est dénué de fondement.
Partant, les recourants n'ont pas la qualité pour recourir au sens de l'art. 81 al. 1 ch. 5 et 6 LTF.
4.
Sur le vu de ce qui précède, le recours doit être déclaré irrecevable. Les recourants, qui succombent, supporteront les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 avril 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy