Faits :
A.
A.a. Le 27 janvier 2016, le Bureau de communication en matière de blanchiment d'argent (MROS) a adressé au Ministère public de la République et canton de Genève un signalement concernant les valeurs patrimoniales déposées sur le compte n° xxx._ détenu auprès de la banque F._ (Suisse) SA par la société luxembourgeoise G._ SA. Le compte, dont l'ayant-droit économique était H._, ressortissante française née en 1937 et décédée le 8 juillet 2015, était alors crédité à tout le moins d'un montant de quelque 310'000 francs.
D'après l'examen effectué par le MROS, H._ avait assigné en référé, le 7 mai 2015, au Luxembourg, les sociétés luxembourgeoises G._ SA et B._ SA ainsi que A._ administrateur de cette dernière société. Cette démarche avait alors pour but de clarifier la façon dont était exécuté le mandat de restructuration de patrimoine qu'elle avait confié aux précités. En outre, le 15 octobre 2015, E._, frère et exécuteur testamentaire de la défunte, avait déposé une plainte pénale, en France, pour " association de malfaiteurs, escroquerie et abus de confiance " contre B._ SA et son administrateur I._ ainsi que contre G._ SA et C._, alors administratrice unique de cette dernière société.
Après analyse de la documentation bancaire, il était apparu un lien factuel entre B._ SA, A._ et G._ SA, dès lors qu'un formulaire A, daté du 27 janvier 2015, avait désigné les deux premiers nommés comme ayant droit économiques de la relation ouverte auprès de la banque F_, quand bien même le document portait le rajout manuscrit " non valable ". Selon le MROS, il existait dès lors un soupçon de blanchiment d'argent (art. 305 bis CP), dont les crimes préalables pourraient être des actes constitutifs d'abus de confiance aggravé (<ref-law>) et d'escroquerie (<ref-law>).
A.b. A réception du signalement, le Ministère public a ordonné le séquestre du compte n° xxx._ ouvert auprès de la banque F_. Il a par ailleurs ouvert une enquête pénale contre C._ pour blanchiment d'argent (art. 305 bis CP).
A.c. Entendu le 12 avril 2016 en qualité de témoin, A._ a expliqué que H._, en conflit avec son frère E._ notamment à propos de la succession de leur père, lui avait demandé qu'à sa mort, tout son patrimoine - une villa à Grimaud (France) et quelque 24'000'000 EUR d'actifs détenus à travers G._ SA - fût dévolu à une fondation philanthropique luxembourgeoise (I_), de manière à éviter que la succession qu'elle tenait de son père ne fût gérée par son frère, tout en échappant au fisc français. Il a exposé qu'à cette fin, B._SA avait acquis le patrimoine détenu à travers G._ SA, moyennant une opération de titrisation, impliquant l'émission d'obligations, menée notamment par l'intermédiaire d'une association luxembourgeoise à but non lucratif. Quant à la villa, elle avait été rachetée en viager par B._, SA en l'échange d'une rente annuelle de 450'000 EUR.
Entendu le 31 janvier 2017, l'avocat qui avait déposé l'assignation en référé au nom de H._ a relevé qu'à son sens, l'arrière-plan fiscal prétendument visé par A._ aurait pu être réalisé par une simple donation entre vifs, à titre successoral, des avoirs de sa cliente à la fondation philanthropique, et non par une " usine à gaz " que sa cliente, bien qu'elle avait toute sa tête, n'était pas capable de comprendre. Il ne voyait ainsi pas pourquoi il avait fallu passer par un mécanisme de titrisation. Le Procureur lui a fait remarquer que la fondation créancière du legs ou l'exécuteur testamentaire restait libre de se constituer partie plaignante.
A.d. Le 21 septembre 2017, I._ a été prévenu dans la présente procédure pénale - mais en raison d'un autre complexe de faits, relatif à D._, dont les avoirs avaient eux aussi été titrisés sous l'égide de B._ SA - d'escroquerie (<ref-law>), d'abus de confiance (<ref-law>), de gestion déloyale (<ref-law>), de faux dans les titres (<ref-law>) et de blanchiment d'argent aggravé (<ref-law>).
Il lui est reproché dans ce cadre d'avoir élaboré un mécanisme financier " sophistiqué et incompréhensible, à tout le moins par D._ ", dans le but de la priver de tout contrôle sur ses avoirs.
B.
B.a. Le 7 janvier 2019, E._ a demandé l'accès au dossier, expliquant avoir appris par la banque F_ que H._ détenait le compte n° xxx._ placé sous séquestre.
Le Ministère public lui a répondu que son instruction portait " entre autres " sur des agissements susceptibles d'avoir porté préjudice au patrimoine de H._. Il statuerait sur sa demande de consultation ultérieurement et l'invitait à cet égard à lui indiquer s'il se constituait partie plaignante.
Le 18 février 2019, E._ a déclaré se constituer partie plaignante et a requis l'accès au dossier.
B.b. Le 31 mai 2019, le Ministère public a accordé à E._ l'accès au dossier.
Le recours formé contre cette décision par B._ SA et A._ a été rejeté, dans la mesure de sa recevabilité, par arrêt du 5 novembre 2019 de la Chambre pénale de recours de la Cour de justice genevoise.
C.
B._ SA et A._ ont formé un recours en matière pénale au Tribunal fédéral contre l'arrêt du 5 novembre 2019. Ils ont conclu, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. Ils ont en outre sollicité l'octroi de l'effet suspensif à leur recours ainsi que le prononcé de mesures provisionnelles, en ce sens qu'il est fait interdiction au Ministère public d'accorder l'accès au dossier à E._ jusqu'à droit connu sur le recours.
Invités à se déterminer, le Ministère public, E._ et D._ ont conclu au rejet du recours. C._ ne s'est pas déterminée, s'en rapportant à justice. Quant à la Cour de justice, elle a renoncé à présenter des observations sur le recours.
B._ SA et A._ ont par la suite persisté dans leurs conclusions.
D.
Par ordonnance du 24 décembre 2019, le Juge présidant la Ire Cour de droit public a admis la requête de mesures provisionnelles des recourants en ce sens qu'il a été fait interdiction au Ministère public d'accorder à E._ l'accès au dossier jusqu'à droit connu sur le recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 241).
1.1. Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité précédente, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 317; <ref-ruling> consid. 1.3 p. 383; arrêt 6B_160/2020 du 26 mai 2020 consid. 3).
En l'espèce, les recourants concluent uniquement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Les motifs du recours permettent toutefois de comprendre qu'ils soutiennent disposer de la qualité pour recourir au sens de l'<ref-law> et demandent à cet égard que la cour cantonale entre en matière sur leur recours cantonal, par lequel ils contestaient l'accès au dossier accordé d'une manière générale à l'intimé E._ et concluaient à la mise en oeuvre d'un tri par le Ministère public des pièces de la procédure auxquelles l'intimé précité pourrait avoir accès. Dans cette mesure, il faut admettre que le recours est recevable sous l'angle de l'<ref-law>.
1.2. Pour le surplus, vu l'issue du litige, il n'est pas nécessaire de déterminer si les recourants peuvent se prévaloir, s'agissant d'une décision incidente, de l'existence d'un préjudice irréparable (<ref-law>), ni d'examiner s'ils disposent d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>).
2.
2.1. L'<ref-law> soumet la qualité pour recourir à l'existence d'un intérêt juridiquement protégé à l'annulation ou à la modification de la décision litigieuse. Cet intérêt doit être actuel et pratique. De cette manière, les tribunaux sont assurés de trancher uniquement des questions concrètes et non de prendre des décisions à caractère théorique. Ainsi, l'existence d'un intérêt de pur fait ou la simple perspective d'un intérêt juridique futur ne suffit pas. Une partie qui n'est pas concrètement lésée par la décision ne possède donc pas la qualité pour recourir et son recours est irrecevable (<ref-ruling> consid. 2.3.1 p. 84 s.).
La notion de partie visée à l'<ref-law> doit être comprise au sens des art. 104 et 105 CPP (<ref-ruling> consid. 3.1 p. 80; arrêt 6B_307/2019 du 13 novembre 2019 consid. 2.2.2, destiné à la publication), l'<ref-law> reconnaissant notamment cette qualité au prévenu. Selon l'art. 105 al. 1 let. f CPP, participent à la procédure les tiers touchés par des actes de procédure. Lorsque des participants à la procédure visés à l'al. 1 sont directement touchés dans leurs droits, la qualité de partie leur est reconnue dans la mesure nécessaire à la sauvegarde de leurs intérêts (<ref-law>). Pour que le participant à la procédure se voie reconnaître la qualité de partie en application de l'<ref-law>, il faut que l'atteinte à ses droits soit directe, immédiate et personnelle, une atteinte de fait ou indirecte étant insuffisante. L'atteinte est par exemple directe lorsqu'elle entraîne une violation des droits fondamentaux ou des libertés fondamentales, en particulier lorsque des mesures de contrainte sont ordonnées (<ref-ruling> consid. 3.1 p. 163 s.; <ref-ruling> consid. 3.6 p. 47; <ref-ruling> consid. 2.2.1 p. 283).
2.2. Aux termes de l'arrêt entrepris, les pièces qu'il s'agissait, selon les recourants, de soustraire à la consultation de l'intimé E._ consistaient en de la documentation bancaire obtenue par le Ministère public à la suite de divers ordres de dépôt adressés à la banque F_ Elle concernait des comptes détenus auprès de cette banque par la recourante B._ SA dans le cadre du mandat de restructuration de patrimoine que l'intimée D._, partie plaignante, avait confié à la société recourante (cf. arrêt attaqué, consid. 2.3 p. 7).
2.3. Si l'obligation de dépôt (<ref-law>) ainsi que, le cas échéant, la levée de scellés subséquente (<ref-law>) constituent certes des actes de procédure qui portent atteinte aux droits fondamentaux, en particulier à la sphère privée des personnes intéressées (<ref-law> et 13 al. 1 Cst.; <ref-ruling> consid. 1.3.1 p. 90; arrêt 1B_98/2018 du 29 mai 2018 consid. 3.2), il apparaît qu'en l'espèce les recourants n'entendaient pas s'opposer en tant que tels aux ordres de dépôt portant sur la documentation bancaire, mais uniquement à la décision du 31 mai 2019 du Ministère public reconnaissant le droit de l'intimé E._, partie plaignante, de consulter le dossier (<ref-law>) et partant la documentation susmentionnée.
Dans ce contexte, il faut admettre avec la cour cantonale que la recourante B._ SA, en tant que tiers à la procédure (art. 105 al. 1 let. f CPP), n'est touchée dans ses droits que de manière indirecte par l'accès au dossier reconnu à E._, de sorte qu'elle ne peut pas se prévaloir de l'<ref-law> pour justifier de sa qualité de partie.
La cour cantonale n'a ainsi pas violé le droit fédéral en considérant que celle-ci ne disposait pas de la qualité pour recourir au sens de l'<ref-law>.
2.4.
2.4.1. S'agissant du recourant A._ la cour cantonale a jugé que son recours était irrecevable, faute pour lui de pouvoir invoquer des droits dont il était personnellement titulaire et de disposer ainsi d'un intérêt juridiquement protégé au sens de l'<ref-law> (cf. arrêt attaqué, consid. 2.3 p. 7). Elle s'est également prononcée, certes brièvement, sur le fond du litige, estimant que les informations couvertes par le secret bancaire ou relevant de la sphère économique privée du recourant A._ ne justifiaient pas d'entraver le droit de la partie plaignante à consulter le dossier, pas plus qu'il n'y avait matière à ordonner la disjonction de la procédure pénale (cf. art. 29 et 30 CPP) s'agissant de ses volets concernant respectivement D._ et feu H._ (cf. arrêt attaqué, consid. 3 p. 8).
2.4.2. Dans une telle configuration, lorsque la décision attaquée comporte des motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, il appartient au recourant, sous peine d'irrecevabilité, de démontrer que chacune d'elles est contraire au droit (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 4.1.4 p. 100; arrêt 1B_445/2019 du 24 septembre 2019 consid. 2).
Si le recourant se réfère certes à la motivation présentée sur le fond du litige en se plaignant que la cour cantonale n'a pas examiné son grief tendant à la mise en oeuvre d'un tri de la documentation litigieuse par le Ministère public (cf. mémoire de recours, allégué n° 59, p. 12), il ne tente pas pour autant de démontrer en quoi celle-ci a violé le droit en estimant, en référence à la jurisprudence (cf. arrêt 1B_245/2015 du 12 avril 2016 consid. 6.6), que les secrets bancaires et commerciaux ainsi que la protection de sa sphère économique privée, à supposer qu'il était fondé à s'en prévaloir dans le cadre d'un recours, n'étaient pas susceptibles de faire obstacle à la consultation de l'ensemble du dossier par la partie plaignante.
Insuffisamment motivé à cet égard (<ref-law>), le recours est irrecevable.
2.5. Au reste, dans ces circonstances, il n'est pas pertinent de déterminer si la cour cantonale a établi les faits de manière arbitraire, comme le soutiennent les recourants, ou a violé le droit d'une autre manière en parvenant à la conclusion que seule l'intimée D._ était concernée par l'accès à la documentation bancaire versée au dossier et partant susceptible de disposer d'un intérêt juridiquement protégé au regard de l'<ref-law> (cf. arrêt attaqué, consid. 2.3 p. 7 s.).
3.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable.
Les recourants, qui succombent, supportent solidairement les frais judiciaires (<ref-law>). Les intimés E._ et D._, qui procèdent avec l'assistance de leur avocat respectif, ont chacun droit à des dépens à la charge des recourants, solidairement entre eux (art. 68 al. 1 et 3 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimée C._, qui ne s'est pas déterminée.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de dépens, fixée à 2000 fr., est allouée à l'intimé E._, à la charge des recourants, solidairement entre eux.
4.
Une indemnité de dépens, fixée à 2000 fr., est allouée à l'intimée D._, à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué aux mandataires des parties, au Ministère public de la République et canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 12 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présida nt : Le Greffier :
Kneubühler Tinguely