Faits : A. A.a. Le 27 janvier 2016, le Bureau de communication en matière de blanchiment d'argent (MROS) a adressé au Ministère public de la République et canton de Genève un signalement concernant les valeurs patrimoniales déposées sur le compte n° xxx._ détenu auprès de la banque F._ (Suisse) SA par la société luxembourgeoise G._ SA. Le compte, dont l'ayant-droit économique était H._, ressortissante française née en 1937 et décédée le 8 juillet 2015, était alors crédité à tout le moins d'un montant de quelque 310'000 francs. D'après l'examen effectué par le MROS, H._ avait assigné en référé, le 7 mai 2015, au Luxembourg, les sociétés luxembourgeoises G._ SA et B._ SA ainsi que A._ administrateur de cette dernière société. Cette démarche avait alors pour but de clarifier la façon dont était exécuté le mandat de restructuration de patrimoine qu'elle avait confié aux précités. En outre, le 15 octobre 2015, E._, frère et exécuteur testamentaire de la défunte, avait déposé une plainte pénale, en France, pour " association de malfaiteurs, escroquerie et abus de confiance " contre B._ SA et son administrateur I._ ainsi que contre G._ SA et C._, alors administratrice unique de cette dernière société. Après analyse de la documentation bancaire, il était apparu un lien factuel entre B._ SA, A._ et G._ SA, dès lors qu'un formulaire A, daté du 27 janvier 2015, avait désigné les deux premiers nommés comme ayant droit économiques de la relation ouverte auprès de la banque F_, quand bien même le document portait le rajout manuscrit " non valable ". Selon le MROS, il existait dès lors un soupçon de blanchiment d'argent (art. 305 bis CP), dont les crimes préalables pourraient être des actes constitutifs d'abus de confiance aggravé (art. 138 ch. 2 CP) et d'escroquerie (art. 146 CP). A.b. A réception du signalement, le Ministère public a ordonné le séquestre du compte n° xxx._ ouvert auprès de la banque F_. Il a par ailleurs ouvert une enquête pénale contre C._ pour blanchiment d'argent (art. 305 bis CP). A.c. Entendu le 12 avril 2016 en qualité de témoin, A._ a expliqué que H._, en conflit avec son frère E._ notamment à propos de la succession de leur père, lui avait demandé qu'à sa mort, tout son patrimoine - une villa à Grimaud (France) et quelque 24'000'000 EUR d'actifs détenus à travers G._ SA - fût dévolu à une fondation philanthropique luxembourgeoise (I_), de manière à éviter que la succession qu'elle tenait de son père ne fût gérée par son frère, tout en échappant au fisc français. Il a exposé qu'à cette fin, B._SA avait acquis le patrimoine détenu à travers G._ SA, moyennant une opération de titrisation, impliquant l'émission d'obligations, menée notamment par l'intermédiaire d'une association luxembourgeoise à but non lucratif. Quant à la villa, elle avait été rachetée en viager par B._, SA en l'échange d'une rente annuelle de 450'000 EUR. Entendu le 31 janvier 2017, l'avocat qui avait déposé l'assignation en référé au nom de H._ a relevé qu'à son sens, l'arrière-plan fiscal prétendument visé par A._ aurait pu être réalisé par une simple donation entre vifs, à titre successoral, des avoirs de sa cliente à la fondation philanthropique, et non par une " usine à gaz " que sa cliente, bien qu'elle avait toute sa tête, n'était pas capable de comprendre. Il ne voyait ainsi pas pourquoi il avait fallu passer par un mécanisme de titrisation. Le Procureur lui a fait remarquer que la fondation créancière du legs ou l'exécuteur testamentaire restait libre de se constituer partie plaignante. A.d. Le 21 septembre 2017, I._ a été prévenu dans la présente procédure pénale - mais en raison d'un autre complexe de faits, relatif à D._, dont les avoirs avaient eux aussi été titrisés sous l'égide de B._ SA - d'escroquerie (art. 146 CP), d'abus de confiance (art. 138 CP), de gestion déloyale (art. 157 CP), de faux dans les titres (art. 251 CP) et de blanchiment d'argent aggravé (art. 305bis ch. 2 CP). Il lui est reproché dans ce cadre d'avoir élaboré un mécanisme financier " sophistiqué et incompréhensible, à tout le moins par D._ ", dans le but de la priver de tout contrôle sur ses avoirs. B. B.a. Le 7 janvier 2019, E._ a demandé l'accès au dossier, expliquant avoir appris par la banque F_ que H._ détenait le compte n° xxx._ placé sous séquestre. Le Ministère public lui a répondu que son instruction portait " entre autres " sur des agissements susceptibles d'avoir porté préjudice au patrimoine de H._. Il statuerait sur sa demande de consultation ultérieurement et l'invitait à cet égard à lui indiquer s'il se constituait partie plaignante. Le 18 février 2019, E._ a déclaré se constituer partie plaignante et a requis l'accès au dossier. B.b. Le 31 mai 2019, le Ministère public a accordé à E._ l'accès au dossier. Le recours formé contre cette décision par B._ SA et A._ a été rejeté, dans la mesure de sa recevabilité, par arrêt du 5 novembre 2019 de la Chambre pénale de recours de la Cour de justice genevoise. C. B._ SA et A._ ont formé un recours en matière pénale au Tribunal fédéral contre l'arrêt du 5 novembre 2019. Ils ont conclu, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. Ils ont en outre sollicité l'octroi de l'effet suspensif à leur recours ainsi que le prononcé de mesures provisionnelles, en ce sens qu'il est fait interdiction au Ministère public d'accorder l'accès au dossier à E._ jusqu'à droit connu sur le recours. Invités à se déterminer, le Ministère public, E._ et D._ ont conclu au rejet du recours. C._ ne s'est pas déterminée, s'en rapportant à justice. Quant à la Cour de justice, elle a renoncé à présenter des observations sur le recours. B._ SA et A._ ont par la suite persisté dans leurs conclusions. D. Par ordonnance du 24 décembre 2019, le Juge présidant la Ire Cour de droit public a admis la requête de mesures provisionnelles des recourants en ce sens qu'il a été fait interdiction au Ministère public d'accorder à E._ l'accès au dossier jusqu'à droit connu sur le recours.