Faits : A. Une instruction pénale est ouverte devant le Ministère public de l'arrondissement de la Côte contre B._ et A._ pour homicide par négligence (art. 117 CP) et mise en danger de la vie ou de la santé d'autrui (art. 127 CP). En substance, il est reproché au Dr A._, en sa qualité de Directeur médical de la Clinique G._, et au Dr B._, médecin responsable ayant procédé à l'admission et aux deux premières consultations de F.D._, d'avoir omis de prendre les mesures adéquates de soin et de surveillance pour empêcher ce patient de quitter la clinique afin de se suicider, alors qu'ils auraient su qu'il était gravement dépressif et présentait un risque important de suicide et qu'ils auraient eu une obligation de soin et de surveillance à son égard. En effet, alors que F.D._ avait été hospitalisé le 15 décembre 2008 à la Clinique G._, il s'est suicidé le lendemain sur la voie ferrée Genève-Lausanne, à proximité de la clinique. Une première expertise en vue de déterminer si une négligence dans les soins et l'encadrement apportés à F.D._ pouvait être imputée au personnel et aux médecins de la Clinique G._ a été réalisée et consignée dans un rapport du 28 avril 2011. Le 7 juin 2013, les prévenus ont requis la mise en oeuvre d'une nouvelle expertise, les lacunes et inexactitudes de la première s'opposant selon eux à ce qu'un complément soit requis du même expert. Par ordonnance du 28 mai 2014, le Ministère public de l'arrondissement de La Côte a délivré un nouveau mandat d'expertise. Il a désigné en qualité d'expert responsable la Dresse C._, a remis à celle-ci les pièces nécessaires à l'accomplissement de sa mission et lui a accordé un délai au 28 juillet 2014 pour déposer son rapport. Le Ministère public a requis de l'experte qu'elle réponde à des questions qu'il a détaillées, tout en précisant qui les avait formulées. Sur recours déposé par les prévenus, la Chambre des recours pénale du Tribunal cantonal vaudois a, par arrêt du 11 août 2014 (dont les considérants ont été expédiés le 22 octobre 2014), modifié le mandat d'expertise du 28 mai 2014. Elle a en effet considéré qu'il convenait de supprimer certaines questions qui n'étaient pas objectivement neutres, ainsi que la mention de l'auteur des questions, qui était de nature à porter atteinte à la neutralité du questionnaire puisqu'elle pouvait orienter l'expert dans son approche. La cour cantonale a également considéré que certaines pièces, soit le rapport d'expertise du 28 avril 2011 ainsi que le procès-verbal d'audition d'un des experts, ne devaient pas être remises à la Dresse C._, afin de donner toute sa dimension d'indépendance à la nouvelle expertise à venir. B. Le 29 octobre 2014, les prévenus ont déposé auprès du Ministère public une demande tendant à la récusation de l'experte C._. Ils ont invoqué le fait qu'une copie complète de l'arrêt rendu le 11 août 2014 par le Tribunal cantonal, contenant les conclusions de la première expertise, l'énoncé des questions supprimées ainsi que la mention de l'auteur des questions, avait été communiquée à ce médecin. Par ordonnance du 4 novembre 2014, le Ministère public a rejeté cette requête de récusation. Saisie d'un recours des prévenus, la Chambre des recours pénale du Tribunal cantonal s'est déclarée matériellement compétente, à l'exclusion du Ministère public, pour statuer sur la demande de récusation de l'expert et a par conséquent annulé la décision du 4 novembre 2014. Sur le fond, la cour cantonale a en revanche rejeté la demande de récusation présentée par les prévenus. C. Agissant par la voie du recours en matière pénale, B._ et A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal, d'admettre la demande de récusation de l'experte C._, de retirer le rapport de cette experte du dossier et de renvoyer la cause au Ministère public pour qu'il ordonne un nouveau complément d'expertise et désigne un nouvel expert. La cour cantonale renonce à se déterminer et se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Dans une première réponse spontanée, les plaignantes D.D._ et E.D._ concluent à l'irrecevabilité du recours; elles déclarent ensuite dans d'autres déterminations se rallier aux conclusions du Ministère public.