Faits : A. A.a. Le 25 avril 2013, E._ est décédée à l'Hôpital de Sion, après avoir rencontré de nombreuses complications ensuite d'une intervention chirurgicale au pancréas effectuée le 8 mars 2013 dans le même établissement. Le 4 juillet 2013, l'époux de la défunte, soit A._, ainsi que les enfants de celle-ci, soit B._, C._ et D._ (ci-après: les plaignants), ont dénoncé pénalement, avec constitution de parties plaignantes au pénal, les chirurgiens F._ et G._ pour homicide par négligence (art. 117 CP). Ensuite de cette dénonciation, l'Office régional du Ministère public du Valais central, par le Procureur Olivier Vergères, a ouvert une enquête pénale contre les chirurgiens précités. A.b. En cours d'instruction, les plaignants ont produit trois avis médicaux distincts émanant respectivement des Prof. H._, I._ et J._, desquels il ressort que la prise en charge médicale de E._ est critiquable à plusieurs égards. Les prévenus ont quant à eux produit un rapport d'expertise médicale privée, établie par le Prof. K._, laquelle conclut au contraire que le décès de E._ ne peut pas être considéré comme la suite d'une erreur médicale ou d'une négligence. Dans leur rapport du 29 mars 2016, les Prof. L._ et M._, qui avaient été mandatés par le Procureur en qualité d'experts judiciaires, ont pour leur part conclu qu'il n'y avait pas dans le dossier d'éléments qui démontraient un manquement dans le suivi ou dans la prise en charge médicale de E._. A.c. Le 26 juillet 2016, les plaignants ont dénoncé pénalement F._ et G._ pour faux dans les titres (art. 251 CP) et faux dans les titres commis dans l'exercice de fonctions publiques (art. 317 CP), puis le 16 mars 2017, pour meurtre par dol éventuel (art. 111 CP), subsidiairement pour lésions corporelles graves par dol éventuel (art. 122 CP). A.d. Par ordonnance du 16 août 2017, le Procureur a ordonné le classement de la procédure ouverte contre F._ et G._ pour homicide par négligence (art. 117 CP). Par ordonnance du même jour, il a en outre refusé d'entrer en matière sur les dénonciations des 26 juillet 2016 et 16 mars 2017. Statuant par ordonnance du 28 mars 2018, la Chambre pénale du Tribunal cantonal valaisan a admis les recours formés par les plaignants contre les ordonnances du 16 août 2017, celles-ci étant annulées et la cause renvoyée au Procureur notamment pour qu'il mette en oeuvre un complément d'expertise par les mêmes experts judiciaires, à qui devront également être soumis pour prise de position les avis médicaux produits par les plaignants. La Chambre pénale a par ailleurs estimé qu'il y avait lieu d'entendre les prévenus sur la problématique de la confection, pour la seule intervention du 8 mars 2013, de deux protocoles opératoires au contenu différent sur un point central aux yeux des plaignants. A.e. Le 8 novembre 2018, le Procureur a délivré un mandat d'expertise complémentaire à l'attention du Prof. L._. Une séance d'instruction s'est tenue le 1 er février 2019 en présence de l'expert et des parties. B. Le 5 février 2019, les plaignants ont requis du Procureur Olivier Vergères sa récusation. Le 8 février 2019, le Procureur, qui s'est opposé à la demande de récusation, a transmis cette dernière à la Chambre pénale du Tribunal cantonal valaisan comme objet de sa compétence. Par ordonnance du 22 mai 2019, la Chambre pénale a rejeté la demande de récusation. C. A._, B._, C._ et D._ forment un recours en matière pénale contre l'ordonnance du 22 mai 2019. Ils concluent, avec suite de frais et dépens, à sa réforme en ce sens que la récusation du Procureur Olivier Vergères est prononcée. Invitée à se déterminer, la Chambre pénale a indiqué qu'elle n'avait pas d'observations à formuler, se référant aux considérants de son ordonnance. Quant au Procureur, il ne s'est pas déterminé.