Faits : A. Depuis juin 2014, A._ et B._ s'opposent devant le Tribunal de première instance de Genève dans le cadre d'une procédure en nullité d'un testament. A.a. Par acte déposé le 5 décembre 2018, A._ a requis la récusation de la juge C._, en charge de la cause, et a conclu à l'annulation de tous les actes de procédure auxquels la juge prénommée a participé. A l'appui de sa requête en récusation, A._ a invoqué que la juge C._ avait commis dix-huit violations de la loi - singulièrement la violation de son droit d'être entendu, du principe de l'égalité des armes, de l'art. 8 CC, de la maxime des débats, du principe de célérité et dénoncé l'existence d'un " accord occulte " entre la juge et un expert concernant la rémunération de celui-ci -, intervenues la première fois le 6 mai 2015, puis au fils de divers actes de procédure et les quatre dernières violations à l'occasion d'une ordonnance rendue le 27 novembre 2018. La juge C._ et B._ ont conclu au rejet de la requête en récusation. A.b. Par ordonnance du 3 mai 2019, la délégation du Tribunal civil de Genève a rejeté la requête en récusation. Le 9 mai 2019, A._ a formé recours devant la Cour de justice du canton de Genève contre cette ordonnance, concluant à son annulation et à l'annulation de tous les actes de procédure auxquels la juge C._ a participé. Tant la juge C._ que B._ ont conclu au rejet du recours. A.c. Par arrêt du 7 octobre 2019, la Chambre civile de la Cour de justice du canton de Genève (ci-après : la Chambre civile ou la Cour de justice) a rejeté le recours. B. Par acte du 22 octobre 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de l'arrêt déféré et à sa réforme en ce sens que la juge C._ est récusée et à l'annulation de tous les actes de procédure auxquels ladite juge a participé. Préalablement, le recourant sollicite l'octroi de l'effet suspensif à son recours. Par déterminations du 7 novembre 2019, l'intimée n° 2 s'en est rapportée à justice quant à l'effet suspensif requis. La juge concernée n'a pas déposé d'observations. Par ordonnance du 12 novembre 2019, le Président de la IIe Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif au recours. Des déterminations sur le fond n'ont pas été requises.